VR眼镜让医生拥有透视眼
项目来了 | 有了它，我再也不是新手医生的小白鼠了！
这是在做孕后超声检查吗？
这是哪个VR游戏？看上去很厉害的样子！
这是在做什么刺绣小工艺吗？
其实，这是两套中科院深圳先进技术研究院（下称“先进院”）集成所人机交互中心研发的VR手术训练系统，一套是虚拟椎弓根钉手术训练系统，另一套是虚拟穿刺手术训练系统。
△ 左图为虚拟椎弓根钉手术训练系统，右图为虚拟穿刺手术训练系统。
虚拟手术是由医学图像数据出发，应用计算机图形学重构出虚拟人体器官、组织，模拟出虚拟的医学环境，并利用触觉交互设备与之进行交互的手术系统。
虚拟手术系统为医生提供一个虚拟的3D环境以及可交互操作平台。借助它们的技术，年轻医师们就不用紧张的在真人身上展示他们尚未成熟的技艺了。更重要的是，虚拟手术系统还能帮助医生做好术前规划、预演，有了前期的“排练”，在真正手术时就不用手忙脚乱了。
椎弓根钉手术是脊柱外科手术中的重要方法，腰椎骨折、脊柱畸形、脊柱肿瘤等病症都需要通过椎弓根钉手术进行治疗。例如我们常听说的腰椎间盘突出，严重时也需要通过该手术进行矫正固定。
△ 正常脊柱和非正常对比
△ 通过椎弓根钉手术矫正后的脊柱
椎弓是人体后脊柱的一部分，而连接椎体的狭窄部分，称为椎弓根。固定脊柱的钉子就是要从这个小通道打进人体。
△ 从椎弓根打入钉子。
由于椎弓根通道狭小，脊柱内神经诸多，且血管密布，稍微打偏还会有打碎脊柱的风险，手术难度可想而知。
目前置入椎弓根钉主要有两种方法，一种是打开患者表层皮肤，将后脊柱部分暴露出来，再进行打钉（由于图片过于血腥，请大家自行脑补……）
另一种方法属于微创手术，通过插入铁棍先确定打钉的位置和方向，再进行钉子的植入。
△ 通过插入小铁棍确定置钉位置。
这种方法虽然伤口较小，但医生需要不断地调整铁棍插入的角度，每次调整后都需要通过CT拍片确认位置，而矫正脊柱往往需要打一排钉子，这样一来，插铁棍、扫CT的过程可能要重复几十次。
△ 矫正脊柱侧凸需要两排钉子。
为解决椎弓根钉手术的难点，先进院历时五年研究出一套结合VR技术及实时力反馈的骨科手术模拟训练系统。该系统不仅对于医学院的学生具有训练意义，更多的价值体现在，医生可以通过该系统进行术前规划、手术预演，大大提高了手术的准确率和成功率，也减少了病人的痛苦。
目前的骨科手术术前规划还需要医生手动设计导板，耗时2-3小时。集成所人机交互中心执行主任王琼介绍，这套骨科手术模拟系统通过提取病人的CT数据可以自动生成3D的骨骼模型，今后还可以将3D的骨骼影像以及手术入路投射到病人身上，配合Hololens增强现实眼镜，医生做手术时犹如拥有了透视眼，无需给病人开膛破肚也可以清楚地“看见”骨骼结构，准确打钉，减轻病人反复调正入钉位置、扫CT的麻烦。
△ 整套设备包括3D显示屏，VR眼镜及力反馈机器。
△ 手术场景选择
不仅看得见，还能“摸”得着
这套系统的另一大黑科技在于真实的力觉反馈。在模拟手术的过程中，不仅可以立体直观地看到脊柱，同时还可以感受到给骨头打磨、钻孔、置钉的真实触觉。
△ 这就是负责力觉反馈的小机器。
记者在现场也体验了一把当骨科医生的感觉。戴上VR眼镜后，记者可以清晰的看到立体的脊柱，拿起力反馈机器上的小笔，一个打钉钻头便显示在屏幕中了。当记者移动小笔，让钻头接触到骨骼时，不同的打钉力度大小、钻孔深浅都会有不同的震动反馈，就像真的在做手术一样。
△ 记者在现场体验骨科手术场景。
△ 对骨头进行打磨。
王琼说：“这套针对椎弓根钉等骨科手术的模拟系统是深圳先进院在国内独创的技术，在人机交互、力觉反馈上十分先进，在教学训练及手术规划方面也有着重要的应用价值。
穿刺如穿针 讲究手眼协调
相比椎弓根钉手术，穿刺手术的操作似乎没那么复杂。穿刺是将穿刺针刺入体腔抽取分泌物做化验，向体腔注入气体或造影剂做造影检查，或向体腔内注入药物的一种诊疗技术。王琼介绍，“把针刺入组织内”这一个看上去很小的动作却很考验医生的手眼协调能力。
△ 先进院的老师演示如何使用穿刺手术设备。移动左手的探头可以看到病人的超声波图像，右手则可以根据右边屏幕的超声图像找准穿刺位置。
设备由三个部分组成，两块电脑屏幕呈现的分别是病人的超声波图像和手术器官的三维场景屏幕。另外一个单独的、像小机器人似的机器则是力反馈设备，前端装置着穿刺针。和骨科椎弓根钉手术模拟系统不同的是，使用这套设备时不需要佩戴3D眼镜。
△ 穿刺虚拟手术设备
使用系统的时候，使用者左手握住磁定位系统超声探头，右手抓住模拟穿刺针，左右移动探头则可以看到超声图像切面，并产生反馈力。
王琼说：“虚拟穿刺针可以与虚拟环境中重建的三维人体组织模型进行交互，这套系统和椎弓根钉手术虚拟系统一样，具有触觉反馈功能，能让使用的人感受到手术中医生手上最真实的反应。”
记者在现场尝试用仪器不同角度接触假体乳房，在超声波图像中寻找乳腺组织中的肿瘤。在一个横截面中，肿瘤呈现圆形，周围有白边。当记者把穿刺针刺进组织，却发现针没有扎进乳腺，反复试验后好不容易才在超声波图像中看到针的图像，但依然没法把针插进肿瘤组织中。
“没有模拟手术训练系统时，医学生靠观察，熟悉到一定程度再上手尝试手术。做手术时，医生要观察超声波图像，找准需要穿刺的部位，并判断如何扎针。”这套设备恰恰是为了训练医生手眼协调的能力，让医生“作战”前，充分排练，以便“作战”时达到最好效果。
△ 研发团队
除了上面介绍的两个虚拟手术训练系统，集成所人机交互中心还研发了虚拟解剖训练系统和大型肝脏肿瘤消融手术系统。目前穿刺手术虚拟系统已经走进了一些校园，接下来，团队还将和医院合作，进一步提高力反馈的精准度。
王琼坦言，并不是因为VR火起来了才开始做虚拟系统，而是因为医疗方面本身就有些科学问题没有解决，需要技术推进。
如果您对上述项目感兴趣，欢迎留言与我们联系，或致电0755-86392046冯老师。如果您想把自己研究团队的成果在我们的微信平台上进行展示，欢迎投稿至siat_news@siat.ac.cn
「读创」客户端是深圳报业集团重点打造的综合性APP融媒体项目，是国内首个以「科技+财经」为主要特色的平台级主流移动新闻客户端，由深圳报业集团旗下四大主报之一的深圳商报整体转型来推进建设。SIAT与读创客户端就「项目来了」展开合作，点击原文阅读读创平台的精彩解读：
读创记者 李旖露 严偲偲 文/图
编辑/春儿
往期精彩内容
项目来了 | “两会”记者装备酷炫，但你听说过外骨骼么？
项目来了 | 人体暗战：益生菌和噬菌体正悄悄发起一场“战争”