虚拟现实为外科手术提供了一个新的维度
图片来源:Osso VR
从游戏技术到手术台，虚拟现实和增强现实正在成为外科手术和医疗保健的宝贵工具。
当告诉你坏消息时，你可能不会想到神经外科医生会让你戴上耳机并拿起游戏控制器——但事实证明，这样做是术前咨询的有效组成部分。虚拟现实(VR)正在缓解神经外科手术患者的焦虑。
神经外科医生置身于计算机生成的三维图像虚拟世界中，可以通过头戴式耳机查看x光图像的计算机断层扫描(CT)汇编而成的三维图像，对患者的大脑进行“漫游”。咨询师可以解释他们在探索VR模型时看到的东西。
部分原因是，神经外科医生早前就使用了VR技术来计划和准备手术。例如，典型的核磁共振成像扫描只能显示大脑的2D“切片”，但不能显示血管的位置。由于这与每个人不同，所以在计划初始切口时，知道他们在哪里是至关重要的。
英伟达(Nvidia)健康和生命科学全球业务发展主管阿卜杜勒•哈米德•哈拉比(Abdul Hamid Halabi)表示:“使用VR很容易实现可视化。”英伟达设计了用于游戏和成像系统的图形处理单元(gpu)和芯片。
除了在手术前让患者放松，帮助外科医生规划最有效的手术程序外，VR还被用于培训外科医生。
有几家公司已经开发了VR软件作为医疗培训工具。一个是Osso VR。该公司的同名产品使注册医生、医学生和外科医生能够有效地熟悉一个典型的、简单的程序，直到它成为天生的。
使用市面上可以买到的Oculus Rift头戴设备和两个控制器来跟踪手部运动，学生们可以模拟和加速部分过程，以熟悉新技术。该系统可以模拟和加速手术过程的某些部分，例如膝关节置换术。该公司联合创始人兼首席执行官贾斯汀·巴拉德博士说，学生们还可以留出20到30分钟的VR训练时间，有时会有多个“场景”(程序)。
Osso VR使用了一个图像库，一些是内部创建的，一些是案例研究的重建。
巴拉德解释道:“VR可以帮助外科医生学习常见的手术程序，然后加入一些异常情况，例如畸形的骶骨，以进行具有挑战性的解剖练习。”巴拉德在进入医学界之前原本想成为一名游戏开发者。
在一项验证研究中，一组接受传统培训，另一组使用Osso VR进行15至20分钟的培训，VR组在测量仪器操作、操作流程和特定程序知识等技能的测试中表现更好。
世界卫生组织的一份报告发现，“新技术不良事件的主要原因是训练不当和学习曲线过长”。然而，传统的非现场培训既耗时又昂贵，因此能够使用新设备或技术进行培训将鼓励创新，并提高技能。
巴拉德是一名合格的整形外科医生，他发现许多住院医生尽管在大学学习多年，但仍然不会手术，因为新的技术和程序不断被引入，而没有足够的时间学习它们。他兴奋地说:“虚拟现实技术可以让你的手在团队训练中模拟手术过程。”
他补充说，研究表明，与使用文本和视频学习的学生相比，虚拟现实的沉浸式训练将他们的表现提高了230%。
选择现实
虚拟现实是一种计算机生成的3D环境。使用者可以通过戴上带有传感器的头戴式耳机或手套，看到、触摸周围环境并与之互动。虚拟现实主要使用视觉和声音，并越来越多地使用触觉系统。
要从各个角度查看虚拟对象，帧刷新率应至少为每秒30帧。许多早期VR系统的刷新率为每秒60帧，但这种延迟会导致晕车。例如，在站立时，虚拟环境不能足够快地跟踪变化。Plessey的micro - led应用总监克莱夫·布鲁克斯(Clive Brooks)将这种导致用户失去平衡的“涂抹”效果描述为“风景在晃动”。
增强现实技术将虚拟物体、声音和文本添加到现实环境中，并允许用户与物体进行交互，或者在医疗增强现实技术中与患者进行交互。“Pokémon Go”是AR的一个例子。比基于电视的VR系统更复杂，AR系统可以结合小型摄像机向软件提供信号，以调整视野或可观察区域。这需要大量的处理能力。
谷歌Glass是AR的早期例子，去年Vuzix推出了Vuzix Blade，这是一款AR智能眼镜，带有“浮动”屏幕，可以添加额外的信息。这款智能眼镜采用浮动屏幕，使用时无需手持手机。
该公司已经放弃了oled(有机发光二极管)，转而采用Plessey半导体公司的微型led，与oled相比，微型led的分辨率、对比度和亮度都有所提高，而且功耗只有oled的一半。这使得电源可以舒适地位于框架内。
混合现实也混合了物理世界和虚拟世界，但在真实环境中同时使用真实和虚拟对象，例如使用真实的手术室但使用虚拟病人。
一些手术团队在手术前使用虚拟现实技术来熟悉手术和彼此的工作实践。通常情况下，手术室里有六个人或更多的人，他们通常没有机会在一起工作。虚拟现实技术允许集合的团队快速进行模拟;巴拉德将其描述为“在虚拟现实中进行复习和热身”。
专家团队可能根本不见面，而是在不同的地点保持联系，这也可以通过VR实现。
Digital Surgery的培训产品Touch Surgery使用增强现实(AR)和虚拟现实(VR)来模拟手术过程。它是微软的混合现实合作伙伴(MMRP)，作为该计划的一部分，提供系统集成商和开发人员将在VR系统中使用的内容。
Digital Surgery联合创始人兼首席执行官Jean Nehme博士解释说:“使用混合现实技术，我们使用了一个真实的手术室和一个虚拟的病人。”
去年，TouchSurgery宣布将使用微软的HoloLens头盔和人工智能(AI)以及数字手术过程数据库来训练计算机理解手术过程并预测手术室的下一步。
TouchSurgery软件目前用于准备和培训外科医生，并通过pc和手机测试程序。
英伟达的哈拉比表示，基于虚拟现实和机器人手术的应用，增强现实技术正在出现在医疗领域。他认为，第一个应用案例将是AR在手术中对患者进行扫描。他解释说:“在手术过程中切换VR是不现实的——我看到AR比VR有更多的应用。”
机器人手术很受欢迎，因为它是微创的，是AR在手术室中使用的早期例子。在机械臂末端的微型仪器可以由外科医生操作和控制，观察3D摄像机放大的图像。外科医生通过手术室的控制台控制三个或更多的机械臂。
所看到的图像是外科医生站在手术台上向下看病人时所看到的图像，但增强现实技术允许在图像上查看数据，以增强外科医生所看到的图像。为了推进开发，达芬奇机器人系统的制造商Intuitive Surgical宣布了2019年的拨款，用于支持手术机器人、增强可视化或渲染以及增强现实技术的研究。
加拿大初创公司Aris MD正在开发一种AR和VR系统，可以处理2D扫描图像并将其转换为3D图像，在手术过程中覆盖在患者身上。通过MRI、CT、x光或超声波扫描的诊断图像，该技术提供了患者解剖和损伤的地图。这样的“地图”可以节省在手术室的时间，减少病人麻醉的时间。
为脑外科医生创建一个“飞行模拟器”
伦敦圣巴塞洛缪医院(St Bartholomew 's Hospital)的脑外科医生推出了Brainbook项目，这是一个360度VR脑外科电影图书馆。第一部VR电影于2017年9月上线，展示了一名患者正在接受脑动脉瘤手术。
一个360度的摄像头组合显示手术室，就好像观众是被推入手术室的病人。头戴式高清摄像机从外科医生的视角展示手术过程。
该医疗团队与英国一家专门从事临床培训的虚拟现实模拟公司FundamentalVR合作。它的Fundamental Surgery软件即服务(SaaS)被描述为外科手术的飞行模拟器。它为整形外科医生结合了组织的VR图像和触觉反馈。
通过这种方式记录手术过程，FundamentalVR可以在VR模拟中重现手术过程。联合创始人克里斯·斯盖特古德(Chris Scattergood)说:“实习外科医生可以在安全的虚拟手术室里练习手术的关键阶段，并使用FeelReal VR(触觉反馈)用手实际感受所有不同类型组织的纹理。”
该系统可与HTC Vive和Oculus Rift头显以及个人电脑或平板电脑一起使用。
基础外科希望将模拟扩展到腹腔镜、普通外科、心血管和耳鼻喉科或耳鼻喉科(ENT)手术。
下一步是远程手术，世界各地的外科医生团队在同一个手术中共同工作。目前，咨询师无需离开办公桌，就可以使用Proximie等增强现实平台，用笔向手术室的手术团队指示切口位置或突出某个区域。
哈拉比说:“让外科医生坐在隔壁房间的技术和能力是存在的。“但远程手术的挑战在于周转时间，”他承认。“如果外科医生做了一个动作，你需要能够在大约70毫秒内显示出来。如果你有稳定的互联网连接，这是可以做到的——它已经通过机器人手术在全球远程完成，”他补充道。
沙菲·艾哈迈德教授是伦敦圣巴塞洛缪医院(巴茨)的结直肠外科医生，由于在医疗合作领域开创了虚拟技术，他获得了“虚拟外科医生”的绰号。
2017年10月，他为一名患者做了切除肠癌的手术，印度孟买塔塔纪念医院的癌症外科医生Shailesh Shrikhande教授和伦敦独立医院的结肠直肠外科顾问医生Hitesh Patel以化身的形式加入了他的团队。
每位外科医生都戴着一个HoloLens耳机，为Aetho Thrive应用程序提供动力，该应用程序将3D虚拟形象放入手术室。通过这些虚拟形象，每位专家都可以指出肿瘤的3D全息图，这是由患者的扫描图像生成的，以协助或研究手术。
该技术为专家提供了指导或参与行动的潜力，即使他们被叫到另一个地点，或者在紧急情况下，他们的专业技能可能需要，即使他们不能亲自在场。
软件和硬件公司正在努力将VR和AR应用于医疗保健的所有领域。据估计，2017年约有400家医疗VR初创企业筹集了40亿美元的资金，高于前一年的约25亿美元。医生们热衷于采用这项技术，医院的VR和AR中心正在试验和调整专科系统。
如今的VR头盔也有局限性，在它们变得沉重或热得不舒服之前，只能使用很短的时间。目前这种形式的头戴式设备不太可能被使用，但手部跟踪有可能取代手术室中的控制器。尽管现在已经有了外骨骼和触觉手套，但在操作和执行之间有一个时间差，而且它们还不够精确，不能用于外科手术。
尽管存在这些限制，但像Jean Nehme这样的业内人士认为，硬件和软件问题将在两年内得到解决，将VR和AR引入手术室。
完美的照片
瑞士巴塞尔大学的研究人员正在开发使用VR和AR进行微创机器人骨骼手术的方法。
该大学的MIRACLE(微创机器人辅助计算机引导laserosteoome)项目正在开发一种使用激光的机器人内窥镜，它可以为骨科、耳鼻喉科、创伤科、脊柱、神经和颅颌面外科进行精确和小切口和非接触式微创手术。
规划和导航团队正在开发一个实时系统，以精确定位激光切口的位置。目前的无源和光学标记不具备监测激光尖端位置所需的视线。
虽然CT数据可视化并不新鲜，Bàlazs Faludi和Marek Zelechowski正在领导该团队的项目，通过获取“原始”CT图像并从2D扫描图像数据集构建3D图像来加速可视化。
目前的可视化技术对CT图像数据进行分割，以创建3D网格对象。这一阶段可以通过使用商用显卡和项目的定制软件来消除。
体素(相当于2D图像中的像素)用于合成DICOM(医学数字成像和通信)文件图像。不需要预处理或分割(手动或自动)。“扫描保存几秒钟后，我们可以在VR中看到它，”法露迪说。
算法将VR渲染优化为每秒90帧的性能，并设置颜色值来渲染组织、血管和骨骼。
作为HTC Vive追踪器开发项目的一部分，这个名为SpectoVive的系统使用了HTC Vive眼镜。成像对象可以实时缩放、移动和切割，用于规划、诊断和教学。
报名参加E&T新闻电子邮件让像这样的精彩故事每天都发送到你的收件箱。
