医生像玩 AR 游戏一样，切下了我鼻窦里的肿瘤

似雪花飘

一台鼻窦癌手术正在进行。这类手术的画面颇具视觉冲击力，外科医生需要“掀开”患者的半张脸，才能暴露出肿瘤所在的位置。

  K& c! K* d$ @5 W

图源：Giphy

. {; @6 ?$ B5 [+ }

后来有了微创技术，如今对于一些病例，用一个直径三到四毫米的小内窥镜就能穿过鼻腔、切割肿瘤。


1 y4 d3 p9 |) j
. j- K; a2 [0 F. ]/ e2 f' d但这就像把主刀医生置于一条陷阱重重的狭窄小巷——鼻窦位于人的头骨上，在鼻子和眼眶稍后一点的位置，周遭遍布着精密又重要的组织，视神经、眼球、硬脑膜……甚至还有为大脑供血的颈动脉。一毫米的误差都可能深刻影响患者的术后人生。
8 C! m- u! I( \+ I! \

这次手术不同寻常的是：主刀医生面前的仪器里打出了一道光，手术区域随即出现了肿瘤的 3D 影像，叠加在了患者身上。影像里，肿瘤是一块亮粉色的立体建模，边缘清晰可见，这就是他需要下刀的地方。

9 e- t& Z: z3 O6 z

图源：参考资料 [1]

' q' `7 n# c- |& m7 J+ P, n5 k# m
2 B! p3 I& [( ]( ]; K
随着手术进行，投影仪上的光学传感器也在持续运作，追踪、重新校准，以准确反映患者头颅的内部构造。它像是给了医生一副透视眼，“这样我就知道，打开那扇门，去掉这块骨头，有一条颈动脉或者视神经隐藏在后面。”主刀医生如此形容道。

$ B/ O2 U  P- D( a# K) A
  癌症手术的恒久难题  


这并非真人身上进行的手术，而是加拿大肿瘤外科医生 Jonathan Irish 在 2021 年运用 AR （增强现实）技术进行的一场模拟实验。

! t5 I2 p2 m: X( I% g5 Z

他和团队试图破解一个恒久难题：在癌症手术中，如何尽量切除干净癌变细胞，同时最大限度保留下健康组织？
, w- D$ r, |4 S* A
, J0 H8 ]6 ?# ~: y
这个问题在鼻窦癌手术中尤为突出。鼻窦是头骨上的四对腔室，靠近鼻子和眼眶的位置。平时，它们加热吸入的空气，又像汽车安全气囊一样，在我们被“打脸”的时候起到缓冲作用。
' V+ z: S9 \# Z. ], T1 {' a

" W# m' A: o1 W. ^2 j1 \/ Z  d8 O/ d$ L
6 L, j0 R  }1 g% S- _' R, s- t/ j

图源：维基百科

8 Z$ ^8 Z1 }* q0 y- v% Z& Z
, N1 p, \* |4 J* A# p$ _但由于一些原因，比如长期暴露于化工粉尘，这部分可能发生病变，发展成恶性肿瘤。鼻窦肿瘤发病率并不高，但早期症状不明显，常被误认为感冒，因而真正发现时往往已经是晚期。

* s# T- }; i  t0 F

% S  V( i+ Y8 L6 i2 m此时，肿瘤可能已经走出鼻窦，扩散到眼窝甚至淋巴结处。人体的头面部本就结构复杂，在肿瘤压迫下还发生了组织变形。这让手术变得困难重重——切得过于保守，癌症复发的几率就会增加；过度切除则可能让患者丧失一些正常生理功能。

, |! F- A1 A" |( w% S# _
# W& n4 T/ F. h8 {( Z; `2 ^' m! T常见的手术方案有两种，开放式手术和内窥镜手术。但即便是视野更开阔的前者，也常常无法完全切除癌变细胞，还会留下大块的面部瘢痕。同时，每次切开患者皮肤，都可能发生感染。因此，执刀医生都对提高手术精确度、缩短手术时间的需求尤为强烈。
# V/ @8 X: p$ u" i* n! A, o

: L/ E! a, A+ z+ O% o过去，手术会借助 X 光、MRI、CT 等手段对患者进行术前扫描，以二维的模式显示病灶信息，进行图像引导。但这种方法存在一些显著缺点：可读性差，组织结构的空间位置和毗邻关系缺乏立体感。
: V; `" j7 {7 ^4 r0 B

因此，医生仍非常依赖经验和直觉来判断动刀的大小、切除的深度。而且，手术期间，医生需要不断在患者和电脑屏幕之间来回查看，难免造成分神与干扰。

9 O, `. H) R1 G1 H7 d! }
Irish 想到，能不能干脆将肿瘤图像投影到患者头上？

使用 AR 对不同类型的鼻腔鼻窦肿瘤进行投影，绿色的点用于位置对齐 ｜参考资料 [1]

- d8 ^7 F- `% @( m* M

! y0 L5 |! }" d  跟着 AR “导航仪”走  
) C: F) j6 s" l8 l1 S% M  z0 N
. S  ]* S3 d0 U  z! X' j
& }! E# F' k; K  W/ yAR 手术跟荧光引导手术异曲同工。荧光引导手术是通过向体内注入荧光染料，更明确地显示病灶与健康组织的边界，协助医生进行切除。AR 则是通过投影的方式来展现这个边界。


/ ]2 s3 G. i. q在这方面，鼻窦癌手术天然适合：它生长于骨头上——这是一个固定不变的组织，术前依据扫描图像生成的建模，与手术时器官的大小、位置，是几乎一致的。这样一来，投影图像才能够与肿瘤位置完全重叠。


1 q8 ^& @" u) f/ t) i相比之下，肺或是舌头这类柔软的组织更加不稳定，可能在手术期间移位变形。它们的术前扫描在术中只能作为一个参考，具体位置还要视情况而定。
3 M0 L0 e9 S) o0 `( _9 u& W

建模过程就相当于“做了一次手术”。


团队里有五名工程师，每一位都有进入手术室的特权，他们虽然不进行手术，却会在建模上标注出虚线和路径，设置各种参数，设定好该如何切割下肿瘤以及周围的骨骼或软组织。到真正手术的时候，“我的工作基本上就是去执行这些设定。” Irish 表示。
& a: l% T7 [, W% ?* D" L( W
, W+ G3 Y% l+ N* `
7 V* v/ M' n& t5 ~; }

图源：Giphy

* E) i7 a! H" H* ]5 F- A

, s6 k0 m' _) s# M6 W2021 年，Jonathan Irish 开始带领医疗团队运用 AR 技术进行鼻窦癌手术的模拟实验。他们使用人造头骨、丙烯酸胶的可塑材料模拟出晚期鼻窦癌的状况，交由五名拥有 3 到 5 年的外科医生在模型上进行虚拟的肿瘤移除。
, k* }* G9 W! _. D
1 Q! p; K' w! w

AR 设备包括了便携式高清投影仪、立体红外相机、摄像头和笔记本电脑。

2 t/ M! G( I# ~9 [! ~9 \$ U- g

AR 手术布局 ｜参考资料 [1]

! F  y4 i8 h: \7 t! z: X; m对比传统手术， AR 辅助的手术将残留肿瘤组织的错误率从 20.7% 降低至 9.4% 。


2 S7 Q  f: |2 `9 x" w

(A) 传统图像引导手术系统布局，(B) (C) (D) 由监视器显示的肿瘤三维重建模型｜参考资料 [1]

4 Z! h3 X; M; x) N, w/ |
0 |0 f7 e6 n. C. ?- q
7 r5 B0 C) Q7 `" E: G) M% |利用眼球追踪技术，研究团队还记录了手术期间医生的视线位置。他们发现，通过监视器引导手术的时候，医生的视线有超过 20% 的时间并非集中于手术区域；AR 辅助手术时，这个比例则是零。


& A4 Z& [, P, F. v' I. r! D这个方法还不需要借助碍人的眼镜或笨重的头盔，使得医生在长时间手术中更加轻便灵活，不会因为长期设备而引起眩晕。

5 ]* t' T$ Z$ W8 k, q+ {  f
Jonathan Irish 将手术中的 AR 技术运用比作车辆导航系统。

3 w; v( L6 K$ O' S0 r( w( k
/ Z$ I/ Y) U$ P* C& y' E# B7 m二十年前司机开车迷路时，需要停下车，从抽屉里拿出地图，铺开它，查看想去的路线。
+ F/ S; d: `3 o  n/ W

现在，大部分人车里都不再有纸质地图，取而代之的是导航系统。只要输入地址，导航系统就会自动规划，用蓝色标注出该走的路线，并帮助司机选出最短的那一条。经过不熟悉或复杂的地段时，导航系统也会提示该如何绕过障碍物，找到最佳路径。
' P5 c, f$ L- I2 m5 \+ n  k

: {, X& U  w- H% p  U4 H
$ J% l8 V* I! g! N$ E; T

车载导航系统实时给司机规划路线｜Unsplash

1 T! {0 t* }* [4 Z+ `* Z5 e
除此之外，导航系统还能在前方出现紧急路况，或是车辆将与其他物体发生碰撞时，向司机发出警报，以避免误入禁区。

6 o; f, u& Y( E, q3 ^" x( G8 H
: ~) v# t$ D/ J对于鼻窦癌手术而言，“禁区”可能是眼睛和大脑的敏感区域。由于位置非常靠近，手术时，医生稍不留神就会触碰到眼球转动神经和视神经，对视力造成永久伤害。AR 设备会在医生们距离重要神经还有几毫米时，以不同的声响发出信号，避免触及。
2 }6 e2 e# F, c$ u

几毫米的差别，对于患者的术后生活却是质的不同。


2 g, F8 X1 }4 A8 a% o  AR 手术，其实早就不新鲜啦  

+ q6 ]8 r  R2 f$ a/ e
  n9 D4 |. x& S据统计， 2023 至 2032 年，AR/VR 在医疗领域中的市场规模预计增长超过 20% 。此时距离 AR 手术的首次探索其实已经过去了 25 年。



1997 年，B. Peuchet 等医生在法国的 University Hospital Clermont-Ferrand 首次进行了 AR 在脊柱手术的应用。他们开发了一个名叫“虚拟现实椎体视觉”的系统，通过荧光镜，将生成的 3D 透明椎体图像重叠在手术视野中，方便医生准确定位椎体移位的位置。
& H5 G9 d, e$ b* }0 V. ^
. @" Z$ o! c, d% Y
% y  h3 m6 z  Q8 G多年来 AR 技术一直被限于教室中，培训医学生进行血块清除，但近几年， 真实的应用案例开始崭露头角。2020 年 6 月，约翰霍普金斯大学的神经外科医生在手术中成功使用 AR 技术，医生们利用 AR 技术将六个螺丝钉植入患者的脊柱，缓解了患者长期严重的背部疼痛。
0 Z- q3 @3 L1 E- s4 j
% h) \& }2 Y6 a
3 \/ p9 A; m2 _7 q& k: l; ?与此同时，阿拉巴马大学与埃默里大学也使用谷歌眼镜试行了一起骨科肩关节置换术；斯坦福大学则在开发自己的 AR 手术设备。

约翰霍普金斯的医生使用 AR 技术将医学扫描图像叠加到手术视野中 ｜ hopkinsmedicine.org

  v8 P; P* O* q: D
0 P6 o" {. Q0 ]
中国也存在这样的案例。 2018 年，西安市儿童医院的医生们在 AR 辅助下，完成了一例儿童颅内血管畸形切除手术。

; g$ O) y* R3 E9 D% I
! m' w- d5 f, a2 N3 v  D
# M0 O) j/ k$ x; g7 U3 X# X但 Jonathan Irish 也表示，任何一项科学技术都无法取代一名优秀的外科医生。

6 X: W! i" g6 d$ r' i% }
2 d9 K0 H. r% X4 ~0 i' q) a1 T/ D这项技术并非没有局限。首先，3D 图像的叠加可能会导致医生出现“视野盲区”——视野中出现一个意料之外的物体却没有看见。AR 呈现的复杂信息，也可能会分散医生的注意力。因此在手术前，医生以及技术人员对于重要信息的筛选尤为重要。
0 d4 U7 U6 z: F  D
" {" M* |5 J8 T3 D
2 ^4 g7 K. i5 k5 q) ~) x4 GAR 手术对设备的要求也很高。病灶部位通常都是凹凸的表面，投影需达到足够的图像对比度才能足够看清；获取高精度的三维扫描数据需要额外的设备和时间，对于资源有限的医疗机构，很难负担其高昂的成本。
# |) t- V, ?1 J- a- _
* r% `  A! z# s9 T
7 \8 ?- d3 f0 `- e: e依赖设备的弊端也在于，一旦手术过程中设备出现故障或者数据出现问题，很可能会影响到手术的进行。追踪系统的反应延迟会导致投影仪无法及时重新定位，降低精准度，影响手术质量。

0 i+ [: \; [0 B& n
  除了手术，AR 在医院还能干啥？  
: ^8 N1 p1 n: X: ?* _" t+ w/ c* j3 h
6 u) U' P- N; J
, e+ p" P/ K, d: x/ N' ~( |如今，AR 技术在医疗领域的应用不仅限于手术，在其他医疗场景也运用广泛。

: g) l  {' \4 ~* k9 B! i/ j

疫情期间，由于个人防护设备紧缺以及病房内的人员限制，英国国民医疗服务体系（NHS) 下的医疗机构借助微软的 HololLens AR 设备搭建远程病房巡视团队。


这项技术只需要一名医生进入病房巡视，通过 HoloLens 全息可视化图像显示病人的扫描图像及实时数据，远程联系医疗团队提供指导，辅助诊断。HoloLens 大大提高了病房巡视效率，使得巡视次数减少了 30% 。

/ [( S9 n! R7 |8 N7 P
- I( ]& e1 y% Q- k0 c* n

医生病房巡视中借助 HoloLens 查看病人扫描图像，远程联系医疗团队 ｜ Microsoft HoloLens

, h# O6 K- c5 m1 a
1 W) Z1 U, I- N) j6 o- ?3 v5 ~- iAR 技术也在悄悄造福自闭症患儿。波士顿儿童医院主任 Howard Shane 曾表示，自闭症儿童的口语交际能力相对困难，大部分学习都是通过观看进行的。“他们通常非常安静，但对视觉的东西有很强的偏爱。”


) @( F) r0 ^- w! L* Z因此，视觉互动是自闭症儿童学习口语能力和理解能力的有效办法，而 AR 技术则提供了一个非常有趣的解决方案。

1 H; r9 R' |3 _* P" U7 }
% f- y8 x' ~! V$ O! T波士顿儿童医院为一组传统儿童玩具设计了虚拟化身：一个包含不同角色的农舍，例如男孩、马、谷仓、鸡、鸡蛋。
' W% o% @" b* v+ F2 E! B, T  k' M7 z9 O, x
. y* i& C, l, z
1 L4 `) Q. r6 a& a孩童可以将它们搬进搬出。随着不同的排列组合，设备会给出语音提示。给自闭症儿童架起一座视觉与听觉的桥梁。实验发现，原本无法玩过家家游戏的小孩子，在 AR 的视觉模式下，完成了所有的单步指令。

: W7 ~: @4 x- ^8 |8 P- s: P5 d
$ X8 h  i$ J# u- B3 ~

AR 技术的图像与物理环境叠加，帮助自闭症患儿感知世界 ｜ 参考资料 [11]

4 X8 [- l: H- m; m& Y4 \6 R参考文献

! W. n$ Z. ]) a& O0 U( w2 L" c+ j6 n) o" k7 V

[1] https://www.frontiersin.org/articles/10.3389/fonc.2021.723509/full

[2] https://emedicine.medscape.com/article/1899145-overview

8 R- K$ e  V9 I7 W7 W& f% d

[3] https://www.hopkinsmedicine.org/health/conditions-and-diseases/paranasal-sinus-tumors#:~:text=A%20paranasal%20sinus%20tumor%20is,is%20growing%20until%20it%20spreads.

/ m  `/ s( W$ V% U0 @

[4] https://www.opticsjournal.net/Articles/OJc22853ad81ef8ab4/FullText

[5] https://www.uhn.ca/corporate/News/UHN_Podcasts/Behind_the_Breakthrough/Pages/Season4-Episode5-Jonathan-Irish.aspx

[6] https://www.gminsights.com/industry-analysis/augmented-and-virtual-reality-in-healthcare-market

! o% F$ @/ z1 ]- H- Z; C

[7] https://www.hindawi.com/journals/jhe/2017/4574172/

[8] https://www.hopkinsmedicine.org/news/articles/johns-hopkins-performs-its-first-augmented-reality-surgeries-in-patients

[9] https://www.sohu.com/a/277193761_141656

[10] https://www.microsoft.com/en-us/hololens/industry-healthcare#:~:text=HoloLens%202%20x%20Healthcare&text=With%20HoloLens%202%2C%20health%20professionals,Guided%20Tour

[11] https://emag.medicalexpo.com/an-augmented-reality-app-to-help-children-with-autism/

$ x% n& P7 O3 g3 O
1 W2 J# g' V' ]1 e
8 t3 z, y) Y  u; j* S) O

1 }! V" \0 O% X" H: L  y, f. X

2 u. T# B& I3 N: @0 j

作者：Bean

5 q2 K2 `. H2 T5 `! `3 T

编辑：翁垟、biu

封面图来源：Unsplash

6 M! S1 S# g. G( l3 Y

8 _6 o9 P4 X9 t

) w+ f# j' Q. A& r: Q& \, x( C



3 V- B( J1 U5 z如有需要请联系 sns@guokr.com