为了解决这一问题，全景内窥成像技术应运而生，为微创手术带来了新的视野和机遇。

浙江大学霍嘉燚团队发表文章，从原理和产品应用两个方面对全景内窥成像技术进行了梳理。先综述了基于二维和三维成像的各种全景内窥成像技术，阐述了它们各自的实现方式，并分析了其关键指标和性能。其次，对比分析了由全景内窥成像技术衍生出来的胶囊内窥镜、全景结直肠镜等多种不同类型的产品，并展望了全景内窥成像技术的发展趋势和应用景。

二维全景内窥成像主要有两种实现方式，一种是多摄像头全景成像技术，另一种是全景镜头技术。

1.多摄像头全景成像技术

基于SURF的内窥镜全景拼接方法

SURF算法基于Hessian矩阵构造金字塔尺度空间，利用箱式滤波器简化二维高斯滤波，无需再进行降采样。通过Harr小波特征设定特征点主方向，构建的特征点描述子为64维。相对于SIFT算法，SURF算法检测速度更快。

Peng等人基于双目内窥镜开发的MISPE通过SURF算法进行图像拼接，视野相较于单目成像扩展了155%。之后，通过缩小特征点检索范围、结合后帧情况进行视频拼接、对图像帧下采样等方式提高了匹配和拼接的速率。

2018年，Kim课题组提出通过计算两帧单应性矩阵在当帧匹配特征集上的中值重投影误差实现自动更新，提高了拼接算法的稳定性。该课题组还基于立体视觉合成理论同时实现了三维重建和图像拼接，在单台Intel i5-4590 CPU计算机上实现了高达11.3fram/s的帧速率，在带有额外的GTX1060 NVIDIA GeForce GPU的计算机上可以实现CUDA加速，实现17.6fram/s的帧速率。2018年，Kim等人设计的TCA通过套管实现微型摄像机的部署，使SURF算法实现图像的拼接，能够以26frame/s的帧率实现拼接后的视频显示。

套针相机组件

基于ORB的内窥全景拼接

原始ORB算法在关键点匹配中没有尺度不变性，容易受到噪声影响。

2022年，Zhang等人提出的金字塔ORB算法通过建立高斯金字塔解决了该问题，在图像尺度发生变化时，其匹配精度为93.2%，远高于传统的ORB算法，较传统ORB算法高约44%。虽然该算法的平均匹配精度略低于SIFT，但匹配时间为SIFT的1/8，远低于SIFT，具有一定的实用性。

无拼接算法的全景成像技术

无拼接算法的多摄显示技术对于计算的需求较低，但对镜体的机械设计水平要求较高，需要在较小的体积下集成多个摄像头，对镜头的设计和加工技术等方面提出了更高的要求。同时，由于是多个摄像头采集到的图像同时显示，因此对数据的存储和通讯也有较高要求。对于胶囊内窥镜而言，多个摄像头同时工作引起的功耗提升也需要设计人员去解决。

双摄像头胶囊内窥镜

2.全景镜头技术

自由曲面棱镜

自由曲面棱镜的设计方法已经日趋成熟，在传统成像光学系统中，自由曲面能够进一步实现系统的小型化，从而可以放入体积狭小的内窥镜中。

2015年，Katkam等人设计了一种紧凑的双视角内窥镜，该内窥镜基于自由曲面棱镜实现了向90°和后向45°的成像。该设计中仅使用了一个自由曲面棱镜来组合视图和后视图，为确保两个FOV都具有良好的性能，对表面进行了特殊设计以降低像差。

紧凑双视角内窥镜设计方案

自由曲面棱镜的设计方案

全景环形透镜

全景环形透镜（PAL）是一种紧凑的光学结构，具有大视场和小畸变的特点，能够提供全景视图和清晰的成像质量。

2016年，Liu等人设计了基于全景环形透镜和自由曲面棱镜的内窥镜系统，该设计能够实现全景成像，同时可获得局部高分辨率图像，充分利用了传统全景环形透镜系统图像表面的盲区像素，解决了宽视场和高分辨率之间的矛盾。其PAL子系统的FOV达（60°-97.5°）×360°，高分辨率系统实现了0.008mm的物方分辨率。

全景环形透镜的原理示意图

基于全景环形透镜和自由曲面棱镜的内窥镜系统

折反射成像系统

折反射成像系统是一种使用较少镜片即可实现超广角成像的技术，可以通过锥形镜、抛物面镜、凹凸镜片折叠等方式实现，成像方式简单、易于加工、成本较低，具有广泛的应用潜力。

2015年，Sahli设计的系统可以实现侧视图360°成像；2016年，Dallaire等人通过设计凹凸镜头折叠的方式实现折反射，视场角可以达到180°；2017年，Tseng等人设计的全景内窥系统使用抛物面镜作为反射镜，用于实现侧视图的360°全景成像，后续加入了一个中继镜头，接收由凹面镜反射回来的侧向光，图像失真更少。

凹凸型广角内窥镜设计方案

基于抛物面镜内窥镜设计图

仿生光学系统

研究人员从昆虫的复眼获得灵感，提出了兼具均匀性和高分辨率的成像能力的全景内窥成像系统。

2016年，Tseng等人根据昆虫的复眼结构提出了一种具有大视场的灵活胶囊内窥镜，使用31个球透镜覆盖175°的观察区域，应用光纤阵列来拟合曲线图像平面，以改善场曲像差并将图像传送到图像传感器中，该胶囊内窥镜可以通过基于球透镜设计的复合透镜捕获175°的可视区域。2017年，Cogal等人受昆虫复眼启发，提出了一种小型化高清视觉系统，采用分布式照明方法，可覆盖180°×180°的视场，能以120MHz的处理时钟频率生成具有1080pixel×1080pixel分辨率的25frame/s视频。

基于复合透镜的仿生内窥镜原型

多系统组合

该方法将不同的超广角技术组合起来，充分发挥各项技术的长处，弥补不同技术存在的缺陷，从而实现良好的畸变和体积控制。2019年，Chen等人设计的紧凑双视场内窥镜物镜视场角达±80°，畸变控制在了10%以内，提高了边缘视场的成像质量，结构更加紧凑，易于安装。

紧凑双视场内窥镜的设计示意图

三维全景内窥技术通过三维拼接能够获得信息，目根据采用的方法不同，可分为深度相机与单目相机两大类。

1.深度相机

内窥镜中深度相机的实现方式

主动形式：

被动形式：双目相机模仿人眼的视觉系统，可以通过双目的单帧图像计算获得对应的深度图，从而可以与RGB-D相机一样实时获得深度图，且拥有更高的分辨率，因此现在多使用双目相机来实现初基于RGB-D的SLAM方案。

内窥镜中深度相机拼接成像技术

通过深度相机获得深度图即局部点云后，需要对多个局部点云进行拼接以获得全景三维点云。2021年，Zhou等人将双目相机获得的图像转换为局部点云，通过使用SURF检测相邻左图像的特征点并进行匹配来估计摄像机姿态变化。在计算得到变换矩阵的基础上，利用迭代近点（ICP）算法进行更精细的点云配准，实现了整个胃器官的三维密集重建。

真实内窥镜图像视差图。（a）输入图像（左）；（b）SGBM视差图；（c）StereoNet视差图

整个胃器官重建三维点云图

实验场景及全景三维点云图

现有研究多采用基于概率估计的内窥镜视觉SLAM方法来描述该问题，其主要由特征提取、特征匹配以及内窥镜定位方法组成。随着双目相机研究的深入及计算机配置的不断提高，目通过对双目相机采集到的单帧图像进行视差计算，已可以与RGB-D相机一样实时获得深度图，且拥有分辨率更高等优点，因此，现在多使用双目相机实现原本基于RGB-D的SLAM方案。ORB-SLAM3在轨迹估计方面大大优于ElasticFusion，并且其腹腔镜手术图像序列更稳定，而在表面全景重建上则有着相似的性能。

2.单目内窥镜

单目内窥镜体积小、功耗低，但无法直接获得深度图，因此对算法提出了很高的要求。

目使用更多的是SLAM方法，根据其端匹配方式的不同，可分为基于特征的SLAM、稠密SLAM和半稠密SLAM。基于特征的SLAM通过对多幅图像进行特征提取及匹配，计算出相机位姿及运动轨迹，从而进行三维全景重建，因为仅使用特征点进行计算，减少了处理数据量，在实时性上有优势，但在弱纹理区域因特征稀少而不稳定。单目稠密SLAM不提取特征点，直接对整幅图像进行处理，可以利用的信息更多，但计算复杂度高，导致实时性较差。单目半稠密的SLAM结合上述两种方法的优点，实时性尚可，且在缺少纹理时较为稳定。

单目内窥镜SLAM框架

SfM重建三维点云图

近年来，研究人员开始尝试将卷积神经网络与单目SLAM相结合。Chen等人使用对抗性训练的卷积神经网络对从人体结肠的计算机断层扫描测量中渲染出来的图像以及对应的正确深度图进行训练，由单目内窥镜图像实时预测深度图并使用ElasticFusion进行三维拼接，实现对猪胃肠道组织的全景密集重建。Widya等人设计了一种基于平面拟合的三维点离群点去除算法，使用单目内窥镜视频重建整个胃的彩色纹理3D模型，实现了将视频任意帧定位到三维模型。

全景内窥成像目主要应用于胶囊内镜和大视场结直肠镜中。

1.胶囊内镜

目，国内外多个厂家均能提供大视角的胶囊内窥镜。随着小型化技术相关元件功耗的降低，各个厂家逐渐开始在胶囊内镜中集成更多的摄像头。单个超广角镜头的胶囊内窥镜的视场角均在156°-170°之间，可视范围大致相同，区别在于帧率、通信方式和电池寿命等方面不同。

胶囊内镜在诊断治疗OGIB、克罗恩病及复杂乳糜泻等方面起到了重要的作用。在一项对比研究中，提供全景视野的胶囊可以观察到更加丰富的病变信息，检查到更多的出血病例，医生和病人满意度高。在克罗恩病和CD的诊治方面，胶囊内镜也能提供重要的诊断依据，帮助医生制定治疗方案。

（a）CapsoCam SV1示意图及 （b）SVI拍摄的图像

 全景胶囊内镜下CD粘膜萎缩内镜特征

2.结直肠镜

结直肠癌是目诊断率第三普遍的癌症，常规的结肠镜检查仍会遗漏大量的息肉。

近的相关研究提出褶皱可视化技术（BFT），旨在提高腺瘤检出率。Full Spectrum Endoscopy（FUSE）系统中在单个视镜头上添加了两个侧视镜头，使视野扩大到330°；EWAVE结肠镜由一个标准的147°视镜头和两个额外的42.5°横向后视镜头组成，将所有镜头的视图进行合成并显示在显示器上；Third Eye Panoramic设备是两个可以连接到标准结肠镜末端的侧视摄像头，可以获得3个可以投射到屏幕上的图像，将视角扩展到300°以上。

传统结肠镜和FUSE拍摄的图像

（a）FUSE结肠镜; （ b）FUSE拍摄的图像

使用这些技术相对于传统结肠镜对提高ADR没有明显的影响，但使用BFT可以提高对非晚期息肉和病变的检测，很好地降低非晚期腺瘤漏诊的风险，对于经验不足的结肠镜医师效果更为明显。

全景内窥成像技术正逐步成为未来内窥镜研究的重要发展方向，具有广阔的应用景。但该技术目仍存在部分问题有待解决，例如内窥全景图像拼接算法、更高性能的内窥全景成像镜头以及更准确的内窥全景信息重建技术等。

这些问题的解决将有助于降低微创手术门槛，提高微创手术精度，提高整体的医疗质量，并且带动微创手术和手术导航技术向更多医院普及，使更多人能够享受到医疗技术和手段，提高人类的生活质量。

声明：本文仅用作学术目的。文章来源于:霍嘉燚, 李冕豪, 王子川, 袁波, 杨青, 王立强. 全景内窥成像技术及应用[J]. 中国光学, 2023, 16(1): 44. Jia-yi HUO, Mian-hao LI, Zi-chuan WANG, Bo YUAN, Qing YANG, Li-qiang WANG. Panoramic endoscopic imaging technology ａnd it’s applications[J]. Chinese Optics, 2023, 16(1): 44.