目已有基于传统机器学习的研究实现了对单帧图像的分类，但这些信息不足以辅助医生确定治疗方案，仍然需要医生二次判读。

北京理工大学医学技术学院的韩泽君团队基于Faster R-CNN（R-CNN，区域卷积神经网络），提出了一种用于IVOCT图像内易损斑块识别的端到端评估算法，该算法除了能够准确定位易损斑块外，还可以提示斑块的高危风险因素并量化评估斑块破裂风险，为临床医生提供诊断建议并辅助其制定治疗方案。

研究背景

急性冠脉综合征（ACS）是具危险性的心血管疾病，其致死率和致残率颇高。近70%的ACS是由冠状动脉粥样硬化引发的易损斑块破裂所导致。动脉粥样硬化是血管壁中多种物质积聚沉积形成粥样斑块的过程，随着斑块发展，易损斑块形成，其破裂会造成严重后果。

血管内光学相干断层成像（IVOCT）分辨率高（10-20μm），能够准确识别薄帽纤维粥样（TCFA）斑块等易损斑块特征，已逐渐成为诊断易损斑块。然而，在实际应用中，医生手动在图像中标注斑块位置时，不可避免地会受到主观判断的影响，导致诊断结果存在一定偏差。而且一次回撤会产生数百张IVOCT腔内截面图像，手动判读为耗时费力，严重影响了对易损斑块的诊断速度和精度。

深度学习技术已应用于斑块分类和检测，但现有算法如使用U型编码器-解码器结构或基于多任务深度卷积神经网络的算法，只能提供目标斑块的位置信息，其破裂风险及对应的治疗方案仍依赖于医生的主观经验。由于IVOCT分辨率无法达分子水平，图像仅能表征易损斑块结构特征，因此开发计算机辅助诊断（CAD）系统对于量化评估易损斑块破裂风险、规范治疗措施和减轻医生负担至关重要。

研究方法

一、IVOCT图像处理流程

1、图像预处理

是将原始的IVOCT图像转换为坐标下的灰度图像。在常规的IVOCT图像中，为了便于观察，通常会进行伪彩色处理，但这种伪彩色处理后的颜色通道并不包含任何病理信息。将图像转换为坐标下的灰度图像有助于后续对斑块特征的分析和处理，能够更好地突出斑块的形态、位置等信息，为准确识别易损斑块奠定基础。

2、易损斑块定位

在坐标下的灰度图像中检测易损斑块的位置，并在图像中输出预测框（BBox）。这一步骤是整个算法的关键环节，通过特定的算法和模型，对图像中的易损斑块进行定位，确定其在图像中的大致范围，为后续的风险评估提供基础。

3、破裂风险评估

对自动定位后的斑块进行破裂风险评估。根据易损斑块的多种特征，如病变累积角度、纤维帽厚度、巨噬细胞浸润情况、浅表微钙化情况和血管狭窄程度等，综合分析判断斑块破裂的风险程度。这些特征相互关联，共同影响着斑块的稳定性和破裂风险，通过对它们的量化评估，可以更了解斑块的状态。

4、模型测试与结果输出

对斑块的定位方法和风险评估方法进行测试，并输出相应的指标。通过在测试数据集上的验证，评估算法的准确性、可靠性和有效性，为算法的优化和改进提供依据，同时也为临床应用提供参考。

易损斑块的自动识别与风险评估流程

二、易损斑块识别

1、基于Faster R-CNN的改进策略

• 选择Faster R-CNN作为基线方法，根据IVOCT图像特点进行改进。

• 采用循环移位增强数据，通过在图像尾端选择随机数目的A-Scan并移动到左侧，使易损斑块区域完整，增加斑块水平位置多样性，让网络学习到图像尾两端空间联系。

• 改变原始网络中的BBox编码结构，使用(X,W)编码，去除冗余纵坐标信息，提高网络处理速度。

• 引入额外语义分割头，借鉴多任务卷积神经网络（MTCNN）设计，采用UNet结构输出A-Scan分类结果，实现对易损斑块的定位和A-Scan分类。网络总损失由区域提取、二次检测和单个A-Scan分类头三部分平均权重组成。

2、网络结构与模块功能

• 特征提取模块：选用ResNet18作为主干网络，其包含四组堆叠残差块，对输入图像逐层运算提取语义信息并压缩特征图大小，同时使用特征金字塔结构保留底层纹理特征。

• 区域提取模块：由区域建议网络（RPN）负责在特征图中选择可能的候选区域，通过在特征图上滑动卷积窗，RPN对每个特征点输出分类和坐标回归输出，经非大值抑制（NMS）去除重叠率过高的Anchor得到候选区域。

• 二次检测模块：从候选区域中进一步过滤出正确区域，使用感兴趣区域（ROI）池化技术将不同区域特征映射为相同大小特征图，其原理与RPN相同通过NMS去除重叠率过高的Anchor，因一幅IVOCT图像中易损斑块区域较少，只保留得分的5个边框作为终定位输出结果。

• A-Scan分类模块：将图像每列像素视为单条A-Scan，落在标注区域内为阳性样本，外为阴性样本，得到A-Scan分类标签。对整张图像所有A-Scan分类，采用UNet结构输出结果，通过反卷积、拼接操作融合特征，经卷积层判断A-Scan是否为阳性。

易损斑块检测网络。（a）特征提取模块；（b）区域提取模块；（c）二次检测模块；（d）A-Scan分类模块

三、易损斑块的破裂风险评估

1、风险因素分析与模型构建：斑块破裂风险受机械强度（由易损斑块内部压力和组织强度决定，高危因素包括薄纤维帽、大坏死核心、浅表微钙化、严重炎症反应）和外部应力（主要由管腔狭窄程度决定）影响。由于尚无各风险因素权重研究，构建基于单一因素的斑块破裂多参数风险模型。

2、各风险因素评估方法

• 血管狭窄程度：用光学血流分数（OFR）表征，基于IVOCT图像计算病变处管腔横截面积与远端无狭窄病变处横截面积之比。采用DeepLabV3+算法计算管腔面积，先对图像进行分割得到管腔掩模，经形态学开闭操作消除噪声后计数像素个数，结合图像比例尺度计算管腔面积。

• 纤维帽厚度：纤维帽成分对近红外光反射系数大，图像中较亮，可通过亮度阈值区分。设计自适应亮度阈值选择方法，利用斑块位置和空腔掩模信息去除空腔噪声，对斑块表面像素处理确定纤维帽厚度范围，计算亮度阈值，将超过阈值像素定义为纤维帽区域，计算平均和薄纤维帽厚度。

• 病变累积角度：在坐标系下，用斑块区域宽度衡量，即病变累积角度，其计算与区域定位准确性相关。

• 浅表微钙化和巨噬细胞浸润：采用图像特征抽取再分类方式评估。特征包括由训练好的斑块检测网络的ResNet18提取的顶层特征（经全局平均池化得到一维特征向量，训练中冻结参数）和结合先验知识用梯度方向直方图（HOG）抽取的特征（采用自适应窗口滑动步进，选择斑块上部特定深度区域，经特定检测窗口滑动采样得到固定长度特征向量），将两者拼接后经全连通层映射到分类输出，分别对应浅表微钙化和巨噬细胞浸润概率。

   

DeepLabV3+网络结构

易损斑块纤维帽厚度计算过程

预测斑块浅表微钙化和巨噬细胞浸润的网络结构

结果与讨论

一、实验数据集与环境

本研究使用的数据集为CCCV2017 IVOCT数据集，该数据集由中国科学院西安光学精密机械研究所提供，门用于检测IVOCT图像中的薄纤维帽脂质斑块。

数据集分为训练集数据和测试集数据两部分，其中训练集数据包含2000张图片，测试集数据包含300张图片，两部分数据中均包含有易损斑块的阳性样本和没有易损斑块的阴性样本。对于单个阳性样本，数据集为，斑块的BBox标记为和，即左右边界。实验模型运行在Linux上的Ubuntu 18.0.4操作系统环境下，并使用RTX 3090 GPU进行加速计算，以提高算法的训练和测试效率。

二、斑块识别结果

在训练Faster R-CNN时，采用带动量的随机梯度下降（SGD）法进行优化。SGD法的优点是实现简单、效率高，适用于小规模的数据集和简单模型。通过实验发现，当批量大小为8时网络性能达到。

从训练曲线来看，在70个回合后网络性能趋于稳定，并在附近振荡，因此将训练回合数设置为70。由于学习率呈梯度下降，40回合将其设置为0.01，这样可以帮助网络快速收敛；在第41和61回合，学习率衰减为一回合的十分，以逐步达到，同时稳定网络。此外，本研究还采用了线性WarmUp策略，使学习率在两个训练回合中从0.0001逐渐增长至设定值0.01。

为了增强数据的多样性，考虑到IVOCT图像中血管在尾端相连而坐标图像忽略空间连续的特点，采用随机循环移位法。该方法通过在图像尾端选择随机数目的A-Scan并移动到左侧实现。实验结果表明，加入随机循环移位方法后，网络表现出了更好的性能。在对网络的评价指标中，均值平均精度（mAP）、交并比阈值为50时的均值平均精度（mAP50）、召回率（Recall）、Dice系数（Dice）和帧速率等均有不同程度的提升。其中，mAP50增加到0.744，Dice系数增加到0.905。

对比只加入单项改动的结果，可以发现随机循环移位增强数据法对网络性能的提升，这充分说明了先验知识（关于图像血管结构特点的知识）在改进网络性能方面的重要性。例如，在实际的IVOCT图像中，斑块位置和血管结构的关系复杂多样，随机循环移位法能够让网络学习到更多不同情况下的图像特征，从而提高对易损斑块的定位能力。

本研究提出的定位方法相比于弱监检测（WSD）方法和基于显著区域的卷积神经网络（SRCNN）方法在召回率上分别提高了 0.028和0.012，Dice系数分别提高了0.075和0.018。这表明本方法在准确识别易损斑块方面具有明显优势。例如，在临床诊断中，较高的召回率意味着能够检测出易损斑块，减少漏诊的可能性；而较高的Dice系数则表示预测结果与真实结果的吻合程度更高，定位更加准确，有助于医生判断斑块位置和制定治疗方案。

随机循环移位。（a）实现过程，将实线标记的区域裁剪并拼接到左侧；（b）两个循环移位实例，左边是初始图像，右边是循环移位的结果

定位和风险评估结果

三、易损斑块破裂风险评估结果

1、管腔面积预测

在CCCV2017 IVOCT数据集中随机选择了300张图像并标注了管腔面积，其中200张作为训练集，100张作为测试集。为了更直观地展示管腔面积的空间关系，标记和分割过程均在笛卡儿坐标系中进行（因为在坐标系中图像尺寸为像素点，转换到笛卡儿坐标系中为像素点）。分割网络的训练优化器选择SGD，学习率设置为0.01。训练回合基于批量（batch）计数，总共训练4000个batch，批量大小设置为 4。终管腔面积预测的评估指标交并比（IOU）值为 0.9445，网络的预测结果显示红色掩模区域几乎与管腔区域一致。这表明本研究采用的DeepLabV3+算法在计算管腔面积方面具有较高的准确性，能够有效地评估易损斑块处血管的狭窄程度，为判断斑块破裂风险提供了可靠的依据。

2、纤维帽厚度测试

在上述300张图像的子数据集上标记了纤维帽厚度，并对253个易损斑块区域进行了纤维帽厚度测试。评价指标采用均方根误差（）和拟合优度，其计算公式分别为（其中为易损斑块数量，为第个斑块纤维帽的平均厚度，为第个斑块的预测纤维帽厚度）和（其中为数据集中所有斑块纤维帽的平均厚度）。测试结果为1.17像素，即16.62μm，为0.62。虽然的值不是非常高，但考虑到实际情况中影响纤维帽厚度测量的因素较多（如成像设备差异、斑块结构复杂性等），该结果仍验证了本方法在计算纤维帽厚度方面的可行性，能够为评估易损斑块的破裂风险提供一定的参考。

3、病变累积角度评估

根据2.2节中描述的病变累积角度计算方法（），当区域定位准确时，对病变累积角度的评估也相应准确。在实际的实验结果中，通过对易损斑块区域的准确定位，能够准确计算出病变累积角度，这对于判断斑块的大小和范围，进而评估其破裂风险具有重要意义。例如，较大的病变累积角度往往与更严重的斑块病变相关，可能预示着更高的破裂风险。

4、浅表微钙化和巨噬细胞浸润预测

使用上述300张图像的子数据集，共检测了253个易损斑块区域，其中包括71个浅表微钙化斑块、58个巨噬细胞浸润斑块和16个双阳性斑块（即同时存在浅表微钙化和巨噬细胞浸润的斑块）。三种情况对应的样本标签分别定义为[0,1]、[1,0]、[1,1]，阴性样本标签定义为[0,0]。为了平衡阳性和阴性样本的数量，对这部分的少数阳性样本进行了翻转扩增。然后将样本按照4∶1的比例划分成测试集和验证集，共计有366个样本。

通过混淆矩阵来显示模型在预测斑块表面微钙化和巨噬细胞浸润方面的性能。结果显示，预测微钙化的准确率为0.962，召回率为0.862，F1分数为0.909，准确率为0.932；巨噬细胞浸润的准确率为0.846，召回率为0.917，F1分数为0.880，精密度为0.919。这些指标表明模型在预测浅表微钙化和巨噬细胞浸润方面具有较高的准确性，能够较好地识别出易损斑块中的这些特征，从而为评估易损斑块的破裂风险提供了重要依据。例如，巨噬细胞浸润是斑块炎症反应的重要标志，准确预测其存在情况有助于判断斑块的稳定性和破裂风险。

结论与展望

本研究基于临床诊断共识提出了一种用于识别易损斑块和评估破裂风险的算法。该算法在准确定位易损斑块区域方面取得了较好的效果，通过对Faster R-CNN的改进，如采用随机循环移位法、简化BBox编码方法和增加语义分割头，显著提高了易损斑块定位精度。同时，根据临床判断依据，选取管腔面积、纤维帽厚度、病变累积角度、浅表微钙化和巨噬细胞浸润等因素作为易损斑块破裂风险的评估指标，建立了相应的评估模型。

实验结果表明，所提出的易损斑块定位算法在各项性能评价指标方面均优于以往研究人员提出的算法。在斑块识别方面，改进后的网络在CCCV2017 IVOCT数据集上的测试中表现mAP50和Dice系数等指标有明显提升，且与其他相关方法对比在召回率和Dice系数上也具有优势。在易损斑块破裂风险评估方面，管腔面积预测、纤维帽厚度测试、病变累积角度评估以及浅表微钙化和巨噬细胞浸润预测等均取得了较为满意的结果，各项评估指标验证了方法的可行性和准确性。

该算法的应用将有助于临床医生更准确地定位易损斑块位置，评估斑块易损性，从而减少工作量，同时减少主观判断对诊断结果的影响。这对于提高心血管疾病的诊断水平，改善患者的治疗效果和预后具有重要意义。

目的研究工作主要聚焦于斑块的检测任务，且使用的数据集存在一定局限性，不能所有图像来源于同一病人。后续工作将结合IVOCT成像的特性，进一步深入研究。一方面，计划利用序列图像学习易损斑块的三维空间特征或相邻帧的序列特征，从高维度对斑块进行精细分割，以更、准确地描述斑块的形态和结构。另一方面，将依托临床平台，开展大规模的临床研究，探寻易损斑块的各个单一风险因素对总破裂风险的影响，构建、科学的斑块破裂风险评估模型。

未来还将进一步对序列IVOCT图像数据进行深入分析，深入研究易损斑块的破裂机制。通过对大量临床数据的挖掘和分析，争取实现对斑块的自动识别风险评估。

声明：本文仅用作学术目的。文章来源于：韩泽君, 林兴康, 裘耀阳, 张晓, 高磊, 李勤. 基于IVOCT的动脉粥样硬化斑块识别与风险评估[J]. 中国激光, 2024, 51(9): 0907017. Zejun Han, Xingkang Lin, Yaoyang Qiu, Xiao Zhang, Lei Gao, Qin Li. Identification ａnd Risk Assessment of Atherosclerotic Plaques Based on IVOCT[J]. Chinese Journal of Lasers, 2024, 51(9): 0907017.​

原创作者：罗辑技术（武汉）有限公司