所属栏目：计算机应用论文范文发布时间：2026-05-12浏览量:471
摘要: 肋骨骨折特指肋骨结构的完整性遭受完全或部分破坏，是临床中最常见的胸部创伤之一。近几年深度学习技术在辅助骨折诊断方面展现出发展的巨大潜力，因此针对肋骨骨折辅助诊断中所采用的深度学习方法进行了总结梳理。介绍了公开的影像学数据集，系统阐述了经典卷积神经网络在肋骨骨折病灶识别中的应用，阐述了基于单网络模型的肋骨骨折改进算法、基于多网络模型的肋骨骨折改进算法、原创肋骨骨折病灶识别算法以及人工智能在肋骨骨折辅助诊断中的应用，比较了不同模型的优点以及局限性，指出该领域目前存在的难点并对未来优化方向进行展望。
关键词: 深度学习;肋骨骨折;医学图像处理;计算机辅助诊断
论文《深度学习在肋骨骨折辅助诊断中的应用》发表在《计算机工程与应用》，版权归《计算机工程与应用》所有。本文来自网络平台，仅供参考。
肋骨骨折特指肋骨结构的完整性遭受完全或部分破坏，是临床中最常见的胸部创伤之一，其发病率在胸部创伤患者中约占40%至50%。随着现代社会生活模式的变迁及人口老龄化现象的加剧，肋骨骨折的发病率呈现出上升趋势，该病症不仅常见于儿童及老年群体，中青年人群亦时有发生。其致病因素多样，涵盖交通事故、高空坠落、斗殴冲突等多种情境 ^{[2]}。据统计，约有12%的肋骨骨折患者会面临生命危险，其中中青年患者的死亡率约为10%，而老年患者的死亡率则显著上升至22%。值得注意的是，患者的死亡率与肋骨骨折的数量呈正相关关系 ^{[3]}。因此，精确诊断肋骨骨折的数量成为临床医生评估患者创伤严重程度的关键指标 ^{[4]}。尽管多数肋骨骨折病例无需外科手术治疗即可实现愈合 ^{[5]}，但准确识别肋骨骨折病灶的重要性仍不容忽视，原因如下：其一，肋骨骨折的严重程度是某些亟需紧急干预的创伤相关并发症的预示指标 ^{[6]}，如气胸，其发病时间可延迟一天至数日不等;其二，因疼痛管理不足，肋骨骨折常继发呼吸系统并发症，如创伤性肺炎，此类并发症颇为常见;其三，肋骨骨折的数量及位置为制定后续治疗策略提供了重要依据。因此，准确且迅速地识别所有肋骨骨折病灶对于指导后续治疗具有至关重要的意义。
深度学习技术，自其兴起之初，在医学图像处理领域已展现出非凡的性能，尤其在图像分割 ^{[8]}、图像分类 ^{[9]} 及目标检测 ^{[10]} 等关键任务中表现尤为突出，被视为未来技术革新的重要驱动力。据权威统计，截至2020年第二季度，通过PubMed搜索引擎检索，已累积返回超过11000条与深度学习相关的学术成果记录 ^{[11]}。然而，尽管深度学习技术潜力巨大，其在临床环境中的应用却面临挑战，主要归因于高质量、充分注释的训练图像资源的稀缺性，这是深度学习模型训练不可或缺的要素 ^{[12]}。近年来，科研人员开始积极探索深度学习在医学图像计算机辅助诊断领域的潜力，旨在通过该技术评估疾病风险、确立诊断结论、制定预后方案及预测治疗反应等 ^{[13]}。深度学习在脑结构、肺结构及肝结构的分类与分割任务中已得到广泛应用，并展现出显著成效 ^{[14]}。此外，研究人员还致力于各类骨折图像的病灶识别研究，具体涵盖了脊柱 ^{[15-18]}、颅骨 ^{[19]} 及跟骨 ^{[20-21]} 等部位的骨折病灶识别。值得注意的是，尽管深度学习在骨折病灶识别领域的应用研究逐渐增多，但将相关算法应用于肋骨骨折病灶识别的实例直至近年来才开始涌现，标志着深度学习技术在医学图像处理领域应用的进一步拓展与深化。
因此，本文系统性地综述了深度学习在肋骨骨折辅助诊断中的应用。具体而言，本文系统阐述了经典卷积神经网络在肋骨骨折病灶识别中的应用，阐述了基于单网络的肋骨骨折改进算法、基于多网络的肋骨骨折改进算法、原创肋骨骨折病灶识别算法以及人工智能在肋骨骨折辅助诊断中的应用，这些研究充分表明，深度学习模型在提升肋骨骨折病灶识别的准确率与敏感度方面具有显著优势。
1 肋骨骨折数据集
目前公开的肋骨骨折数据集为2020年国际医学图像计算和计算机辅助干预会议(International Conference on Medical Image Computing and Computer Assisted Intervention, MICCAI)的竞赛 RibFrac Challenge: Rib Fracture Detection and Classification 中的 RibFrac 数据集，此数据集的获取网址为 https://ribfrac.grand-challenge.org/dataset/。该数据集共包含660例数据，由420例训练集(共3987处骨折)、80例验证集(共435处骨折)和160例测试集(共882处骨折)组成，图像格式为 NIFTI(neuro-imaging informatics technology initiative)，涵盖了四种肋骨骨折类型，包括塌陷性骨折(buckle fracture)、非移位骨折(nondisplaced fracture)、移位骨折(displaced fracture)和节段性骨折(segmental fracture)。图1所示为 RibFrac 数据集的图像示例。
Fig.1 Example of RibFrac dataset
图1 RibFrac数据集图像示例
2 经典CNN在肋骨骨折识别中的应用
近年来，卷积神经网络(convolutional neural network, CNN)在图像处理领域做出了卓越贡献，其主要由输入层、卷积层、线性整流层、池化层和全连接层构成，如图2所示。鉴于CNN在图像处理领域的显著成效，研究人员开始着手将热门的CNN模型直接应用于肋骨骨折识别，旨在验证经典CNN在肋骨骨折病灶识别中的有效性，从而开发能够辅助医师实现肋骨骨折自动识别的有效方法，如Huang等 ^{[22]} 探究了深度卷积神经网络在胸片上识别肋骨骨折的效果，其中AlexNet的精确度为92.6%，GoogLeNet的精确度为92.2%，EfficientNetb3的精确度为92.3%，DenseNet201的精确度为92.4%，MobileNetV2的精确度为91.2%，证实了经典CNN对于肋骨骨折识别的有效性。Castro-Zunti等 ^{[23]} 评估了InceptionV3 ^{[24]}、ResNet-50 ^{[25]}、MobileNetV2 ^{[26]} 和VGG16 ^{[27]} 模型在轴向计算机断层扫描(computed tomography, CT) ^{[28]} 图像中对急性、愈合和非骨折肋骨进行分类时的表现情况，实验结果表明这四种流行的卷积神经网络都表现出了较好的性能，总体上表现最优的是InceptionV3模型，实现了速度和精度的权衡，其平均准确度、宏观召回率分别达到了97.76%和94.6%。Ghosh等 ^{[29]} 使用ResNet-50和DenseNet-121架构对2岁以下儿童胸前X线片上的肋骨骨折进行二元分类，实验表明在测试集上ResNet-50模型的曲线下面积(area under curve, AUC)为0.84，灵敏度为81%，特异性为70%，DenseNet-121模型的AUC为0.82，灵敏度为72%，特异性为79%。
Fig.2 Structure of convolutional neural network
图2 卷积神经网络结构
表1为经典CNN在肋骨骨折病灶识别中的实验结果，上述研究一致证实了经典CNN模型在肋骨骨折病灶识别中的有效性，为后续针对肋骨骨折自动诊断算法的进一步优化与改进奠定了坚实的基础，并极大地增强了相关领域的研究信心。然而，这些研究亦存在一定的局限性，即其只是应用现有的经典模型，没有对经典算法进行改进使其适用于肋骨骨折病灶，并且主要聚焦于对已知肋骨骨折病灶进行分类，未能实现病灶的自动检测功能。
Table 1 Experimental results of classic CNN for classification of rib fracture lesions
表1 经典CNN在肋骨骨折病灶分类中的实验结果
网络模型 文献 数据类型 ACC/% SEN/% SPE/% ROC/%
AlexNet [22] X-ray 92.60 - - -
GoogLeNet [22] X-ray 92.20 - - -
DenseNet-121 [29] X-ray - 72.00 79.00 82.00
DenseNet-201 [22] X-ray 92.40 - - -
ResNet-50 [29] X-ray - 81.00 70.00 84.00
EfficientNetb3 [22] X-ray 92.30 - - -
InceptionV3 [23] CT 97.76 94.60 - 94.70
MobileNetV2 [22] X-ray 91.20 - - -
注：“-”表示原文未提供该项指标。
3 基于单网络模型的肋骨骨折改进算法
鉴于前文所述研究存在的局限性，众多研究人员开始着手对经典的分类、检测及分割模型进行针对性的改进，以适应肋骨骨折检测的需求，旨在通过算法的精细化改进与升级，使得经典的分类、检测及分割模型更加适用于肋骨骨折病灶识别。
3.1 基于分类网络的肋骨骨折改进算法
3.1.1 ResNet
ResNet(residual network) ^{[25]} 是一种卷积神经网络架构，其核心特点是引入了残差连接，解决了深层神经网络训练过程中的梯度消失和梯度爆炸问题，使得可以训练出更深的网络模型。ResNet在多个计算机视觉任务中取得了显著的性能提升，因此有研究人员将此模型进行了针对性的改进并应用于肋骨骨折检测，如罗鑫等 ^{[30]} 提出了一种基于ResNet-34网络的肋骨骨折检测模型，ResNet-34共有34层，其结构如图3所示，此模型去除了ResNet-34的全连接层并保留所有卷积以减少过拟合风险，然后提出残差通道双注意力模块并将其与通道注意力模块同时使用，使得模型更加关注细微骨折。杨超朋等 ^{[31]} 利用ResNet-50提取骨折特征，然后使用区域生成网络提取候选区域，之后将候选区域的特征进行RoI(region of interest)池化，能够细化骨折位置，最终输出骨折区域。Sun等 ^{[32]} 提出了一种基于ResNet-50的肋骨骨折检测方法，其建立了骨折检测的预训练模型(simCLR)以提取深度特征，然后将预训练的网络转移到肋骨骨折检测的下游任务中，之后使用全卷积单阶段目标检测模型来检测骨折，消除了与锚盒相关的复杂计算，该模型对位移裂缝的识别效果非常好。
然而ResNet模型也存在局限，其通常具有较深的层数，然而肋骨图像的细节较多且可能存在多处骨折区域，因此需要更多的计算资源和训练时间;而且尽管堆叠了很多网络层，但有效深度可能并不深，导致有效感受野并不大，ResNet模型还存在对小规模肋骨骨折数据集泛化能力有限的问题。
Fig.3 Structure of ResNet
图3 ResNet结构
3.1.2 DenseNet
DenseNet(densely connected convolutional networks) ^{[33]} 是一种深度卷积神经网络结构，其核心思想是在网络的每一层之间通过dense layer和dense block建立直接连接，从而保证最大化层与层之间的信息传递，其结构如图4所示。DenseNet在计算机视觉任务中表现良好，因此有研究人员将基于DenseNet的改进算法应用于肋骨骨折检测，如鹿静雅等 ^{[34]} 提出了一种包含多个密集卷积模块的深度神经网络，此模型将DenseNet中的卷积核替换为3D卷积核，设计了4个密集3D卷积模块，3D卷积模块能够有效提高模型对三维特征的利用率并控制梯度消失问题，其在肋骨骨折识别任务中的集合相似性度量函数Dice系数(Dice coefficient)达到0.84。
然而在训练过程中DenseNet需要进行多次拼接操作，肋骨图像的细节较多又需要被复制多次，会导致显存占用高，增加了硬件成本，而且由于其密集连接的特性，每一层都需要处理来自前面所有层的特征图，这会导致计算量的增加，模型复杂度较高。
Fig.4 Structure of DenseNet
图4 DenseNet结构
3.2 基于检测网络的肋骨骨折改进算法
3.2.1 Faster R-CNN
Faster R-CNN ^{[35]} 是一种经典的目标检测模型，是通过在Fast R-CNN的基础上引入RPN(region proposal network)而得到的，主要由Conv layers、Region proposal networks、RoI pooling和Classifier组成，如图5所示。鉴于其在目标检测领域具有高效的检测速度和准确性，研究人员也将其应用于肋骨骨折检测，如Zhou等 ^{[36]} 评估过在Faster R-CNN的基础上引入RPN(region proposal network)通过区域建议网络和滑动窗口提取特征，可以检测出放射科医生遗漏的许多细微骨折，验证了Faster R-CNN优于YOLOv3模型并能够生成结构化报告，提升了放射科医师的诊断准确率和灵敏度。Edamadaka等 ^{[37]} 开发了一个基于Faster R-CNN的深度学习模型(FasterRib)来预测肋骨骨折，其可以输出每个裂缝的三维位置，包括肋骨数和侧向度，还使用确定性公式通过分析骨段之间的皮质接触来计算百分比位移。Gao等 ^{[38]} 设计了一种名为CCE-Net的肋骨骨折诊断方法，将三个模块集成到Faster R-CNN中，使用对侧模块比较检测到的目标区域和对侧极区域之间的差异，通过上下文模块提取上下文特征，利用边缘增强模块增强肋骨的边缘信息，其召回率达到了0.934。
Fig.5 Structure of Faster R-CNN
图5 Faster R-CNN结构
然而Faster R-CNN需要存储大量的肋骨中间特征图以及候选框信息，内存占用较大，而且Faster R-CNN需要同时优化RPN和检测网络，这涉及多个损失函数之间的平衡问题，需要妥善设置参数。另外，RPN中锚框的数量、尺度和比例是预先定义好的，这可能导致在面对非常小的骨折裂缝或形状奇特的肋骨区域时，现有的锚框无法很好地进行覆盖，从而影响检测精度。
3.2.2 YOLOv3
YOLOv3(you only look once version 3) ^{[39]} 是由Redmon和Farhadi于2018年提出的一种实时目标检测算法，采用DarkNet-53作为特征提取网络，在三个不同尺度上进行预测，使用二元交叉熵损失进行分类，使用逻辑回归代替softmax进行分类，具体结构如图6所示。有研究人员将其应用于肋骨骨折检测，如白洁等 ^{[40]} 构建了一个以YOLOv3算法为基础、DarkNet53为骨干网络的肋骨骨折诊断模型，通过卷积模块提取图像中不同的特征，通过在残差模块中添加快捷路径机制来缓解神经网络算法极训练过程中的梯度消失问题，通过上采样模块保证进行相加操作时两个特征图的宽和高相同，模型诊断骨折的精确率达到90.5%，速度也远快于人工阅片。Chen等 ^{[41]} 提出了一种基于空间相干的肋骨骨折检测方法(SCRFD)，首先利用肋骨连通性和阈值分割算法提取骨折区域，然后利用基于空间相干的YOLOv3网络学习骨折区域特征，空间相干性算法能够有效学习骨折区域特征，达到较好的效果。
Fig.6 Structure of YOLOv3
图6 YOLOv3结构
然而因为较小的肋骨骨折病灶的特征信息较少，容易受到噪声和背景干扰，因此尽管YOLOv3采用了多尺度预测机制来提高对小的骨折裂缝的检测能力，但其对小目标的检测精度仍受到限制。此外，YOL极Ov3采用回归方式进行边界框极预测，回归方法在处理复杂形状和姿态的肋骨区域时，可能无法精确捕捉到肋骨区域的边界，因此可能在一些情况下出现定位偏差。
3.3 基于分割网络的肋骨骨折改进算法
3.3.1 FCN
全卷积神经网络(fully convolutional neural network, FCN) ^{[42]} 是一种主要用于图像语义分割任务的深度学习模型，其通过转置卷积将低分辨率的特征图还原为原始输入图像的尺寸，通过跳跃连接将浅层特征与深层特征进行融合以同时关注极不同层次的特征，有助于提升分割精度，具体结构如图7所示。Lenga等 ^{[极43]} 将基于深度学习的肋骨检测与中心线提取算法相结合，首先应用FCN来生成一个概率图，用于检测第一个肋骨对、第十二个肋骨对和所有中间肋骨的集合;随后将中心线提取算法应用于该多标签概率图;最后独立检测第一和第十二肋骨，允许通过简单的排序和计数检测的中心线来获得单独的肋骨标签。
Fig.7 Structure of FCN
图7 FCN结构
然而FCN在上采样过程中可能会丢失一些肋骨的细节信息，导致对细小骨折裂缝的检测效果不佳，而且FCN使用上采样操作将低分辨率的特征图恢复到原始图像尺寸，这个过程可能会引入一定的精度损失，导致分割结果不够精细。
3.3.2 U-Net
U-Net ^{[44]} 是Ronneberger等提出的专门用于医学图像分割任务的网络架构，由编码器、解码器和中间的跳跃连接组成，如图8所示。编码器负责提取输入图像的特征，解码器负责将编码器提取的特征恢复到原始图像的空间分辨率，并生成每个像素的预测标签，跳跃连接将编码器中每个卷积块的输出与解码器中相应位置的输出连接，促进了信息的流通与融合。由于U-Net在医学图像分割任务中的显著效果，因此研究人员在其基础上进行改进，以适用于肋骨骨折病灶的分割，如Wang等 ^{[45]} 提出了一种基于U-Net的肋骨骨折检测方法，在分割网络中应用注意模块(channel attention mechanism, CAM)将编码器和解码器同一层的特征进行融合，增强了细微断裂区域的局部特征，增加了边缘特征;在编码器和解码器之间使用混合密集扩张卷积模块(HDDC)来获得足够的语义信息。Jin等 ^{[46]} 提出了一个名为FracNet的深度学习模型，此模型是由3D U-Net改进而来的。由于数据集中肋骨断裂注释在整个CT体积上非常稀疏，因此在模型训练过程中采用了采样策略来缓解正负样本之间的不平衡，并且采用了随机平面翻转的方法进行数据增强。何学才等 ^{[47]} 提出了一种名为Rib-Net的肋骨骨折检测网络，此网络由完全候选框融合算法(candidate box fusion, CBF)、目标检测集成网络(ED-Net)与分割模型3D U-Net构成，ED-Net能最大限度利用标注的全部信息，同时学习到检测框的位置信息以及更加精确的语义定位信息，CBF有效减少预测框冗余问题，并提升了检测框的定位准确度以及分类的置信度。
Fig.8 Structure of U-Net
图8 U-Net结构
然而U-Net具有固定的结构，因此在处理不同大小和比例的肋骨骨折图像时可能导致分辨率不足或信息丢失的问题，而且对于复杂的肋骨区域图像，U-Net的泛化能力可能受到限制，另外，虽然U-Net在小数据集上也能表现出色，但其性能仍然依赖于训练数据的数量和质量。
3.3.3 V-Net
V-Net ^{[48]} 是一种三维图像分割方法，它是为了处理体积医学图像而设计的，网络结构类似于U-Net，但进行了多项改进以适应三维图像分割的需求，如使用3D卷积来处理体积数据从而有效利用三维信息，引入残差连接以解决网络退化问题等，具体结构如图9所示。针对三维肋骨CT图像，研究人员将V-Net应用于肋骨骨折病灶的分割，如Lin等 ^{[49]} 提出了一种由V-Net分割网络、关键点检测网络和裂缝检测网络三个三维网络组成的肋骨骨折检测模型，首先使用改进的V-Net从胸部CT图像中分割24条肋骨，然后使用关键点检测网络(VRB-Net)检测胸椎体的12个中心点，最后框出肋骨骨折位置。其采用残差网络模块和瓶颈层残差网络极模块对V-Net进行修正，提高了肋骨裂缝的定位和检测精度。Meng等 ^{[50]} 提出了一种由级联特征金字塔网络和分类网络组成的肋骨骨折检测和分类模型，应用了改进的V-Net网络和关键点检测网络(VRB-Net)进行训练，其能够区分背景裂缝和疑似裂缝，并通过选择合适的阈值检测所有阳性锚盒从而有效过滤假阳性，瓶颈设计加快了训练过程的收敛速度。
Fig.9 Structure of V-Net
图9 V-Net结构
然而V-Net处理的是三维肋骨图像，由于三维肋骨图像数据量大且复杂，因此需要大量的计算资源。V-Net的网络结构也相对复杂，包含多个卷积层、池化层和上采样层等，这可能导致模型在训练数据不足的情况下更容易出现过拟合现象且模型泛化能力不强。此外，获取高质量的三维肋骨图像数据通常较为困难，这进一步限制了V-Net的应用范围。
综上所述，经典分类网络ResNet、DenseNet，经典目标检测模型Faster R-CNN、YOLOv3以及经典分割网络FCN、U-Net、V-Net都被成功应用于肋骨骨折自动检测中并都结合肋骨结构及骨折病灶的特点进行了改进，如添加注意力机制、更改网络层数、替换三维卷积核、与其他网络模型及算法相结合等。本章对上述经过改进的经典网络进行综合分析，从模型设计、数据类型、准确度、灵敏度、F1分数、Dice系数和方法分析方面进行对比总结，如表2所示。
Table 2 Comparison of improved algorithms for rib fracture based on single network
表2 基于单网络的肋骨骨折改进算法方法对比
网络类型 方法 模型设计 数据类型 ACC/% SEN/% F1/% DSC/% 方法分析
分类 ResNet ResNet-34结合残差通道双注意力模块 ^{[30]} CT 98.14 - 98.01 - 优点: 双注意力模块可以显著提高细微骨折的召回率
局限: 不能对骨折类型进行具体检测
ResNet-50结合区域生成网络 ^{[31]} X-ray 90.67 - - - 优点: 利用提取骨折部位候选区，进行第二次置信度和位置估计，能够细化结果
局限: 样本来源单一、区域性较强、样本总数较少，样本拍摄时间跨度较大、图像质量存在一定差异
ResNet-50结合全卷积单阶段目标检测模型 ^{[32]} X-ray - 87.30 - - 优点: 全卷积单阶段目标检测模型能够平衡速度和性能，消除了与锚盒相关的复杂计算
局限: 旧骨折样本的小尺寸导致对旧骨折检测的敏感性较低
DenseNet 将二维卷积替换为4个密集3D卷积模块 ^{[34]} CT - - - 84.30 优点: 对薄层CT图像中的肋骨区域进行自动裁剪，3D卷积有效利用三维信息，提高检测准确率
局限: 数据集的图像来源单一，验证集规模较小，缺乏外部数据验证
检测 Faster R-CNN 将Faster R-CNN与YOLOv3进行对比实验 ^{[36]} CT 91.10 86.30 - - 优点: 通过区域建议网络和滑动窗口提取特征，可以检测出遗漏的细微骨折，且能够输出结构化报告
局限: 对陈旧性骨折的敏感度低，与健康肋骨难以区分
FasterRib: 将Faster R-CNN与计算百分比位移的确定性公式结合 ^{[37]} CT 90.00 95.00 92.00 - 优点: 能够输出每个裂缝的三维位置，使用确定性公式通过分析骨段之间的皮质接触来计算百分比位移
极局限: 缺少大规模的外部验证
CCE-Net: 在Faster R-CNN中添加对侧、上下文和边缘增强三个模块 ^{[38]} DR - 93.40 - - 优点: 对侧模块比较目标区域和对侧区域之间的差异，上下文模块提取上下文特征，边缘增强模块增强肋骨的边缘信息
局限: 对于DR图像，由于脊柱的曲率，脊柱弯曲线的准确提取还有待解决，肋纹图像的纹理和结构相似性不能更好地融合
YOLOv3 基于YOLOv3算法构建辅助肋骨骨折诊断模型 ^{[40]} CT 90.50 75.40 - - 优点: 准确率高、阅片时间短、操作简便
局限: 骨折判定标准基于医师诊断，存在误诊或漏诊的可能，无法完成骨折的分类任务
SCRFD: 将YOLOv3与空间相干性算法相结合 ^{[41]极} CT 81.40 90.40 - - 优点: 空间相干性算法能够极有效学习骨折区域特征，利用三维卷积核提取CT切片中的三维信息
局限: 没有与更多的目标检测方法进行比较，可能会影响实验分析的说服力
分割 FCN 将FCN与中心线提取算法相结合 ^{[43]} CT 86.30 92.20 - 84.00 优点: FCN与专用中心线提取算法相结合，能够快速、鲁棒和准确地提取和标记肋骨中心线
局限: 与其他方法相比，没有强大的解剖学先验知识
U-Net 在U-Net中添加组合注意模块和混合密集扩张卷积模块 ^{[45]} CT - 81.71 81.86 53.28 优点: 通过组合注意模块能够检测到隐蔽裂缝的细微特征，通过混合密集扩张卷积模块提取丰富的语义特征，提高裂缝识别精度
局限: 使用手动注释，既耗时又费力，而且可能不准确
FracNet: 将3D U-Net与滑动窗口和采样策略结合 ^{[46]} CT - 92.90 - 71.50 优点: 保留完整三维信息，利用采样策略来缓解正负样本之间的不平衡，利用随机平面翻转的方法进行数据增强
局限: 单中心研究具有局限性，可能存在假阳性或假阴性注释
Rib-Net: 将3D U-Net与完全候选框融合算法CBF、目标检测集成网络ED-Net结合 ^{[47]} CT - 92.30 - 61.00 优点: ED-Net能最大限度利用标注的全部信息，CBF有效减少预测框冗余问题并提升了检测框的定位准确度以及分类的置信度
局限: Dice系数较低，模型最终分割得到的预测结果假阳性较多，也未能针对各处骨折检测结果进行分类
V-Net 将V-Net与关键点检测网络VRB-Net、裂缝检测网络结合 ^{[49]} CT 95.60 极91.10 92.00 - 优点: 采用残差网络模块和瓶颈层残差网络模块对V-Net进行修正，提高肋骨裂缝的定位和检测精度
局限: 在数据集中排除了常见的胸部CT图像屏气差、呼吸伪影重的患者，未能对损伤部位和程度进行系统、全面的诊断和分类
将V-Net与关键点检测网络VRB-Net和分类模型Basic-Net结合 ^{[50]} CT 94.30 97.80 96.00 - 优点: 能够区分背景裂缝和疑似裂缝，瓶颈设计加快了训练过程的收敛速度
局限: 肋骨骨折的检测和分类依据非病理结果，日常常见的屏气不良和严重呼吸伪影的患者被排除
由上述分析可知，在经典网络的基础上进行改进与升级能够有效简化模型的搭建过程，更加方便快捷，这些改进与升级也使得经典网络模型更加适合用于肋骨骨折病灶的检测，取得了较好的实验结果，然而这些方法仍然存在局限：(1)网络设计不完全适用于肋骨骨折病灶检测，未考虑到肋骨的细长结构以及裂缝区域。(2)单个经典网络不能够完成全部重点特征的提取。
4 基于多网络模型的肋骨骨折改进算法
级联结构的卷积神经网络是一种特殊的卷积神经网络架构，由多个级联的卷积神经网络模块组成，每个模块负责处理不同层次的特征，通过逐层提取和整合特征，网络能够实现对输入数据的精细化和准确化分析，还可以进行多任务学习。因此，研究人员将多个不同的网络模型进行级联以用于肋骨骨折的检测和分割以及检测和分类。
在肋骨骨折的检测和分割方面，Zhang等 ^{[51]} 开发了一个肋骨骨折自动检测系统，该系统首先利用Foveal网络获得肋骨的分割掩模、定位和捕获特征，然后采用级联Faster R-CNN网络从3D CT扫描图像中检测肋骨骨折，结果表明获得该系统辅助的医师发现肋骨骨折的几率比没有辅助多4.8%~6.1%。Wang等 ^{[52]} 使用名为RB-Net的扩展U-Net架构来搭建两个级联深度神经网络分别进行肋骨分割和肋骨骨折检测，能够捕获跨尺度的图像上下文并实现精确的定位。Wu等 ^{[53]} 利用Faster R-CNN模型设计了语义掩码，使该模型能够在检测肋骨骨折的同时从CT扫描中分割肋骨，3D U-Net模型能够有效捕获立体特征，并使用解码器来恢复空间信息，进一步提高肋骨分割的性能，其进行肋骨骨折检测的FROC(free-response ROC)达到了84.3%。Weikert等 ^{[54]} 评价了使用深度学习算法进行全身创伤CT急性和慢性肋骨骨折自动检测的诊断性能，该算法包括两个阶段：第一阶段为基于ResNet的区域提议阶段，此阶段通过训练ResNet网络得到疑似肋骨骨折的区域;第二阶段由基于Fast region的卷积神经网络组成，此阶段减少了一些假阳性的疑似肋骨骨折区域并为指示最终结果的箭头选择了位置。Li等 ^{[55]} 提出了新鲜肋骨骨折自动检测定位系统(FRF-DPS)，由肋骨骨折检测器和肋骨位置标签器组成。肋骨骨折检测器又包括异常筛选模型和假阳性消除模型，以CenterNet为框架，以DLA34为特征提取极模型，可以检测肋骨骨折并区分新旧肋骨骨折;肋骨位置标签器基于3D U-Net模型，可以分割每条肋骨的位置。
在肋骨骨折检测和分类方面，梁洁等 ^{[56]} 提出了由异常筛选模型和假阳剔除模型组成的级联结构用来对肋骨极骨折进行自动极检测和分类，首先利用CenterNet和DLA-34网络相结合的异常筛选模型提取多尺度特征，然后使用假阳剔除模型获取病灶图像块并输入ResNet-50网络，最后利用全连接极层进行有无肋骨新鲜骨折分类，其对肋骨新鲜骨折的检测性能较好。Zhang等 ^{[57]} 提出了一种基于nnU-Net的两阶段肋骨骨折识别模型，首先利用nnU-Net完成肋骨骨折区域的分极割，生成候选骨折区域，然后在第二阶段使用3D DenseNet训练深度学习分类模型，根据第一阶段生成的候选骨折区域对分割的局部骨折区域进行分类，识别率达到了95%。Yao等 ^{[58]} 提出了一种肋骨骨折检测和分类系统，主要分为三个步骤：首先使用U-N极et网络对骨头进行区域分割并提取语义特征;然后去除容易混淆的椎骨和肩胛骨，进行肋骨定位;最后利用3D DenseNet网络进行肋骨骨折分类，缓解了梯度耗散的问题。
本章对基于多网络模型的肋骨骨折检测算法进行综合分析，从模型设计、数据类型、准确度、灵敏度、特异性、F1分数和方法分析方面进行对比总结，如表3所示。由上述分析可知，基于多网络模型的肋骨骨折检测算法具有以下优点：(1)对于肋骨骨折区域的特征提取能力强。级联结构的肋骨骨折检测模型能够逐步提取输入图像的深层次特征，每个级联的模块都可以学习到不同的特征表示，这些特征极表示在后续层中进一步被组合和细化。(2)鲁棒性与泛化能力强。由于级联结构能够逐步提取和细化特征，因此对输入图像的噪声和变形具有较强的鲁棒性，同时级联结构的卷积神经网络能够学习到更具泛化能力的特征表示。(3)可视化与解释性强。通过可视化每个级联阶段的学习结果，可以更好地理解网络的工作原理和特征提取极过程，有助于对网络进行调试和优化并提高网络的解释性。
然而基于多网络模型的肋骨骨折检测算法同样也存在局限性：(1)级联结构意味着网络具有多个层级和模块，这通常会导致更高的计算复杂度和更大的资源消耗。(2)尽管级联结构能够提取丰富的特征，但过多的层级和参数也可能增加过拟合的风险。(3)级联结构通常具有更深的网络层次和更复杂的结构，这使得训练过程更加困难，训练过程中的稳定性和收敛性也可能受到影响。(4)由于网络结构的复杂性，超参数的调整和优化可能变得相对困难。
Table 3 Comparison of improved algorithms for rib fracture based on multi-network
表3 基于多网络的肋骨骨折改进算法方法对比
任务类型 模型设计 数据类型 ACC/% SEN/% SPE/% F1/% 方法分析
检测与分割 由两个基于Foveal网络和Faster R-CNN组成级联卷积神经网络 ^{[51]} CT - 88.00 - - 优点: Foveal网络获得肋骨的分割掩模，Faster R-CNN提出肋骨骨折候选点，提高了肋骨骨折的检出率，并可以提供先进的可视化工具
局限: 只有两位医师参与了研究，参考标准由专家小组制定，存在局限性
由名为RB-Net的扩展U-Net架构组成级联结构 ^{[52]} CT - 86.20 98.80 - 优点: 能够捕获跨尺度的极图像上下文并实现精确的定位，提高了放射科医生的阅读效率和诊断准确性
局限: 数据均为非增强CT胸部扫描，开发的模型没有在对比增强CT扫描上得到验证，排除了严重的呼吸运动伪影，也没有纳入临床常遗漏的肋骨软骨骨折
由Faster R-CNN和3D U-Net组成级联结构 ^{[53]} CT 82.20 84.90 - 83.极30 优点: Faster R-CNN模型能够在检测肋骨骨折的同时从CT扫描中分割肋骨，3D U-Net模型能够有效捕获立体特征
局限: 无法确定肋骨骨折的类型，肋骨分割和标记算法的性能需要改进以诊断肋骨严重错位的情况
由基于ResNet的区域提议阶段和基于Fast region的卷积神经网络组成级联结构 ^{[54]} CT - 87.40 91.50 - 优点: 基于ResNet的区域提议阶段为疑似肋骨骨折提供了建议，基于Fast region的卷积神经网络取消了一些减少误报的初始建议
局限: 研究结果与临床结果的联系有限，在一个供应商的扫描仪上获得的数据并在一个极中心进行研究，存在局限性
FRF-DPS: 由基于DLA34的新鲜肋骨骨折检测器和基于3D U-Net的肋骨位置标记器组成级联结构 ^{[55]} CT 93.70 90.90 - 92.30 优点: 能够区分新旧肋骨骨折并分割每条肋骨的位置，在新鲜肋骨骨折自动检测和肋骨定位方面表现出良好的性能和鲁棒性
局限: 没有对FRF-DPS+医生和FRF-DPS之间的检测性能进行比较
检测与分类 由异常筛选模型和假阳剔除模型组成级联结构 ^{[56]} CT 90.73 94.98 - 93.00 优点: 对肋骨新鲜骨折的检测性能较好
局限: 数据来自单中心，对于对位良好骨折仍存在一定漏诊率
由nnU-Net和3D DenseNet组成级联结构 ^{[57]} CT - 95.00 - - 优点: 在nnU-Net网络框架(2D U-Net、3D U-Net和3D级联U-Net)中分别训练以选择具有最佳结果的网络模型，在分割的第一阶段缩小分类范围，排除假阳性骨折区域
局限: 研究结果没有与临床医生进行比较
由U-Net和3D DenseNet组成级联结构 ^{[58]} CT 86.90 91.30 - 89.00 优点: 利用U-Net提取语义特征，利用3D DenseNet进行肋骨骨折分类，缓解梯度耗散的问题
局限: 测试集相对较小，缺乏多中心或外部数据验证，数据集中没有准确的肋骨分割掩模，无法对脊柱和肩胛骨去除的精度进行定量评估
5 原创肋骨骨折病灶识别算法
前文所述的研究工作均聚焦于直接应用经典深度学习模型或对热门模型进行适度优化，但未改变网络的基础架构。鉴于这些经典网络架构可能并不完全契合肋骨骨折病灶检测的具体需求，部分研究人员深入考虑了肋骨的解剖结构特性及骨折病灶的独特表现，进而自主研发了原创的肋骨骨折检测极模型，旨在实现肋骨骨折病灶的自动化与精确检测。
Hu等 ^{[59]} 提出了一个切片分组聚合网络(SGANet)模型来对肋骨骨折进行分类，网络结构如图10所示。首先将连续切片通过三维卷积合并为一组，然后通过二维卷积提取每组特征，最后对不同组的特征进行三维卷积聚合分类，二维与三维网络的结合有效克服了三维CT图像中三轴分辨率不匹配导致特征提取困难的问题，结果显示其分类准确率达到了82.54%。
Zheng等 ^{[60]} 提出了一种基于深度学习的形状感知方法(SA-FracNet)用于肋骨骨折检测和分割，网络结构如图11所示。首先设计了一个基于对比学习的像素级接口任务，其次基于预训练的权重训练微调肋骨骨折检测模型，最后开发了一个裂缝形状感知的多任务分割网络，考虑到了三维体中肋骨典型的细长和倾斜形状，根据检测结果对裂缝进行圈定。实验表明SA-FracNet的检测灵敏度为0.926，Dice为0.754。
Chai等 ^{[61]} 提出了一种新的全监督目标检测网络(ORF-Net)来检测极肋骨骨折，其网络结构如图12所示。该网络由一个特征金字塔网络作为主干，以及一个全监督检测头来预测分类极分数和定位信息。对于每种形式的肋骨骨折注释数据，都有一个相应的分类分支，利用全监督检测动态地对不同标注形式的数据进行标签分配，可以利用多种不同形式的标注数据来进一步提高检测性能，其mAP达到了42.8%。
Ibanez等 ^{[62]} 提出一种名为RiFNet的肋骨骨折自动检测网络，其网络结构如图13所示。RiFNet的第一个构建块由五个卷积层和池化层组成，第二个构建块由一个包括两个稠密层的全连接网络组成，其能够利用不同的网络层有效提取特征信息，实验表明RiFNet的平均召回率为0.93±0.05。
Gao等 ^{[63]} 提出了一种多角度投影网络(MAPNet)的肋骨骨折分割方法，其网络结构如图14所示。设计了多角度投影融合(MPF)模块用于多角度空间特征的融合，并结合多角度投影图像，利用肋骨提取(RE)模块和骨折分割(FS)模块对肋骨特征进行互补和综合提取，通过投影技术避免了三维CT数据的下采样。实验证实该方法的准确性达到了(88.06±6.97)%，灵敏度达到了(89.26±5.69)%，Dice系数达到了(85.41±3.35)%。
Fig.10 Structure of SGANet
图10 SGANet结构
Fig.11 Structure of SA-FracNet
图11 SA-FracNet结构
Fig.12 Structure of ORF-Net
图12 ORF-Net结构
Fig.13 Structure of RiFNet
图13 RiFNet结构
Fig.14 Structure of MAPNet
图14 MAPNet结构
本章对原创肋骨骨折病灶识别算法进行综合分析，从模型设计、数据类型、准确度、灵敏度、Dice系数、mAP和方法分析方面进行对比总结，如表4所示。原创肋骨骨折模型架构是根据肋骨结构的特点以及肋骨骨折病灶的特征专门定制的网络模型，因此网络设计能够适用于肋骨骨折病灶检测，也能够考虑到肋骨的细长结构以及裂缝区域，然而新型肋骨骨折模型架构依旧存在其他网络中存在的计算复杂度高、存在过拟合现象等问题，仍需进一步改进升级。
Table 4 Comparison of methods for original rib fracture model architecture
表4 原创肋骨骨折模型架构的方法对比
模型 模型设计 数据类型 ACC/% SEN/% DSC/% mAP/% 方法分析
SGANet ^{[59]} 通过三维卷积将连续的切片合并成一组，通过二维卷积提取各切片组的高级特征，对不同组的特征进行三维卷积聚合进行分类 CT 82.54 - - - 优点: 二维与三维网络的结合有效克服了三维CT图像中三轴分辨率不匹配导致特征提取困难的问题，显著降低肋骨骨折的漏诊率
局限: 模型性能仍需进一步提升
SA-FracNet ^{[60]} 设计了一个基于对比学习的像素级接口任务，开发了一个裂缝形状感知的多任务分割网络 CT - 92.60 75.40 - 优点: 考虑到了三维体中肋骨典型的细长和倾斜形状，裂缝形状感知的多任务分割网络能够根据检测结果对裂缝进行圈定
局限: 计算复杂度较高
ORF-Net ^{[61]} 由一个特征金字塔网络作为主干，以及一个全监督检测头来预测分类分数和定位信息 CT - - - 42.80 优点: 利用全监督检测动态地对不同标注形式的数据进行标签分配，在利用不同粒度的注释方面效率较高
局限: mAP值相对较低，检测精度有待提升
RiFNet ^{[62]} 第一个构建块由五个卷积层和池化层组成，第二个构建块由一个由两个稠密层的全连接网络组成 CT 89.00 93.00 - - 优点好的，接续前文，以下是剩余文档内容的完整输出：
优点: 模型精度、召回率及F1分数显著高于 InceptionV3 和 ResNet-50 V2
局限: 预训练的模型不一定适用于医学成像中遇到的所有类型的问题 |
MAPNet ^{[63]} 设计了多角度投影融合模块(MPF)、肋骨提取(RE)模块和骨折分割(FS)模块 CT 88.06 89.26 85.41 - 优点: 利用多角度投影融合模块进行多角度空间特征融合，利用肋骨提取模块和骨折分割模块对肋骨特征进行互补和综合提取
局限: 在处理细长和薄裂缝骨折方面还需进一步研究
6 人工智能在肋骨骨折辅助诊断中的应用
随着卷积神经网络算法驱动的人工智能软件技术的迅猛发展，一系列研究致力于在临床中评估已商业化的骨折辅助诊断系统，研究其在肋骨骨折辅助诊断领域的应用效能。研究结果显示，相较于医生独立进行诊断，医生与人工智能模型联合解读的效能显著提升。
6.1 二维骨折辅助诊断系统
二维骨折辅助诊断系统能够自动识别二维图像中的骨折病灶，在其辅助下，医生可以更容易地识别出细微的骨折，减少漏诊和误诊的可能性，现在已经开始进行临床研究，常见的二维骨折辅助诊断系统有InferRead DR Chest、InferRead CT Bone、uAI-BoneCare等。
推想医疗科技的InferRead DR Chest是一种胸肺部疾病智能解决系统，其基于RetinaNet框架，以ResNet-50和特征金字塔网络为骨干网络提取特征，能够高效地进行肋骨骨折检测，该系统能够通过智能分析胸部X射线图像进行病灶的快速筛查与预警，实现精准量化辅助诊断并自动生成结构化报告。张倩等 ^{[64]} 将InferRead DR Chest用于肋骨骨折的检测，此系统对于是否存在肋骨骨折的灵敏度和特异度达到了0.875和0.883，对于骨折定位的灵敏度和特异度为0.606和0.621。吴育鑫等 ^{[65]} 也验证了InferRead DR Chest检测胸部骨折的效能，对于病灶识别的敏感度为65.21%，特异度为83.33%。
推想医疗科技的InferRead CT Bone是一种针对CT图像的DL-CAD系统，专门进行胸部骨折的影像学识别与分析，该系统使用Faster R-CNN作为基础框架，能够提供包含每位患者所有检测到的肋骨骨折的信息列表，每个骨折在CT图像上的位置用方框标记。Tan等 ^{[66]} 利用InferRead CT Bone Research检测急性肋骨骨折，结果显示实习医师在DL-CAD辅助下的诊断敏感度从68.82%提高到91.76%。Kaium等 ^{[67]} 也使用InferRead CT Bone Research评估深度卷积神经网络对于肋骨骨折的检测性能，结果显示其检测肋骨骨折的敏感度为64.5%，显著高于实习医师。刘玉蒙等 ^{[68]} 使用InferRead CT Bone Research检测肋骨骨折的召回率和F1分数分别为0.91和0.92，均高于放射科医师。
上海联影智能医疗科技有限公司的uAI-Bone Care是一种针对骨科疾病的精准诊疗辅助软件，支持CT、X光等多种影像模态，能够精准识别肋骨、四肢骨等部位的骨折，并提供骨折的量化数据，如骨折位置、程度等。刘想等 ^{[69]} 使用上海联影智能医疗科技有限公司所研发的骨折辅助检测软件uAI-BoneCare探讨了人工智能软件检出肋骨骨折病灶具有较高的敏感度，进一步研究了人工智能对提高肋骨骨折病灶检出率的价值 ^{[70]}，结果显示AI辅助医生对错位型肋骨骨折的检出率从78.40%提高到94.56%，对隐匿型肋骨骨折的检出率从49.42%提高到76.60%。
6.2 三维骨折辅助诊断系统
前文阐述的是二维骨折辅助诊断系统在肋骨骨折病灶识别中的应用情况，然而鉴于肋骨结构固有的空间性特征，二维模型在识别过程中可能会损失一定的空间信息，这在一定程度上限制了其检测精度。相对而言，三维检测模型能够更好地保留空间复杂度，从而更有效地捕捉肋骨骨折的全方位特征。鉴于此，研究人员也将三维骨折辅助诊断系统应用于肋骨骨折病灶识别，有效提高了医师诊断的灵敏度和精确度，常见的三维骨折辅助诊断系统有Dr.Wise、care.ai、uAI Easy Triage-Rib等。
深睿医疗的Dr.Wise是针对胸部CT图像的肋骨骨折辅助诊断系统，专门用于诊断肋骨骨折，提供肋骨骨折程度的量化评估。此系统包含裂缝检测模型和肋数模型，其中裂缝检测模型采用级联结构，分为基于CenterNet的异常筛选模型和基于DLA34的假阳性消除模型两部分;肋数模型以U-Net和LSTM为基础。Yang等 ^{[71]} 使用Dr.Wise@ChestFracture v1.0来检测肋骨骨折，之后又提出了基于ResNet-34的裂缝分类模型来对检测到的骨折进行分类，实验表明该模型区分新老裂缝的准确率为87.63%，判断新裂缝的准确率为95.22%。张斌等 ^{[72]} 使用Dr.Wise V1.3.0.1探讨深度学习对于肋骨骨折诊断的应用价值，结果表明DL-CAD辅助诊断非错位性骨折的敏感度及AUC值达到87.39%和99.46%，远高于人工阅片。
依图医疗的care.ai是一种基于人工智能技术研发的医疗智能解决方案，能够提供多种疾病的智能诊疗服务。该软件基于3D-CNN架构，首先通过CT图像特征压缩网络路径提取相应特征，然后利用对称的去压缩网络恢复到与输入等尺寸的三维矩阵。熊山等 ^{[73]} 经过实验证明care.ai辅助医师阅片的敏感度达到了91.9%，阅片时间减少34.2%。朱雅茹等 ^{[74]} 同样使用了计算机辅助诊断系统来辅助医师诊断肋骨骨折，经辅助后低年资医师和高年资医师的诊断灵敏度由77.95%、83.96%提升至88.52%、90.98%，平均AUC从0.902增加到0.948。
联影智能的uAI Easy Triage-Rib是一款功能强大、性能优越的CT肋骨骨折分诊产品，能够利用胸部CT图像帮助医生检测并提示各类急性和严重的肋骨骨折，此软件基于V-Net网络，处理结果界面中还包括带肋骨骨折标记的横轴位图像、VR图像及CPR图像，以方便医师观察检测情况。李星宇等 ^{[75]} 使用uAI Easy Triage-Rib对肋骨骨折进行自动检测，其对错位性骨折、非错位性骨折、陈旧性骨折的检出率分别为96.04%、97.02%、98.79%。
由上述分析可知，人工智能在肋骨骨折辅助诊断中已经广泛应用，表5详细列出了人工智能技术在辅助肋骨骨折检测方面的临床实验结果，结果表明商用的骨折辅助诊断系统确实能够辅助医师提高诊断的灵敏度并大大缩短诊断时间，然而未来要想真正在临床中得到应用还需要进一步提升肋骨骨折辅助诊断系统的各项性能。
Table 5 Experimental results of auxiliary diagnostic system for rib fractures
表5 肋骨骨折辅助诊断系统的实验结果
参考文献 维度 数据类型 灵敏度/% 系统名称 方法分析
张倩等 ^{[64]} 二维 DR 88.30 InferRead DR Chest 优点: 基于RetinaNet框架，以ResNet-50和特征金字塔网络为骨干网络提取特征，能够高效地进行肋骨骨折检测
局限: 在骨折的精确定位方面仍需要进一步提高
吴育鑫等 ^{[65]} 二维 DR 65.21 InferRead DR Chest 优点: 能够辅助医师识别骨折
局限: 敏感度相对较低，存在提升空间
Tan等 ^{[66]} 二维 CT 91.76 InferRead CT Bone 优点: 使用Faster R-CNN作为基础框架，能够提供包含每位患者所有检测到的肋骨骨折的信息列表
局限: 对陈旧骨折、愈合骨折和轻微骨折的检测灵敏度较低
Kaium等 ^{[67]} 二维 CT 64.50 InferRead CT Bone 优点: 系统辅助可提高诊断效率
局限: 基础检测灵敏度有待提升
刘玉蒙等 ^{[68]} 二维 CT 91.00 InferRead CT Bone 优点: 召回率和F1分数表现良好，优于部分放射科医师
局限: 性能表现受具体数据集和评估标准影响
刘想等 ^{[69]} 二维 CT、X-ray 94.56 uAI-Bone Care 优点: 检出肋骨骨折的敏感度较高，可以检测CT和X-ray两种数据
局限: AI对CT图像上与骨折类似的病变不能鉴别，且AI对骨折轻微改变检出更敏感，有些专家认为可直接忽略的微小骨折也被检测出来
张斌等 ^{[72]} 三维 CT 87.39 Dr.Wise 优点: 以U-Net和LSTM为基础，能够有效提取三维信息，还可以进行图像后处理和分析
局限: 对非错位骨折的诊断具有一定的难度
熊山等 ^{[73]} 三维 CT 91.90 care.ai 优点: 基于3D-CNN架构，能够自动检测界面包含带肋骨骨折标记的横轴位、矢状位及CPR图像
局限: 无法对各类型骨折进行具体分析
朱雅茹等 ^{[74]} 三维 CT 90.98 care.ai 优点: 显著提升不同年资医师的诊断灵敏度
局限: 系统性能的全面评估需更多外部验证
李星宇等 ^{[75]} 三维 CT 96.04 uAI Easy Triage-Rib 优点: 基于V-Net能够有效提取三维信息，自动诊断骨折类型，如错位性骨折、非错位性骨折及陈旧性骨折
局限: 无法检出一些较难诊断的非错位性骨折
7 挑战与展望
本文介绍了深度学习方法在肋骨骨折辅助诊断中的应用，深度学习算法在识别肋骨骨折区域方面展现出了显著的优势，包括处理速度快、识别精度高以及灵敏性强等特点。然而该领域目前仍存在难点：
(1) 公开的肋骨骨折图像数据集稀少。目前公开的肋骨骨折数据集只有前文介绍的RibFrac数据集，样本量的偏少和肋骨的复杂结构会影响模型检测的准确率并增加过拟合风险，来自单一中心的采集数据会导致实验说服力不够，不同研究中自己采集数据的实验结果也无法与其他研究中的结果进行比较，而且高质量的标注数据难以获取。
(2) 深度学习模型的可解释性差。模型内部包含大量的神经元和连接，其决策过程呈现出黑箱特性，输入的肋骨骨折图像经过模型处理后得到输出结果，但中间的决策过程却难以被清晰地解释。
(3) 模型泛化能力差。参数化采集的精确性、系统模型的构建难度导致当前深度学习技术的广泛应用面临挑战，由于人体解剖结构的复杂性以及肋骨骨折类型的多样性，当前的一些深度学习模型在处理复杂或罕见类型的肋骨骨折时可能表现不佳。
(4) 计算资源与时间成本高。肋骨结构存在复杂性和空间性，对数据要求严格，需要三维空间信息，在深度学习模型的训练过程中，处理这类三维数据需要耗费更多的计算资源。
(5) 实验数据大都排除了严重的呼吸运动伪影，这在临床中较为常见，因此模型在临床应用中可能会因此降低检测的准确率。
针对未来有关深度学习的肋骨骨折辅助诊断，可以进行以下展望：
(1) 扩大数据集规模并提升公开可用数据集的数量。建立更多公开可用的数据集，需要明确数据集的目标和需求、收集与整合数据、标准化标注数据、存储与管理数据、数据集的公开与共享。需要采用先进的数据清洗和预处理技术，利用专业医疗人员的经验和知识，对标注数据进行严格的审核和修正，提高标注精度。
(2) 进行数据增强。可以对肋骨数据集进行几何变换类增强(如旋转、缩放、裁剪等)、像素级变换类增强(如调整亮度、对比度、饱和度、色调偏移等)、混合样本类增强、特征空间增强(如特征插值、对抗训练、自动编码器等)等不同的数据增强处理操作，用以增强数据多样性并提升模型的鲁棒性。
(3) 提高网络模型的可解释性。训练时选择更加直观、易理解的特征，使模型的输入和输出更容易解释，可视化神经网络的结构和权重，通过图形化的方式展示模型决策过程，将领域专家的知识融入模型中，增加模型的可解释性。
(4) 提高网络模型的泛化能力。使用更多的数据样本进行训练，对训练数据进行数据增强操作，选择有意义的特征，剔除不重要的和无关的特征，以减少过拟合。采用迁移学习和域适应等技术，将模型在相关领域的知识迁移到肋骨骨折辅助诊断任务中，提高模型的适应性。
(5) 进行轻量化改进，优化算法结构，提高模型的计算效率。进行分布式训练，实现数据并行、模型并行，减少模型的网络层数或使用更高效的网络结构，进行混合精度训练，使用低精度进行大部分计算，而仅在关键步骤使用高精度。
(6) 减少呼吸运动伪影的影响。在检查前对患者进行呼吸训练，减少呼吸运动带来的伪影，使用呼吸门控技术，根据呼吸信号同步数据采集，利用专门的软件工具分析并校正运动伪影，应用特定的数学滤波技术去除或减轻运动伪影。
展望未来，基于深度学习的肋骨骨折病灶识别方法将进一步发展。这一趋势将推动研究人员不断创造出识别结果更为精确的网络模型，从而进一步提升肋骨骨折病灶识别的准确性和可靠性。
参考文献：
[1] SIRMALI M, TURUT H, TOPCU S, et al. A comprehensive analysis of traumatic rib fractures: morbidity, mortality and management[J]. European Journal of Cardio-Thoracic Surgery, 2003, 24(1): 133-138.
[2] 杨金良, 黄刚. 肋骨骨折治疗策略、操作技术以及未来方向[J]. 创伤外科杂志, 2016, 18(1): 1-5.
YANG J L, HUANG G. Treatment strategies, operating techniques and future directions of rib fractures[J]. Journal of Traumatic Surgery, 2016, 18(1): 1-5.
[3] KHUNG S, MASSET P, DUHAMEL A, et al. Automated 3D rendering of ribs in 110 polytrauma patients: strengths and limitations[J]. Academic Radiology, 2017, 24(2): 146-152.
[4] JIN L, GE X J, LU F, et al. Low-dose CT examination for rib fracture evaluation: a pilot study[J]. Medicine, 2018, 97(30): e11624.
[5] MAYBERRY J C, SCHIPPER P H. Traumatic rib fracture: conservative therapy or surgical fixation?[M]//Difficult decisions in thoracic surgery. Springer: London, 2011: 489-493.
[6] LU M S, HUANG Y K, LIU Y H, et al. Delayed pneumothorax complicating minor rib fracture after chest trauma[J]. The American Journal of Emergency Medicine, 2008, 26(5): 551-554.
[7] 陈先昌. 基于卷积神经网络的深度学习算法与应用研究[D]. 杭州: 浙江工商大学, 2014.
CHEN X C. Research on algorithm and application of deep learning based on convolutional neural network[D]. Hangzhou: Zhejiang Gongshang University, 2014.
[8] SAOOD A, HATEM I. COVID-19 lung CT image segmentation using deep learning methods: U-Net versus SegNet[J]. BMC Medical Imaging, 2021, 21(1): 1-10.
[9] GESSERT N, SENTKER T, MADESTA F, et al. Skin lesion classification using CNNs with patch-based attention and diagnosis-guided loss weighting[J]. IEEE Transactions on Biomedical Engineering, 2020, 67(2): 495-503.
[10] SU Y, LI D, CHEN X D. Lung nodule detection based on faster R-CNN framework[J]. Computer Methods and Programs in Biomedicine, 2021, 200: 105866.
[11] EGGER J, GSAXNER C, PEPE A, et al. Medical deep learning: a systematic meta-review[J]. Computer Methods and Programs in Biomedicine, 2022, 221: 106874.
[12] VAN EIJNATTEN M, RUNDO L, BATENBURG K J, et al. 3D deformable registration of longitudinal abdominopelvic CT images using unsupervised deep learning[J]. Computer Methods and Programs in Biomedicine, 2021, 208: 106261.
[13] BAILLY A, BLANC C, FRANCIS E, et al. Effects of dataset size and interactions on the prediction performance of logistic regression and deep learning models[J]. Computer Methods and Programs in Biomedicine, 2022, 213: 106504.
[14] 吴玉超, 林岚, 王婧璇, 等. 基于卷积神经网络的语义分割在医学图像中的应用[J]. 生物医学工程学杂志, 2020, 37(3): 533-540.
WU Y C, LIN L, WANG J X, et al. Application of semantic segmentation based on convolutional neural network in medical images[J]. Journal of Biomedical Engineering, 2020, 37(3): 533-540.
[15] ROTH H R, WANG Y N, YAO J H, et al. Deep convolutional networks for automated detection of posterior-element fractures on spine CT[C]//Proceedings of the Medical Imaging 2016: Computer-Aided Diagnosis, 2016: 97850P.
[16] BAR A, WOLF L, AMITAI O B, et al. Compression fractures detection on CT[C]//Proceedings of the Medical Imaging 2017: Computer-Aided Diagnosis, 2017: 1013440.
[17] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.
[18] MIKOLOV T, KARAFIAT M, BURGET L, et al. Recurrent neural network based language model[C]//Proceedings of the Interspeech 2010, 2010: 1045-1048.
[19] RAGHAVENDRA U, BHAT N S, GUDIGAR A, et al. Automated system for the detection of thoracolumbar fractures using a CNN architecture[J]. Future Generation Computer Systems, 2018, 85: 184-189.
[20] BURNS J E, YAO J H, MUNOZ H, et al. Automated detection, localization, and classification of traumatic vertebral body fractures in the thoracic and lumbar spine at CT[J]. Radiology, 2016, 278(1): 64-73.
[21] CHILAMKURTHY S, GHOSH R, TANAMALA S, et al. Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study[J]. The Lancet, 2018, 392(10162): 2388-2396.
[22] HUANG S T, LIU L R, CHIU H W, et al. Deep convolutional neural network for rib fracture recognition on chest radiographs[J]. Frontiers in Medicine, 2023, 10: 1178798.
[23] CASTRO-ZUNTI R, CHAE K J, CHOI Y, et al. Assessing the speed-accuracy trade-offs of popular convolutional neural networks for single-crop rib fracture classification[J]. Computerized Medical Imaging and Graphics, 2021, 91: 101937.
[24] SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 2818-2826.
[25] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 770-778.
[26] SANDLER M, HOWARD A, ZHU M L, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018: 4510-4520.
[27] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv:1409.1556, 2014.
[28] 闫军, 田国钰. 医学影像技术学CT的工作原理以及新应用探讨[J]. 影像研究与医学应用, 2020, 4(3): 87-88.
YAN J, TIAN G Y. Discussion on the working principle and new application of CT in medical imaging technology[J]. Journal of Imaging Research and Medical Applications, 2020, 4(3): 87-88.
[29] GHOSH A, BOSE S, PATTON D, et al. Deep learning-based prediction of rib fracture presence in frontal radiographs of children under two years of age: a proof-of-concept study[J]. The British Journal of Radiology, 2023, 96(1145): 20220778.
[30] 罗鑫, 王永雄, 张佳鹏, 等. 基于多重注意力的肋骨骨折检测研究[J]. 控制工程, 2023, 30(9): 1679-1685.
LUO X, WANG Y X, ZHANG J P, et al. Detection of rib fractures based on multiple attention[J]. Control Engineering of China, 2023, 30(9): 1679-1685.
[31] 杨超朋, 赵俊彦, 何光龙, 等. 基于深度学习的人体肋骨骨折智能检测技术[J]. 刑事技术, 2021, 46(2): 134-139.
YANG C P, ZHAO J Y, HE G L, et al. Deep learning into intelligent detection of rib fracture from X-ray imagery[J]. Forensic Science and Technology, 2021, 46(2): 134-139.
[32] SUN H B, WANG X, LI Z R, et al. Automated rib fracture detection on chest X-ray using contrastive learning[J]. Journal of Digital Imaging, 2023, 36(5): 2138-2147.
[33] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 2261-2269.
[34] 鹿静雅, 伍志发, 刘梦秋, 等. 基于卷积神经网络的胸部薄层CT图像肋骨骨折分割与检测研究[J]. 临床放射学杂志, 2023, 42(6): 996-1002.
LU J Y, WU Z F, LIU M Q, et al. Research on rib fracture segmentation and detection of chest thin-layer CT image based on convolution neural network[J]. Journal of Clinical Radiology, 2023, 42(6): 996-1002.
[35] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.
[36] ZHOU Q Q, WANG J S, TANG W, et al. Automatic detection and classification of rib fractures on thoracic CT using convolutional neural network: accuracy and feasibility[J]. Korean Journal of Radiology, 2020, 21(7): 869-879.
[37] EDAMADAKA S, BROWN D W, SWAROOP R, et al. Faster-Rib: a deep learning algorithm to automate identification and characterization of rib fractures on chest computed tomography scans[J]. The Journal of Trauma and Acute Care Surgery, 2023, 95(2): 181-185.
[38] GAO Y, LIU H Z, JIANG L, et al. CCE-Net: a rib fracture diagnosis network based on contralateral, contextual, and edge enhanced modules[J]. Biomedical Signal Processing and Control, 2022, 75: 103620.
[39] REDMON J, FARHADI A. YOLOv3: an incremental improvement[J]. arXiv:1804.02767, 2014.
[40] 白洁, 孙晶, 程晓光, 等. 基于YOLOv3算法的肋骨骨折诊断模型的构建及应用[J]. 法医学杂志, 2023, 39(4): 343-349.
BAI J, SUN J, CHENG X G, et al. Construction and application of rib fracture diagnosis model based on YOLOv3 algorithm[J]. Journal of Forensic Medicine, 2023, 39(4): 343-349.
[41] CHEN M, DU P, ZHAO J Y. SCRFD: spatial coherence based rib fracture detection[C]//Proceedings of the 2018 5th International Conference on Biomedical and Bioinformatics Engineering. New York: ACM, 2018: 105-109.
[42] SHELHAMER E, LONG J, DARRELL T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640-651.
[43] LENGA M, KLINDER T, BURGER C, et al. Deep learning based rib centerline extraction and labeling[C]//Proceedings of the International Workshop on Computational Methods and Clinical Applications in Musculoskeletal Imaging. Cham: Springer, 2019: 99-113.
[44] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241.
[45] WANG X M, WANG Y X. Composite attention residual U-Net for rib fracture detection[J]. Entropy, 2023, 25(3): 466.
[46] JIN L, YANG J C, KUANG K M, et al. Deep-learning-assisted detection and segmentation of rib fractures from CT scans: development and validation of FracNet[J]. eBioMedicine, 2020, 62: 103106.
[47] 何学才, 金惊, 李铭, 等. 基于完全融合集成网络候选框的肋骨骨折检测方法[J]. 解剖学报, 2022, 53(3): 396-401.
HE X C, JIN L, LI M, et al. Complete box fusion based on ensemble networks for rib fracture detection and localization[J]. Acta Anatomica Sinica, 2022, 53(3): 396-401.
[48] MILLETARI F, NAVAB N, AHMADI S A. V-Net: fully convolutional neural networks for volumetric medical image segmentation[C]//Proceedings of the 2016 4th International Conference on 3D Vision. Piscataway: IEEE, 2016: 565-571.
[49] LIN Z W, DAI W L, LAI Q Q, et al. Deep learning-based computed tomography applied to the diagnosis of rib fractures[J]. Journal of Radiation Research and Applied Sciences, 2023, 16(2): 100558.
[50] MENG X H, WU D J, WANG Z, et al. A fully automated rib fracture detection system on chest CT images and its impact on radiologist performance[J]. Skeletal Radiology, 2021, 50(9): 1821-1828.
[51] ZHANG B, JIA C X, WU R Z, et al. Improving rib fracture detection accuracy and reading efficiency with deep learning-based detection software: a clinical evaluation[J]. The British Journal of Radiology, 2021, 94(1118): 20200870.
[52] WANG S H, WU D J, YE L F, et al. Assessment of automatic rib fracture detection on chest CT using a deep learning algorithm[J]. European Radiology, 2023, 33(3): 1824-1834.
[53] WU M X, CHAI Z Z, QIAN G W, et al. Development and evaluation of a deep learning algorithm for rib segmentation and fracture detection from multicenter chest CT images[J]. Radiology Artificial Intelligence, 2021, 3(5): e200248.
[54] WEIKERT T, NOORDTZIJ L A, BREMERICH J, et al. Assessment of a deep learning algorithm for the detection of rib fractures on whole-body trauma computed tomography[J]. Korean Journal of Radiology, 2020, 21(7): 891-899.
[55] LI N, WU Z, JIANG C, et al. An automatic fresh rib fracture detection and positioning system using deep learning[J]. The British Journal of Radiology, 2023, 96(1146): 20221006.
[56] 梁洁, 孙金磊, 李梦远, 等. 基于深度学习人工智能辅助系统用于CT检出肋骨新鲜骨折[J]. 中国介入影像与治疗学, 2023, 20(9): 555-560.
LIANG J, SUN J L, LI M Y, et al. Artificial intelligence assisted system based on deep learning for detecting fresh rib fractures on CT[J]. Chinese Journal of Interventional Imaging and Therapy, 2023, 20(9): 555-560.
[57] ZHANG J Z, LI Z W, YAN S X, et al. An algorithm for automatic rib fracture recognition combined with nnU-Net and DenseNet[J]. Evidence-Based Complementary and Alternative Medicine, 2022, 2022(1): 5841451.
[58] YAO L D, GUAN X J, SONG X W, et al. Rib fracture detection system based on deep learning[J]. Scientific Reports, 2021, 11(1): 23513.
[59] HU Y T, HE X C, ZHANG R, et al. Slice grouping and aggregation network for auxiliary diagnosis of rib fractures[J]. Biomedical Signal Processing and Control, 2021, 67: 102547.
[60] CAO Z, XU L M, CHEN D Z, et al. A robust shape-aware rib fracture detection and segmentation framework with contrastive learning[J]. IEEE Transactions on Multimedia, 2023, 25: 1584-1591.
[61] CHAI Z Z, LIN H J, LUO L Y, et al. ORF-net: deep omni-supervised rib fracture detection from chest CT scans[C]//Proceedings of the 25th International Conference on Medical Image Computing and Computer Assisted Intervention. Cham: Springer, 2022: 238-248.
[62] IBANEZ V, GUNZ S, ERNE S, et al. RiFNet: automated rib fracture detection in postmortem computed tomography[J]. Forensic Science, Medicine, and Pathology, 2022, 18(1): 20-29.
[63] GAO Y, CHEN H, GE R J, et al. Deep learning-based framework for segmentation of multiclass rib fractures in CT utilizing a multi-angle projection network[J]. International Journal of Computer Assisted Radiology and Surgery, 2022, 17(6): 1115-1124.
[64] 张倩, 王大为, 隋时, 等. 深度学习计算机辅助诊断系统检测胸部DR肋骨骨折的验证性研究[J]. 中国临床医学影像杂志, 2022, 33(6): 430-434.
ZHANG Q, WANG D W, SUI S, et al. A confirmatory study of deep learning based computer-aided diagnosis system for detecting chest DR rib fractures[J]. Journal of China Clinical Medical Imaging, 2022, 33(6): 430-434.
[65] 吴育鑫, 薛蕴菁, 段青, 等. 基于深度学习的计算机辅助诊断系统检出DR胸部正位片中的骨折[J]. 中国介入影像与治疗学, 2020, 17(11): 675-678.
WU Y X, XUE Y J, DUAN Q, et al. Deep-learning based computer aided diagnosis system in detecting fractures on anteroposterior chest DR films[J]. Chinese Journal of Interventional Imaging and Therapy, 2020, 17(11): 675-678.
[66] TAN H, XU H, YU N, et al. The value of deep learning-based computer aided diagnostic system in improving diagnostic performance of rib fractures in acute blunt trauma[J]. BMC Medical Imaging, 2023, 23(1): 55.
[67] KAIUME M, SUZUKI S, YASAKA K, et al. Rib fracture detection in computed tomography images using deep convolutional neural networks[J]. Medicine, 2021, 100(20): e26024.
[68] 刘玉蒙, 吴若岱, 陆超, 等. 人工智能在胸部骨折CT诊断中的应用[J]. 广东医学, 2024, 45(8): 993-997.
LIU Y M, WU R D, LU C, et al. Application of artificial intelligence in CT diagnosis of thoracic fracture[J]. Guangdong Medical Journal, 2024, 45(8): 993-997.
[69] 刘想, 谢辉辉, 许玉峰, 等. 人工智能在胸部创伤肋骨骨折CT诊断中应用的初步研究[J]. 上海交通大学学报(医学版), 2021, 41(7): 920-925.
LIU X, XIE H H, XU Y F, et al. Application of artificial intelligence to CT diagnosis of thoracic traumatic rib sites: a preliminary study[J]. Journal of Shanghai Jiao Tong University (Medical Science), 2021, 41(7): 920-925.
[70] 刘想, 谢辉辉, 许玉峰, 等. 人工智能对提高放射科住院医生诊断胸部肋骨骨折一致性的价值[J]. 北京大学学报(医学版), 2023, 55(4): 670-675.
LIU X, XIE H H, XU Y F, et al. Value of artificial intelligence in the improvement of diagnostic consistency of radiology residents[J]. Journal of Peking University (Health Sciences), 2023, 55(4): 670-675.
[71] YANG C H, WANG J, XU J X, et al. Development and assessment of deep learning system for the location and classification of rib fractures via computed tomography[J]. European Journal of Radiology, 2022, 154: 110434.
[72] 张斌, 成跃, 杜静波, 等. 基于深度学习的计算机辅助诊断系统在诊断肋骨骨折方面的应用价值[J]. 武警医学, 2023, 34(8): 656-659.
ZHANG B, CHENG Y, DU J B, et al. Application value of deep learning-based computer-aided diagnosis system in diagnosing rib fractures[J]. Medical Journal of the Chinese People's Armed Police Force, 2023, 34(8): 656-659.
[73] 熊山, 陈博, 毛杰, 等. 基于深度学习的计算机辅助诊断系统在肋骨骨折诊断中的应用[J]. CT理论与应用研究, 2022, 31(5): 617-622.
XIONG S, CHEN B, MAO J, et al. Application of computer-aided diagnosis system based on deep learning in rib fracture diagnosis[J]. Computerized Tomography Theory and Applications, 2022, 31(5): 617-622.
[74] 朱雅茹, 祁良, 徐磊, 等. 人工智能软件辅助诊断新鲜肋骨骨折的效能评估[J]. 南京医科大学学报(自然科学版), 2022, 42(2): 227-232.
ZHU Y R, QI L, XU L, et al. Effectiveness evaluation of artificial intelligence system in the diagnosis of fresh rib fractures[J]. Journal of Nanjing Medical University (Natural Sciences), 2022, 42(2): 227-232.
[75] 李星宇, 雷禹, 黄晓旗, 等. 基于AI与人工阅片对肋骨骨折性质诊断价值的比较[J]. 中国医疗设备, 2022, 37(8): 32-36.
LI X Y, LEI Y, HUANG X Q, et al. Comparison of the diagnostic value of rib fracture properties based on AI and manual reading[J]. China Medical Devices, 2022, 37(8): 32-36.