Feasibility of using AI to auto-catch responsible frames in ultrasound screening for breast cancer diagnosis

Jing Chen; Yitao Jiang; Keen Yang; Xiuqin Ye; Chen Cui; Siyuan Shi; Huaiyu Wu; Hongtian Tian; Di Song; Jincao Yao; Liping Wang; Sijing Huang; Jinfeng Xu; Dong Xu; Fajin Dong

doi:10.1016/j.isci.2022.105692

iScience。2023年1月20日；26(1): 105692.

2022年12月5日在线发布。数字对象标识：2016年10月10日/j.isci.2022.105692

预防性维修识别码：PMC9771726型

PMID：36570770

在乳腺癌超声筛查中使用AI自动抓取责任框架的可行性

陈静（音译）,^1,⁵ 江一涛,^2,⁵ Keen Yang公司,^1,⁵ 叶秀琴,¹ 陈翠,^三思源市,^三吴怀玉,¹ 洪天田,¹ 狄松,¹ 金草瑶,⁴ 王丽萍,⁴ 黄思静,¹ 徐金凤,^1,^∗ 董旭,^4,^∗∗和Fajin Dong公司^1,^6,^∗∗∗

陈静（音译）

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据陈静（音译）

江一涛

²微港预测研发部，中国上海，201203

查找文章的依据江一涛

Keen Yang（基恩·杨）

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据Keen Yang（基恩·杨）

叶秀琴

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据叶秀琴

陈翠

^三中国广东省深圳市照明有限责任公司研发部，邮编518000

查找文章的依据陈翠

思源市

^三中国广东省深圳市照明有限责任公司研发部，邮编518000

查找文章的依据思源市

吴怀玉

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据吴怀玉

洪天田

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据洪天田

狄松

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据狄松

金草瑶

⁴中国科学院基础医学与癌症研究所中国科学院大学肿瘤医院（浙江省肿瘤医院），浙江杭州310022

查找文章的依据劲草瑶

王丽萍

⁴中国科学院基础医学与癌症研究所中国科学院大学肿瘤医院（浙江省肿瘤医院），浙江杭州310022

查找文章的依据王丽萍

黄思静

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据黄思静

徐金凤

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据徐金凤

董旭

⁴中国科学院基础医学与癌症研究所中国科学院大学肿瘤医院（浙江省肿瘤医院），浙江杭州310022

查找文章的依据董旭

Fajin Dong公司

¹深圳市人民医院超声科（暨南大学第二临床医学院；南方科技大学第一附属医院），广东深圳518020

查找文章的依据法津洞

作者信息文章注释版权和许可信息 PMC免责声明

关联数据

数据可用性声明

数据未公开共享，但可根据引线触点.

FEBrNet代码可从FEBrNet-门德利数据的代码中获得。重新分析本工作文件中报告的数据所需的任何其他信息可从引线触点根据要求。

总结

人工智能辅助乳腺诊断的研究主要基于静态图像。目前尚不清楚它是否代表了最佳诊断图像。探讨利用人工智能从乳腺超声筛查中获取互补责任帧的方法。我们使用特征熵乳腺网络（FEBrNet）从乳腺超声筛查中选择合适的帧，并比较了基于FEBrNet-推荐帧、物理学家选择帧、5帧间隔选择帧、所有视频帧以及超声和乳腺造影专家的AI模型的诊断性能。基于FEBrNet推荐帧的人工智能模型的AUROC优于其他基于帧集的人工智能模式，以及超声和乳腺造影医生，表明FEBrNet在帧选择方面可以达到医学专家的水平。FEBrNet模型可以提取用于乳腺结节诊断的视频责任帧，其性能相当于医生选择的责任帧。

主题领域：计算机辅助诊断方法、癌症、人工智能

图形摘要

在单独的窗口中打开

集锦

•
特征熵约简可以从视频中捕获互补的责任帧
•
提取的责任框架可以通过减少特征熵来实现
•
预训练图像AI模型可以筛选出用于结节诊断的最佳模型
•
最佳人工智能模型可以准确诊断乳腺结节，高达资深医生

计算机辅助诊断方法；癌症；人工智能

介绍

乳腺癌是当今世界上最常见的恶性肿瘤。¹^,²^,^三这是女性死亡的主要原因。⁴^,⁵根据2021年全球癌症负担报告，每年诊断出230多万乳腺癌新病例，^三占全世界30%的女性癌症和11.7%的癌症患者，居癌症首位，危害女性生命健康。有效的筛查可以早期发现乳腺癌，降低局部和长期复发率，提高五年生存率。⁶国内和国际指南建议40至74岁女性每年进行乳房X光检查，但致密乳房患者的假阳性率和假阴性率相对较高，因此更容易误诊。作为一种辅助诊断方法，超声波不受乳腺腺体组织类型的限制，尤其适用于亚洲女性致密乳房，可将总体乳腺癌检出率提高17%，并将不必要的活检减少40%。⁷^,⁸因此，乳腺超声，连同乳房X光检查、临床检查和针活检，在乳腺疾病的评估中发挥着重要作用。然而，基于乳腺超声图像的诊断在很大程度上取决于超声医生的经验。

人工智能（AI）近年来发展迅速。人工智能可以提供个性化分析，并帮助医生进行临床决策。⁹^,¹⁰^,¹¹作为人工智能的一个分支，深度学习能够在无需人工干预的情况下识别图像中的模式，促进图像和临床数据之间的高通量关联。¹²各种人工智能技术被用于从图像中提取有用信息，包括卷积神经网络（CNN）和可变自动编码器。¹³^,¹⁴^,¹⁵在医学成像领域，人工智能在疾病严重程度分类和argan分割（或分离）方面对成像医学做出了最重要的贡献。用于脂肪肝检测的肝脏超声图像，¹⁶^,¹⁷超声图像用于卵巢癌检测和风险分层，¹⁸^,¹⁹混沌超声用于中风风险分层是疾病分类应用的示例。²⁰

人工智能对乳腺结节的研究大多依赖于医生在扫描过程中选择的静态图像。由于操作员对超声扫描的依赖性，不同专业水平的医生可能对图像和疾病判断有不同的解释。因此，为决策选择的负责框架可能存在观测者之间的差异，缺乏必要的乳腺超声知识的初级医生或非专业人员无法选择一组负责的框架进行诊断。由于视频包含完整的病变信息，因此可以将整个视频用作人工智能的输入，而无需手动选择帧。²¹^,²²^,²³它可以扩大人工智能应用的范围，特别是在帮助经验不足的操作员进行乳腺诊断方面。然而，超声筛查是一个动态过程，它不仅记录包含结节的重要帧，还记录显示无关组织的帧以及可能误导AI的超声伪影。如果能够识别一组代表性帧来描述整个病变，AI性能可以得到提高，就像资深医生选择的框架一样。

目前，视频分类模型主要采用基于固定间隔时间的方法对帧进行子采样。虽然它减少了分析的帧数，但它无法解决噪声帧的存在以及重复选择具有非常相似特征的帧的问题。为了解决这些问题，我们结合贪婪算法和信息熵的思想，提出了一种用于负责任帧选择的FEBrNet模型。信息熵（IE）是信息场中接收到的每条“消息”中包含的平均信息量。²⁴视频被视为图像的集合，每个图像的信息可以投影到多个特征维度。贪婪算法用于选择一组帧，它最能概括整个视频的特征分布。同时，应用IE最小化方法来决定何时停止挑选新的负责帧。在本研究中，我们比较了基于FEBrNet推荐帧（R帧）的人工智能与基于所有视频帧（all frames）、基于物理学家选择图像的人工智能（Phy images）、基于固定间隔采样帧（Fix frames。接收机工作特性曲线下面积（AUROC）、灵敏度、特异性和准确性用作主要评估矩阵。在三重交叉验证和测试中，AI可以使用FEBrNet推荐的框架达到与使用物理学家选择的框架相同的性能，并且表现优于超声波和乳房X光成像专家。

结果

临床数据比较

本研究共纳入974例乳腺结节患者。由于随机森林只需要有限的训练样本，因此它们是根据训练集和测试集以4:6的比例随机分配的。具体地说，培训组包含387例（174个恶性结节），独立测试组包含587例（238个恶性结核）。所有患者均接受活检或手术并获得病理诊断(图1). 两组患者的年龄和结节大小无显著差异（p>0.05）。

在单独的窗口中打开

图1

流程图和统计结果

注：R框架：责任框架；Phy Images：医生帧选择；固定帧：固定间隔帧选择；所有帧：视频的所有帧；超声：由资深超声医生进行诊断；乳房X光检查：由资深乳房X光医生进行诊断；p： R框架与其他框架；AUC：曲线下面积；NA：不适用。

通过三重交叉验证比较FEBrNet负责框架和其他框架在训练集中的有效性

FEBrNet负责帧方法的AUC（0.901[95%CI:0.877–0.925]）高于医生帧选择方法、固定间隔帧选择方法和所有视频帧，p<0.05。临界值为0.402，灵敏度为84.5%，特异性为80.6%，准确度为82.3%(表1,图2).

表1

训练集三重交叉验证的诊断效率统计

模式	AUC（95%置信区间）	切断	灵敏度（%）	特异性（%）	准确度（%）	p值
R帧（_F）	0.901 (0.877–0.925)	0.402	84.5	80.6	82.3	纳
物理图像（_I）	0.857 (0.825–0.889)	0.411	71.8	87.2	80.3	0.009
修复帧（_F）	0.815 (0.793–0.837)	0.401	78.7	73	75.6	0
所有帧（_F）	0.889 (0.864–0.914)	0.521	75.3	89.1	82.9	0.002

在单独的窗口中打开

注：AUC：曲线下面积；95%置信区间：95%置信区间；R_Frames：责任框架；Phy_Images：医生帧选择；Fix_Frames：固定间隔帧选择；All_Frames：视频的所有帧；p： R_Frames与其他；NA：不适用。

在单独的窗口中打开

图2

训练集的3倍交叉验证结果

注：（A）R_Frames：责任框架；（B） Phy_Images：医生帧选择；（C） Fix_Frames：固定间隔帧选择；（D）所有帧：视频的所有帧。

FEBrNet负责框架和其他人工智能模型在独立测试集中的有效性比较

(1)
负责帧方法的AUC（0.912[95%CI:0.888–0.936]）高于固定间隔帧选择和所有视频帧（p<0.05）。临界值为0.416，敏感性为84.4%，特异性为87.4%，准确性为86.2%。
(2)
责任框架法的AUC略高于基于医生选择框架的模型（0.909[95%CI:0.884–0.935]）（p=0.715>0.05），表明人工智能模型的框架选择水平可以达到高级专家(图3A–3D）。
在单独的窗口中打开
图3
FEBrNet负责框架与其他框架在独立测试集中的有效性比较
注：AUC：曲线下面积，95%CI:95%置信区间；（A） R_Frames：责任帧；（B） Phy_Images：医生帧选择；（C） Fix_Frames：固定间隔帧选择；（D） All_Frames：视频的所有帧；（E）超声：由高级超声专家进行诊断；（F）乳房X射线照相术：由资深乳房X射线摄影专家进行诊断。

FEBrNet负责的框架和超声及乳腺造影专家在独立测试集中的效果比较

在本节中，我们回顾了383例同时可以发现超声和乳腺造影的病例。

(1)
负责任框架法的AUC优于高级超声医生诊断的AUC。AUC为（0.912[95%置信区间：0.888–0.936]对0.820[95%置信区间：0.788–0.853]）（p<0.05）。

(2)

FEBrNet模型诊断的AUC优于资深乳腺造影医生，AUC为（0.912[95%CI:0.888–0.936]vs.0.796[95%CI:0.759–0.833]）（p<0.05）(图3E、 3F和表2).

表2

FEBrNet推荐帧和其他帧集的诊断效率统计

模式	AUC（95%置信区间）	切断	灵敏度（%）	特异性（%）	准确度（%）	p值
R帧（_F）	0.912 (0.888–0.936)	0.416	84.4	87.4	86.2	纳
物理图像（_I）	0.909 (0.884–0.935)	0.401	87.8	84	85.3	0.715
修复帧（_F）	0.852 (0.821–0.883)	0.490	75.6	79.9	78.2	0
所有帧（_F）	0.881 (0.852–0.910)	0.436	76.4	89.7	84.3	0.002
超声波	0.820 (0.788–0.853)	纳	98.7	65.3	79.6	0
乳房X射线照相术	0.796 (0.759–0.833)	纳	92.1	67.1	77.8	0

在单独的窗口中打开

注：AUC：曲线下面积；95%置信区间：95%置信区间；R_Frames：责任帧；Phy_Images：医生帧选择；Fix_Frames：固定间隔帧选择；All_Frames：视频的所有帧；超声：高级超声医生的诊断；乳房X光检查：由资深乳房X光医生进行诊断；p： R框架与其他框架；NA：不适用。

讨论

基于我们对乳腺结节静态超声图像的分析，为本研究构建了一个新的模型：FEBrNet，它是一种自动捕获乳腺超声视频中相关帧的人工智能方法。

在本研究中，FEBrNet通过定义特征分数（FS）和计算熵来分析和提取超声视频数据中的责任帧，而无需添加额外的训练参数，自提取具有互补信息的多个责任框架，用于乳腺良恶性结节的鉴别诊断。结果表明，基于FEBrNet帧的人工智能模型的AUC（0.912）高于固定间隔帧（0.852）和所有视频帧（0.881），表明本文提出的方法在辅助乳腺诊断方面是可行的、高度可靠的。

作为这项工作的一个主要贡献，FEBrNet解决了选择负责帧的问题，同时避免重复选择视觉上相同的帧。如所示图4，我们使用一个取自一名患有BIRADS 4c和病理证实的浸润性乳腺癌的45岁女性患者的视频作为一个简单的例子来演示FEBrNet的能力。当帧按FScore排序时，前三个帧是第26、39和27帧，FScore为21.94、21.29和21.03。这些框架在图4时间序列非常接近。在使用主成分分析将特征矩阵压缩并显示为二维后图4B、很明显，这三个框架之间的特征尺寸距离相当近。在图4C和4D，同样的方法用于评估FEBrNet选择的前三个负责帧（第26、111和96帧）。虽然第111帧的FScore较低，但在特征尺寸上，它与第一个负责帧（第26帧）相距甚远。FEBrNet选择的前三帧是分散的，与它们在图4D。

在单独的窗口中打开

图4

FEBrNet选择责任框架的案例研究

注：（A）和（B）按FScore排序的前3帧在时间序列上相对相似，在视觉上相同，并具有可比较的特征；（C）（D）熵约简方法选取的前3帧图像特征更加多样，分散在二维特征图上。

国际公认的乳腺癌风险BIRADS标准分类基于图像中显示的恶性肿瘤特征。²⁵^,²⁶本文中，FEBrNet的诊断效率超过了高级超声和乳腺造影医生，证明了该技术在乳腺癌诊断中的可靠价值。人工智能算法的性能取决于对大型标记数据集的训练。²⁷^,²⁸^,²⁹目前，一个常见的问题是，面对某一领域的具体问题，很难找到足够的训练数据。迁移学习的出现可以缓解数据源不足的问题。²⁹^,³⁰近年来，美国有线电视新闻网推出了多个网络模型，如Alexnet、，³¹VGG、，³²GoogLeNet、，²⁷ResNet、，³³和Inception，³⁴^,³⁵可以解决自然图像中的视觉分类任务。本研究使用静态图像预训练和筛选模型，然后通过转移学习的方法继承其主干和全连接层的权重(图5). 构建FEBrNet模型，对视频数据进行处理，自动从视频数据中提取相应帧并进行诊断(图6和和7）；7); 结果表明，该模型直接预测视频责任帧，与医生帧选择方法的AUC非常接近（0.909[95%CI:0.884–0.935]）（p=0.715>0.05），表明人工智能模型在帧选择方面可以达到高级专家的水平。乳房X光检查可以发现早期乳腺癌，并将40岁以上女性的乳腺癌死亡率降低30%以上。³⁶尽管乳房X光检查是乳腺癌筛查的金标准³⁷并且已经证明可以降低死亡率，结果的准确性在致密乳房女性中受到影响。³⁸在独立测试集中，FEBrNet模型责任框架法的AUC优于高级超声医生和乳腺造影医生（p<0.05）。

超声波视频预处理

FEBrNet模型结构

注：主干模型是一个特征提取器，它是预处理超声图像数据集过滤后的MobileNet_224中全连接层的权重。FEBrNet使用一个特征提取器和来自预训练的完全连接层的权重来生成一个特征矩阵，该矩阵用于识别负责的帧并进行诊断预测。

在单独的窗口中打开

图7

选择负责帧的示例

步骤1：MaxPool三个帧特征矩阵，生成视频特征矩阵。步骤2：选择frame1作为第一个负责帧，使两者之间的差异最小化F核心_视频和F核心_框架步骤3：将另一个框架添加到负责的框架集合中，而步骤2已经选择了一个框架。自从F核心帧1和帧3的负责帧集合之间的差异最小，帧3被选为第二个负责帧。例子图1责任帧选择的自动停止示意图。注：RF_1：第一责任框架，依此类推；当模型选择视频责任帧时，它从最初的恶性预测值逐渐上升到RF_9（0.93），从RF_10开始逐渐下降，因此模型被选择为RF_9停止。

研究的局限性

(1)
本研究中的乳腺超声数据数量有限。未来应开展多中心临床研究和各种仪器的视频数据，以提高训练的有效性和鲁棒性。
(2)
本研究仅关注乳腺良恶性结节的分类。在未来，它应该扩展到包括图像任务，如浸润范围预测、亚型分类、分子表型预测和远处转移预测。
(3)
FEBrNet结构可用于各种疾病的超声筛查，未来应评估更多疾病。

STAR★方法

关键资源表

试剂或资源	来源	标识符
软件和算法

蟒蛇	范·罗苏姆，³⁹	https://www.python.org/
Tensorflow公司	Abadi等人。⁴⁰	https://www.tensorflow.org/
打开CV	OpenCV团队	https://opencv.org/
马特普洛特利布	亨特，⁴¹	https://matplotlib.org网站/
数字Py	Harris等人。⁴²	网址：https://numpy.org/
本论文代码	江，⁴³	FEBrNet代码-门捷利数据

在单独的窗口中打开

资源可用性

引线触点

进一步的信息和资源请求，应直接发送给首席联系人FaJin Dong，并将由其完成(dongfajin@szhospital.com).

材料可用性

这项研究没有产生新的独特试剂。

实验模型和主题细节

道德声明

本研究回顾性分析了2015年7月至2021年12月在深圳人民医院接受乳腺超声筛查的24岁至75岁女性患者。该研究得到深圳市人民医院伦理委员会的批准，由于其回顾性设计，放弃了知情同意的要求。

入选标准

（1）超声检测乳腺结节，根据BIRADS分类为0、3、4a、4b、4c或5；（2）结节周围至少可以显示3.0毫米的乳腺组织；（3）超声检查前未对待评估结节进行干预或手术；（4）患者在超声数据收集后一周内接受手术或活检，并获得病理结果。

排除标准

（1） BIRADS 1和2；（2）有乳房手术或干预史；（3）图像质量差；（4）病例的临床数据不完整，病理结果没有得到追踪。

患者匿名化和视频预处理

首先，我们剪切原始视频，去除超声图像周围的设备信息和患者敏感信息，只保留图像窗口。将视频缩放到224×224像素，然后逐帧展开。这些缩放的框架将用作新模型责任框架选择和比较测试的输入数据(图5).

之前的工作

在我们之前的工作中，⁴⁴我们已经完成了四个人工智能模型（Xception、，⁴⁵移动网络，⁴⁶ResNet50，⁴⁷和DenseNet121⁴⁸)具有三种输入图像分辨率（224×224、320×320和448×448像素）。根据纳入和排除标准，最终纳入3447例女性乳腺结节。最后，我们选择MobileNet中224×224像素为最佳模型和图像分辨率，AUC:0.893（95%CI:0.864-0.922），灵敏度：81.6%，特异性：82.1%，准确度：81.8%。

方法详细信息

FEBrNet算法概述

在本研究中，我们建立了特征熵胸肌网络（FEBrNet），继承了预处理优化模型的主干作为特征提取器，并在模型的最后一层添加了特征计算层。特征提取器对每一帧图像进行处理，生成相应的特征矩阵，对所有帧的特征矩阵进行最大池运算，得到整个视频的参考特征矩阵。一个名为F核心通过求和恶性特征维数的值来定义，表示特征矩阵中恶性的总信息。共享最相似的帧F核心选择参考特征矩阵作为第一责任框架，并将其添加到责任框架集中。在将新帧添加到负责帧集中时，我们使用贪婪算法搜索所有可能的帧，这可以最小化F核心同时，对于每个添加的责任框架，我们计算了恶性概率和概率熵；一旦某一帧的熵增加，模型的预测确定性就会降低，这是帧选择的停止信号。

使用FScore识别责任框架

在我们的方法中，我们专注于最小化FS核心视频和F核心在负责帧集合中，差异较小，表明负责帧集合的信息更接近整个视频。通过将负责帧集合中的帧数从1逐渐增加到n，并在每个步骤中选择差异最小的帧并将其添加到负责帧集合，我们最终获得局部最优负责帧集合(图6).

下图显示了从包含三个帧的视频中选择前两个负责帧的基本示例(图7). 视频特征矩阵在步骤1中通过MaxPooling三个帧特征矩阵构建F核心_视频是25。在步骤2中，我们将负责帧集合中的帧数指定为一，有三个选项F核心第16、15和11页。由于F核心_视频和F核心_框架1在选择帧1时是最低的，我们选择帧1作为第一个负责帧。步骤3将负责帧集合中的帧数增加到两个，并且已经选择了第一个负责帧（帧1）。FS核心_{[框架1，框架2]}是17并且F核心_{[框架1，框架3]}为24，因此应选择第3帧作为第二个负责帧。尽管事实上F核心_框架2较大时，我们不会选择框架2作为第二个负责框架，因为将框架2添加到负责框架集合中的好处很少。Frame2提供了与已选定的frame1几乎相同的功能，这意味着它们看起来也可能类似。

在数学中，我们定义了F核心量化框架在特定特征维中的贡献。我们修改了神经网络中的最终预测方程。基本CNN结构中CNN的输出可以写为 ${Y（Y）}_{对第页 e（电子） d日} = S公司 o个（f） t吨米一 x个 ({[{W公司}_{0}, {W公司}_{1}]}^{T型} * X（X） + B类) = [{Y（Y）}_{0}, {Y（Y）}_{1}]$ ，其中Y₀表示良性概率和Y₁是恶性概率。的数量 $({w个}_{1}^{我} - {w个}_{0}^{我}) \times {x个}_{我}$ 在前面的方程中，表示单个特征维的恶性贡献，它可以分为两部分： $({w个}_{1}^{我} - {w个}_{0}^{我})$ 表示特征维i可能有助于最终恶性肿瘤可能性的信息量 ${x个}_{我}$ 在特征维度i中表示帧的强度。同时，我们希望集中于指示恶性的特征，因此我们使用方程 ${F类 E类}_{我}^{j个} = 最大值 (0, ({w个}_{1}^{j个} - {w个}_{0}^{j个})) \times {x个}^{j个}$ 为了描述framei在jth特征维中的贡献，framei的整个恐惧矩阵可以表示为 ${[F类 E类]}_{我} = [{F类 E类}_{我}^{1}, {F类 E类}_{我}^{2}, {F类 E类}_{我}^{三} \dots {F类 E类}_{我}^{k个}]$ 。为了关注视频最具代表性的特征，我们使用MaxPooling来改变所有帧的特征矩阵，并构造视频特征矩阵，其中

{[F类 E类]}_{五 我 d日 e（电子） o个} = M（M） 一 x个 P（P） o个 o个 我 ({[F类 E类]}_{1}, {[F类 E类]}_{2} \dots {[F类 E类]}_{n个}) = [最大值 ({F类 E类}_{1}^{1}, {F类 E类}_{2}^{1} \dots {F类 E类}_{n个}^{1}), 最大值 ({F类 E类}_{1}^{2}, {F类 E类}_{2}^{2} \dots {F类 E类}_{n个}^{2}) \dots 最大值 ({F类 E类}_{1}^{k个}, {F类 E类}_{2}^{k个} \dots {F类 E类}_{n个}^{k个})]

数学上，我们定义F核心框架的_我作为 ${F类 S公司 c（c） o个第页 e（电子）}_{我} = 秒单位米 ({[F类 E类]}_{我}) = \sum_{j个 = 1}^{k个} {F类 E类}_{我}^{j个}$ 当涉及到帧a的集合时（a=[帧_一，框架_b条，…框架_c（c）])，我们使用 ${F类 S公司 c（c） o个第页 e（电子）}_{A类} = 秒单位米 {[F类 E类]}_{A类最大值} = \sum_{j个 = 1}^{k个} 最大值 ({F类 E类}_{一}^{j个}, {F类 E类}_{b条}^{j个} \dots {F类 E类}_{c（c）}^{j个})$ 来表达它FS核心.

找到第i个责任框架的过程可以描述为以下等式：

我^{t吨 小时} （f） 第页 一 米 e（电子） = 一 第页 克 米 我 n个 ({F类 S公司 c（c） o个 第页 e（电子）}_{五 我 d日 e（电子） o个} - {F类 S公司 c（c） o个 第页 e（电子）}_{[t吨 o个 对 1, t吨 o个 对 2, t吨 o个 对 三 \dots t吨 o个 对 我 - 1, 我]}) = 一 第页 克 米 我 n个 \sum_{j个 = 0}^{k个} (最大值 ({F类 E类}_{1}^{j个}, {F类 E类}_{2}^{j个}, {\dots F类 E类}_{n个}^{j个}) - 最大值 ({F类 E类}_{t吨 o个 对 1}^{j个}, {F类 E类}_{t吨 o个 对 2}^{j个}, {\dots F类 E类}_{t吨 o个 对 我 - 1}^{j个}, {F类 E类}_{我}^{j个}))

使用熵自动停止帧选择

为了设置框架选择的自动停止策略，我们借用了Shannon于1948年提出的信息论中的熵的思想。²⁴在信息论中，熵是随机变量不确定性的度量，数学上描述为 $H（H） (X（X）) = \sum_{x个 \in X（X）} ({- 日志}_{2} ρ (x个)) ρ (x个)$ ，其中 $ρ (x个)$ 是随机变量X的概率密度 ${- 日志}_{2} ρ (x个)$ 测量信息量，也称为自我信息量。我们在每次添加责任帧时更新特征矩阵，并使用恶性预测值计算熵。随着责任框架数量的增加，预测也会发生变化。当恶性预测值的确定性降低时，熵将增加，这是停止信号（示例图1).

实验设计

为了评估FEBrNet选择的帧是否可以用作诊断帧，我们基于FEBrNet-推荐帧、所有帧、固定间隔帧和物理学家选择的帧训练AI模型。具体来说，基于不同输入的人工智能模型具有相同的结构，其中预训练特征抽取器处理输入的帧集以生成特征矩阵。然后，每个模型使用具有相同参数的随机森林（1024个估计量，最大深度等于10）来分析帧集的特征矩阵并生成预测。由于特征提取器是继承的，它不需要再训练过程，只有随机森林需要训练。所有登记患者的视频被分为训练集和测试集，其中乳腺结节的病理结果被用作基本事实。为了确保没有交叉，同一名患者只能出现在同一组中。对模型的结果进行了比较，推断出基于更好输入框架集的模型可以实现更高的AUROC性能。

首先，我们进行了三重交叉验证，以评估模型在训练中的表现。然后，我们将所有模型在测试集上的诊断性能与实际超声医生和乳腺造影医生的性能进行了比较。通过追溯患者活检前最后检查的记录，并由资深医生重新评估，可以获得真实的超声波和乳房X光造影医生的表现。

量化和统计分析

连续变量数据表示为平均值±标准偏差。分类变量数据以百分比表示。配对样本t检验用于比较组内差异。R 3.6.3用于统计分析。首先，绘制接收机工作特性曲线（ROC），计算并输出曲线下面积（AUC），95%置信区间（95%CI），p<0.05具有统计学意义。输出最佳截止值、特异性、灵敏度和准确性。

致谢

本项目得到深圳市科学技术委员会（GJHZ20200731095401004）的资助。我们的D团队提供了实验的所有数据。感谢我们深圳市人民医院超声科的D团队。

作者贡献

J.X.：概念化、方法论、调查、资金获取。D.X.：概念化、方法论、调查、监督。F.D.：概念化、方法论、调查、数据分析、监督。J.C.：方法论，写作-初稿，写作-审查和编辑，分析数据。Y.J.：软件，写作——审查和编辑，分析数据，方法论。K.Y.：资源，分析数据，方法。X.Y.：分析数据，资源，分析数据。S.S.：软件、监督、分析数据。C.C.：软件、监督、数据分析、资金获取。H.W.、H.T.、D.S.、J.Y.和S.H.：分析数据，资源。

利益声明

本手稿的作者声明与任何产品或服务可能与文章主题相关的公司没有任何关系。

包容性和多样性

我们支持包容性、多样性和公平的研究行为。

笔记

发布日期：2023年1月20日

数据和代码可用性

数据未公开共享，但可根据引线触点.

FEBrNet代码可从FEBrNet-门德利数据的代码中获得。重新分析本工作文件中报告的数据所需的任何其他信息可从引线触点根据要求。

工具书类

1Sung H.、Ferlay J.、Siegel R.L.、Laversanne M.、Soerjomataram I.、Jemal A.、Bray F.2020年全球癌症统计：GLOBOCAN对185个国家36种癌症的全球发病率和死亡率的估计。加利福尼亚州癌症杂志临床。2021;71:209–249.[公共医学][谷歌学者]

2Siegel R.L.、Miller K.D.、Fuchs H.E.、Jemal A.癌症统计，2021年。CA癌症临床杂志。2021;71:7–33.[公共医学][谷歌学者]

三。Siegel R.L.、Miller K.D.、Fuchs H.E.、Jemal A.癌症统计，2022年。加利福尼亚州癌症杂志临床。2022;72:7–33.[公共医学][谷歌学者]

4Maliszewska M.、Maci ek-Jurczyk M.、Po ycka J.、Szkudlarek A.、Chudzik M.和Su kowska A.关于来曲唑和白藜芦醇与血清白蛋白结合的荧光测量研究。蛋白质肽。莱特。2016;23:867–877.[公共医学][谷歌学者]

5陈伟，郑荣，张珊，曾海，夏川，左涛，杨忠，邹欣，何杰，2013年中国癌症发病率和死亡率。癌症快报。2017;401:63–71.[公共医学][谷歌学者]

6Cedolini C.、Bertozzi S.、Londero A.P.、Bernardi S.，Seriau L.、Concina S.、Cattin F.、Risaliti A.乳腺癌诊断、筛查和生存类型。临床。乳腺癌。2014;14:235–240.[公共医学][谷歌学者]

7Niell B.L.、Freer P.E.、Weinfurtner R.J.、Arleo E.K.、Drukteinis J.S.乳腺癌筛查。无线电。临床。北美。2017;55:1145–1162.[公共医学][谷歌学者]

8Osako T.、Takahashi K.、Iwase T.、Ijima K.、Miyagi Y.、Nishimura S.、Tada K.、Makita M.、Akiyama F.、Sakamoto G.、Kasumi F.对30至39岁女性浸润性和非浸润性乳腺癌的诊断超声和乳房X光检查。乳腺癌。2007;14:229–233.[公共医学][谷歌学者]

9Tonekaboni S.、Joshi S.、McCradden M.D.、Goldenberg A.临床医生想要的：为临床最终用途将可解释的机器学习情境化。axRiv公司。2019年doi:10.48550/arXiv.1905.05134。预打印位置[交叉参考][谷歌学者]

10Rajkomar A.、Oren E.、Chen K.、Dai A.M.、Hajaj N.、Hardt M.、Liu P.J.、Liu-X.、Marcus J.、Sun M.等人。利用电子健康记录进行可扩展和准确的深度学习。NPJ数字。医学。2018;1:18. [PMC免费文章][公共医学][谷歌学者]

11铃木K.医学成像深度学习概述。无线电。物理学。Technol公司。2017;10:257–273.[公共医学][谷歌学者]

12Yasaka K.、Akai H.、Kunimatsu A.、Kiryu S.、Abe O.放射学中的卷积神经网络深度学习。日本。J.无线电。2018;36:257–272.[公共医学][谷歌学者]

13Hosny A.、Parmar C.、Quackenbush J.、Schwartz L.H.、Aerts H.J.W.L.放射学中的人工智能。Nat.Rev.癌症。2018;18:500–510. [PMC免费文章][公共医学][谷歌学者]

14Mazurowski M.A.、Buda M.、Saha A.、Bashir M.R.放射学深度学习：概念概述和以MRI为重点的技术现状调查。J.马恩。Reson公司。成像。2019;49:939–954. [PMC免费文章][公共医学][谷歌学者]

15何J.、巴克斯特S.L.、徐J.、徐杰、周欣、张凯。人工智能技术在医学中的实际应用。国家医学院。2019;25:30–36. [PMC免费文章][公共医学][谷歌学者]

16Acharya U.R.、Sree S.V.、Ribeiro R.、Krishnamurthi G.、Marinho R.T.、Sanches J.、Suri J.S.超声中脂肪肝疾病分类的数据挖掘框架：混合特征提取范式。医学物理。2012;39:4255–4264.[公共医学][谷歌学者]

17Saba L.、Dey N.、Ashour A.S.、Samanta S.、Nath S.S.、Chakraborty S.、Sanches J.、Kumar D.、Marinho R.、Suri J.S.超声中肝脏疾病的自动分层：在线准确特征分类范式。计算。方法生物识别程序。2016;130:118–134.[公共医学][谷歌学者]

18Acharya U.R.、Sree S.V.、Krishnan M.M.R.、Saba L.、Molinari F.、Guerriro S.、Suri J.S.使用三维超声对卵巢肿瘤进行表征。Technol公司。癌症研究治疗。2012;11:543–552.[公共医学][谷歌学者]

19.Acharya U.R.、Sree S.V.、Kulshreshtha S.、Molinari F.、En Wei Koh J.、Saba L.、Suri J.S.GyneScan：通过组织特征筛选卵巢癌的改进在线范式。Technol公司。癌症研究治疗。2014;13:529–539. [PMC免费文章][公共医学][谷歌学者]

20Acharya R.U.、Faust O.、Alvin A.P.C.、Sree S.V.、Molinari F.、Saba L.、Nicolaides A.、Suri J.S.颈动脉超声中的症状性与无症状性斑块分类。医学杂志。系统。2012;36:1861–1871.[公共医学][谷歌学者]

21Furht B.、Smolian S.W.、Zhang H.Springer Science&Business Media；2012.多媒体系统中的视频和图像处理；第326页。[谷歌学者]

22.Schmidhuber J.神经网络中的深度学习：概述。神经网络。2015;61:85–117.[公共医学][谷歌学者]

23.Golden J.A.乳腺癌淋巴结转移检测的深度学习算法：帮助发现人工智能。JAMA公司。2017;318:2184–2186.[公共医学][谷歌学者]

24Shannon C.E.传播的数学理论。贝尔系统。技术J。1948;27:379–423. [谷歌学者]

25Drukker L.、Noble J.A.、Papageorghiou A.T.等人，《妇产科超声成像人工智能导论》。超声波障碍。妇科。2020;56:498–505. [PMC免费文章][公共医学][谷歌学者]

26Muse E.D.、Topol E.J.使用人工智能引导超声图像捕获。柳叶刀。2020;396:749.[公共医学][谷歌学者]

27Szegedy C.、Liu W.、Jia Y.、Sermanet P.、Reed S.、Angelov D.、Erhan D.、Vanhoucke V.、Rabinovich A。IEEE计算机视觉和模式识别会议记录。IEEE；美国波士顿：2015年。用卷积深入。[谷歌学者]

28Wu S.，Zhong S.，Liu Y.用于图像隐写分析的深度残差学习。Multimed公司。工具应用程序。2018;77:10437–10453. [谷歌学者]

29Aneja N.、Aneya S.IEEE；2019.使用CNN进行手写天成文书（梵文）字符识别的迁移学习，2019年第一届信息技术进步国际会议（ICAIT），第293–296页。[谷歌学者]

30.Torrey L.、Shavlik J.转移学习，机器学习应用和趋势研究手册：算法、方法和技术。IGI全球。2010:242–264. [谷歌学者]

31Krizhevsky A.，Sutskever I.，Hinton G.E.ImageNet深度卷积神经网络分类。Commun公司。ACM公司。2017;60:84–90. [谷歌学者]

32Simonyan K.，Zisserman A.用于大规模图像识别的深度卷积网络。arXiv。2014年doi:10.48550/arXiv.1409.1556。预打印于[交叉参考][谷歌学者]

33何凯，张欣，任S.，孙J.图像识别的深度残差学习。arXiv公司。2016年doi:10.48550/arXiv.1512.03385。预打印于[交叉参考][谷歌学者]

34夏旭，徐灿，南班·IEEE；2017年，《花卉分类的Inception-v3》，2017年第二届国际图像、视觉和计算会议（ICIVC），第783-787页。[谷歌学者]

35Szegedy C.、Vanhoucke V.、Ioffe S.、Shlens J.、Wojna Z。IEEE计算机视觉和模式识别会议记录。IEEE；2016年，重新思考计算机视觉的初始架构；第2818–2826页。[谷歌学者]

36Tohno E.、Umemoto T.、Sasaki K.、Morishima I.、Ueno E.在筛查乳房X光摄影术中加入筛查超声对患者回忆和癌症检出率的影响：日本的一项回顾性研究。欧洲无线电杂志。2013;82:1227–1230.[公共医学][谷歌学者]

37Le-Petross H.T.、Shetty M.K.磁共振成像和乳腺超声作为高危患者乳房X光检查的辅助手段。塞明。超声CT MRI。2011;32:266–272.[公共医学][谷歌学者]

38Ohnuki K.、Tohno E.、Tsunoda H.、Uematsu T.、Nakajima Y.日本乳腺癌筛查的乳房X光和超声联合评估系统。乳腺癌。2021;28:254–262. [PMC免费文章][公共医学][谷歌学者]

39van Rossum G.计算机科学系；1995年，Python参考手册。[谷歌学者]

40Abadi M.、Barham P.、Chen J.、Chen-Z.、Davis A.、Dean J.、Devin M.、Ghemawat S.、Irving G.、Isard M.、Kudlur M.{TensorFlow}：{大规模}机器学习系统。在第12届USENIX操作系统设计与实现研讨会上。OSDI。2016;16:265–283. [谷歌学者]

41亨特。科学与工程计算。第9卷。IEEE；2007.Matplotlib:二维图形环境；第90-95页。[谷歌学者]

42Harris C.R.、Millman K.J.、van der Walt S.J.、Gommers R.、Virtanen P.、Cournapeau D.、Wieser E.、Taylor J.、Berg S.、Smith N.J.等人，使用NumPy进行数组编程。自然。2020;585:357–362. [PMC免费文章][公共医学][谷歌学者]

43江亚·门德利数据；2022年。FEBrNet代码。[交叉参考][谷歌学者]

44Wu H.、Ye X.、Jiang Y.、Tian H.、Yang K.、Cui C.、Shi S.、Liu Y.、Huang S.和Chen J.等。基于多输入分辨率的乳腺超声图像多深度学习模型的比较研究。前面。昂科尔。2022;12:869421. [PMC免费文章][公共医学][谷歌学者]

45Muhammad W.，Aramvith S.，Onoye T.基于多尺度Xception的单图像超分辨率深度可分离卷积。公共科学图书馆一号。2021;16：e0249278。 [PMC免费文章][公共医学][谷歌学者]

46Wang W.，Hu Y.，Zou T.，Liu H.，Wang J.，WangX。一种新的图像分类方法，通过改进的MobileNet模型在浅层进行局部感受野扩展。计算。智力。神经科学。2020;2020:8817849. [PMC免费文章][公共医学][谷歌学者]

47周杰，张瑜，常克堂，李克堂，王浩，李杰，林勇，潘梓，常平，周丹，等。结合癌周组织，利用放射和深度学习在DCE-MRI上诊断乳腺良恶性病变。J.马格纳。Reson公司。成像。2020;51:798–809. [PMC免费文章][公共医学][谷歌学者]

48Ezzat D.、Hassanien A.E.、Ella H.A.基于引力搜索优化的COVID-19疾病诊断的优化深度学习架构。申请。软计算。2021;98:106742. [PMC免费文章][公共医学][谷歌学者]

文章来自iScience公司由以下人员提供爱思维尔