使用LangChain框架结合大型语言模型(LLM)生成乳腺超声(BUS)报告的方法

这篇论文介绍了一种使用LangChain框架结合大型语言模型(LLM)生成乳腺超声(BUS)报告的方法。地址:arxiv.org/pdf/2312.03013.pdf

这种方法通过整合多个图像分析工具,旨在提高报告的准确性和标准化程度,减轻放射科医生和医疗专业人员的工作负担。以下是文章的核心点:

  1. 背景:乳腺超声是乳腺成像的关键诊断工具,用于早期发现和特征乳腺异常。然而,手动创建超声图像的全面医疗报告是一个耗时的过程,且结果可能因临床医生而异。

  2. 方法:提出了一种新方法,通过LangChain框架结合LLM来生成BUS报告。LangChain是一个基于LLM的框架,可以调用专门的工具来处理不同的任务。文章中使用了三个主要工具:“可疑描述工具”、“类别分类工具”和“探头信息工具”。

  3. 工具细节:

  • “可疑描述工具”结合了形状、边缘和回声分类网络,用于描述可疑实体的特征。

  • “类别分类工具”根据乳腺成像报告和数据系统(BI-RADS)将图像分类为阴性、良性或高度提示恶性。

  • “探头信息工具”提供关于探头位置的信息,将探头标记分类为12个特定类别。

  1. 模型训练:使用来自750名患者的BUS图像进行训练,分为训练集、验证集和测试集。所有分类网络都基于预训练的ResNet-50模型。

  2. 实验结果:

  • 对每个工具进行了评估,结果显示它们在各自的任务上表现良好,准确率、精确度、召回率和F1分数均较高。

  • 生成了包含关键信息的初步报告,并使用LLM生成了最终报告。

  • 在临床评估中,生成的报告在临床意义上是有意义的。

  1. 讨论和结论:尽管该方法在实验中显示出了潜力,但仍存在一些局限性,如子模型可能引入错误,以及图像分割过程是基于规则的,可能无法处理探头标记或主要图像位置差异较大的情况。尽管如此,该方法为医疗工作流程的整合提供了有希望的前景。

文章还提到了将可疑检测工具和光学字符识别(OCR)工具集成到LangChain中,以进一步提高报告的全面性和准确性。

image.png