饱读700+中医古籍！MCM多模态问诊模型升级你的“互联网看病”体验

想象一下

一位经验丰富的“中医大师”

与一位精通数据的“科学家”携手

将古老的中医智慧

与人工智能技术结合

一款MCM多模态中医问诊大模型

让“互联网看病”变得更加精准和高效

近日，在2024浦源大模型应用挑战赛（夏季赛）上，上海计算机软件技术开发中心团队研发的MCM多模态中医问诊大模型获得一等奖。“中医的独特诊疗方式在大数据和人工智能的支持下，可以达到前所未有的精准度和效率。”上海计算机软件技术开发中心人工智能研究部副部长马泽宇告诉上海科技，“尤其是在面对多模态数据时，中医的诊疗过程可以通过智能模型得到显著提升。”

1.传统问诊如何焕发智能活力？

如今，“互联网看病”已经成为新常态，为患者提供了前所未有的便利。但同时，这种新兴方式也面临着挑战：诊断的准确性、建议的相关性，都是患者在选择线上问诊时的顾虑。

“现在的中医问诊过程，除了传统的望闻问切外，医生通常需要综合考虑多种类型的患者数据，包括文本记录、影像资料、病史信息等。”马泽宇介绍。

然而，现有的人工智能模型往往只能够处理单一模态的数据，无法实现对多模态数据的有效整合与分析。这导致了诊断过程中的信息孤岛现象，影响医生做出全面、准确的诊断决策。

因此，构建一个能够处理和分析多模态数据的大模型显得尤为重要，以便帮助医生整合多种信息，提升诊断的准确性和效率。“我们正处在一个转折点，AI的介入将为中医问诊带来前所未有的变革。”马泽宇表示。

这一多模态数据大模型的构建并非没有障碍。首先，问诊的可解释性问题令人头疼。

“网上医生给出的诊断与实际病例结果常常存在偏差，由于人工智能的‘黑盒子’特性，AI辅诊系统往往只给出结论，而无法告诉用户‘为什么’。”马泽宇指出，“这不仅让患者感到困惑，也使得医生难以信任AI的判断。”

其次，现有线上问诊方式常常被不相关信息所干扰，上下文的关联性更是难以保证。“患者可能提到完全不相关的信息，比如冰箱坏了，但这与他们的胃痛并无直接联系。”他解释道。最后，现有中医问诊模型大多只能处理文本等单一类型的数据，这种模态的单一性限制了问诊的全面性和准确性。

面对这些挑战，MCM模型提出了一系列创新的解决方案。它通过整合多模态数据，比如文本和医学图像，来提供更为全面的诊断支持。“我们不仅关注患者说什么，也关注他们的医学影像‘说’什么。”马泽宇说。

此外，MCM模型还引入了上下文处理机制，以确保问诊过程的连贯性和鲁棒性。“我们的目标是构建一个能够理解、分析并适应复杂临床情境的智能系统。”他补充道。

2.当AI成为中医的“新学徒”

打造MCM多模态中医问诊大模型的过程，第一步就是处理数据并将知识注入模型。马泽宇及其团队收集了700部中医古代典籍、真实的问诊记录，以及医学常识在内的大量数据。

这些数据通过特殊工具进行预处理，把古代中医典籍里的内容翻译成现代汉语，并生成了一些问答对话。马泽宇将其形象地比喻为“准备食材”的过程，可以将晦涩难懂的知识变成大模型可以接受的形式。

接下来是“知识注入”，就像给模型补充营养。这个过程分两个阶段，首先用翻译后的中医古籍和医学知识进行训练，让模型更好地理解中医。然后，用生成的问答对话和真实的问诊记录进一步训练模型，使它能更聪明地回答中医领域的问题，确保模型既有广泛的中医知识，又能灵活应对问诊。“这就是教模型如何理解和回答问题。”马泽宇解释说。

知识图谱是MCM大模型的一大亮点。开发团队从《黄帝内经》《神农本草经》等经典中医古籍中提取了大量信息，通过翻译和信息提取工具，这些古籍内容被转化为结构化的数据，例如药方中的成分、治疗方法等。然后，这些信息被储存在知识图谱中，构成了一个中医药的“知识网络”。

“有了这个知识图谱，模型在问诊时就能更加精准。例如，当你描述一个症状，模型可以通过图谱找到可能的疾病及其治疗方法。这种方式不仅提高了问诊的准确性，也使得整个过程更有条理、更容易理解。”马泽宇说。

MCM大模型还具备“无感上下文处理”功能，这就像是模型有了“聪明耳朵”，让问诊更贴心。马泽宇介绍：“每当用户输入信息，模型会自动将当前和过去的信息进行整合，形成一个更清晰的问题。比如，医生在听病人描述时，会把零散的信息串联起来。”

此外，如果用户在对话中说了一些与医学无关的话题，模型会自动判断并过滤掉这些无关信息，从而专注于对病情的分析。这样一来，问诊不仅更加精准，还能避免被不相关的内容干扰。

3.智慧中医的无限可能

“我们正在探索如何

将更多的中医、藏医经典文献数字化，

融入到模型的知识图谱中，

以提高模型对复杂病例的诊断能力。”

马泽宇透露。

团队还计划将模型的应用场景进一步拓展，不仅仅局限于诊疗环节，还可以在中医药的研发、个性化健康管理等领域发挥作用。马泽宇说：“我们的目标是让这个大模型成为中医诊疗的‘超级助手’，不仅能够辅助医生，还能为患者提供全方位的健康管理建议。”

此外，团队非常重视与产业界的合作，以推动中医智能诊疗的广泛应用。马泽宇介绍：“我们已经与多家医院建立了合作关系，希望通过产学研一体化的模式，加速技术的落地和推广。”

他相信，只有将技术与实际应用场景紧密结合，才能真正发挥出中医智能诊疗的潜力，让这一古老而智慧的医学体系造福更多患者。

转载自上海科技