AI机器人会考试，不会看病

一项新研究发现，虽然先进的人工智能模型在专业医学考试中得分很高，但在通过与患者交谈从而诊断疾病方面仍然不及格。1月2日，相关研究成果发表于《自然-医学》。

美国哈佛大学的Pranav Rajpurkar说:“虽然大型语言模型在测试中的表现令人印象深刻，但在动态对话中，它们的准确性明显下降，尤其是难以进行开放式诊断推理。”

研究人员开发出一种方法，基于模拟医患对话评估“临床AI”模型的推理能力。这些“患者”基于2000个医疗案例。这些案例主要来自美国医学委员会的专业考试。

同样来自哈佛大学的Shreya Johri说:“模拟医患互动可以评估病史采集技能，这是临床实践的一个关键组成部分。”她表示，新的评估基准被称为CRAFT-MD，“反映了现实生活中的情况，即患者可能不知道哪些细节是至关重要的，只有在回答特定问题时才会披露重要信息”。

CRAFT-MD基准本身依赖于AI。美国OpenAI公司的GPT-4模型在与被测试的“临床AI”的对话中扮演了“患者AI”的角色。GPT-4还通过将“临床AI”的诊断结果与每个病例的正确答案进行比较来评分。人类医学专家对这些评估进行了复核。他们还审查了对话，以检查“患者AI”的准确性，并查看“临床AI”是否成功收集了相关的医疗信息。

多项实验表明，4种领先的大型语言模型——OpenAI的GPT-3.5和GPT-4、美国Meta公司的Llama-2-7b和法国Mistral AI公司的Mistral-v2-7b，在基于对话的基准测试中的表现远不如根据书面摘要进行诊断时的表现。

例如，当提供结构化的病例摘要并允许从多项答案中作出选择时，GPT-4的诊断准确率高达82%，而没有多项选择时，其诊断准确率则降至49%以下。然而，当它不得不通过与模拟的患者对话进行诊断时，准确率降至26%。

在这项研究中，通常GPT-4是表现最好的模型，GPT-3.5次之，Mistral-v2-7b排在第三位，Llama-2-7b得分最低。

AI模型在大多数情况下未能收集完整的病史，比如GPT-4仅在71%的模拟患者对话中做到了这一点。即使AI模型收集了患者的相关病史，它们也并不总是能够作出正确的诊断。

美国斯克利普斯研究转化研究所的Eric Topol表示，模拟患者对话代表了一种比医学考试“更有用”的评估AI临床推理能力的方法。

Rajpurkar说，即使一个AI模型最终通过了这一基准，能够根据模拟的患者对话持续作出准确诊断，也并不一定意味着它就优于人类医生。他指出，现实世界中的医疗实践比模拟的“更混乱”，涉及管理多名患者、与医疗团队协调、进行身体检查，以及了解当地医疗情况中“复杂的社会和系统因素”。“AI是支持临床工作的强大工具，但不一定能取代经验丰富的医生的整体判断。”Rajpurkar说。

相关论文信息:

《中国科学报》