热门

最新

红包

立Flag

投票

同城

发布
devxinericwang
彼风有星
2 年前
truedevxinericwang

【RQ2：大型语言模型在医疗诊断中的可靠性如何，从一般问题到专业诊断问题？
结果显示，顶级模型如GPT-4V和Gemini Pro在专业诊断问题上的表现比随机选择还差，突显了其显著的局限性。即使是像LLaVA-Med这样的模型在一般问题上也很挣扎。(5/N)】
2
31
  • 复制链接
  • 举报
下一条：
我们真的能在像医学影像诊断这样的关键领域信任AI吗？不能，而且它们的表现甚至比随机更糟。我们最新的研究《比随机更差？对大规模多模态模型在医学问答中的简单探索性评估》揭示了最先进模型如GPT-4V和Gemini Pro在医学问答任务中的显著局限性。🏥📚主要发现：🔍 通过对抗对的简单而有效的探索揭示了模型性能的关键差距。🏥 我们提出了用于医学诊断的探测评估（ProbMed）数据集，通过探测评估和程序性诊断来严格评估大规模多模态模型在医学影像中的表现。🩺 顶尖模型如GPT-4V和Gemini Pro在专业诊断问题上的表现比随机猜测还要差。像LLaVA-Med这样的模型甚至在更一般的问题上也表现不佳。查看完整论文以获取所有细节！🔗 网站: https://jackie-2000.github.io/probmed.github.io/📄 论文: https://arxiv.org/abs/2405.20421🤖 数据: https://huggingface.co/datasets/rippleripple/ProbMed向我自豪的一年级博士生@什么斯坦以及所有合作者@秀气一拽 @霸王龙可乐致敬！🧵（1/N）