小児感染症の症例質問でLLMの回答を評価、モデル間に有意差なし

Aykac氏らの研究グループは、小児感染症の症例質問に対するLLMの回答を比較し、評価領域ごとの得点にモデル間の統計的な有意差はみられなかったと報告しました。論文はPediatric Researchに掲載されています。

対象は、ChatGPT-5、DeepSeek-V3.2-Exp、Gemini 2.5 Flashです。医療者が記述した12の症例シナリオについて、原因、臨床所見、診断、治療、合併症の5項目を自由回答で尋ねました。小児感染症の専門医2人が、それぞれ回答を採点しています。

ChatGPT-5は領域ごとの10点満点の評価ですべて10.0点でした。DeepSeekは診断9.83点、治療9.92点、Geminiは診断9.75点、治療8.83点でした。ただし、領域ごとの比較はいずれもp値が0.05を超えています。正確性、網羅性、安全性のモデル別の比較にも有意差はありませんでした。

症例シナリオは12件で、有意差がないことからモデルが同等とは言えません。 ここでの安全性は回答を専門医が採点したもので、患者の有害事象を測ったものではありません。

研究メモ

模擬症例の回答を比較した評価研究で、公開要旨を確認しました。資金提供と利益相反の詳細は、要旨では確認できません。

出典

1. [1]
   論文：Aykac et al. Performance of large language models in pediatric infectious disease education: a multi-condition comparative study
2. [2]
   データベース：PubMed 公開要旨

※画像はGPT Image 2.5で生成したイメージです。