汎用LLMで整形外科の文献選別を評価、専門家同士の一致度に近い結果

Sakamoto氏らの研究グループは、汎用の大規模言語モデル（LLM）9種類について、医学知識と整形外科の研究文献を選別する性能を比較しました。文献選別では、上位モデルと専門家の判断の一致度が、専門家同士の一致度に近い値でした。論文はSpine Surgery and Related Researchに掲載されています。

比較したモデルと課題

対象は、2025年12月時点のモデルです。OpenAIのGPT-5、GPT-5-mini、GPT-5-nano、GoogleのGemini 2.5 Pro、Flash、Flash-Lite、AnthropicのClaude Opus 4.5、Sonnet 4.5、Haiku 4.5を比較しました。

研究グループは、米国の医師国家試験形式の問題集MedQA-USMLEの1,273問と、既報の整形外科メタ解析で使われた文献384件を用意しました。後者では、メタ解析に採用する候補文献の一次選別を再現しています。同じ自動処理の手順を使い、決められた形式で回答させました。

知識問題と文献選別の成績

MedQA-USMLEの正答率は、GPT-5が94.27%でした。Gemini 2.5 Proは93.40%、Claude Opus 4.5は90.26%です。この課題は知識問題への回答を測ったもので、実際の患者を診療した成績ではありません。

文献選別の判断の一致度を表すκ係数は、Claude Opus 4.5が0.8881、GPT-5が0.8805でした。比較の基準となる専門家2人の間のκ係数は0.8951です。κ係数は偶然の一致を差し引いた指標で、1に近いほど判断がよく一致します。

研究グループは、モデルが回答に付けた確信度についても調べ、人による確認を組み合わせた二段階の選別に使える傾向があると報告しました。ただし、要旨には、確信度を使った手順の作業時間や見逃しの削減量は示されていません。

結果の適用範囲

文献選別の検証は、1件の整形外科メタ解析に限られます。別の診療科や採用基準でも同じ成績になるかは分かりません。専門家同士に近い数値であっても、人とAIが同等と証明した試験ではありません。

また、この論文のスクリーニングは研究文献の選別です。患者の診断や疾患の早期発見に関するスクリーニング性能は評価していません。

研究メモ

既存の問題と文献を使ったモデルの検証研究です。公開要旨を確認しました。資金提供と利益相反の詳細は、要旨では確認できません。

出典

1. [1]
   論文：Sakamoto et al. Performance Evaluation of the Latest General-Purpose Large Language Models in Medical Reasoning and Clinical Screening Tasks
2. [2]
   データベース：PubMed 公開要旨

※画像はGPT Image 2.5で生成したイメージです。