更新を受け取る

海外

「AIなら副作用も自動で拾える」は本当か　1,048件でGPT-4oの限界が見えた

文：AI回診 編集部

カルテの自由記述から薬の副作用を拾うタスク。AIにできれば医療安全は変わるが、1,048件を試した結果、GPT-4oのF1は0.524だった。アレルギーとの混同も残る。

夜の病棟に下がる点滴バッグ（イメージ）

画像：GPT Image 2.5で生成。

この記事の3ポイント

  • 1,048件の診療記録で、LLMが薬の副作用を拾えるかを検証
  • GPT-4oのF1は0.524（取りこぼしと誤検出のバランスを1つにした指標）。GPT-4o-miniの0.381を上回ったが、臨床でそのまま使える水準ではない
  • アレルギーと副作用の混同が残り、薬剤師・医師の確認が前提になる

AIにカルテを読ませれば、薬の副作用をもれなく拾える。 そんな期待に、いったん待ったをかける数字が出た。GPT-4oのF1スコアは0.524。人が確認する手間をなくせる水準には、まだ届いていない。

まず、F1って何だ？

F1は、AIの「取りこぼしの少なさ」と「誤検出の少なさ」を、1つの数字にまとめた指標だ。1.0が満点で、0.5は「まだ半分」というざっくりした目安になる。

もう少し具体的に見る。AIが「副作用」と指摘したもののうち、本当に副作用だった割合と、本当の副作用のうちAIが拾えた割合。F1は、この2つのバランスを1つにしたものだ。

F1の読み方。AIが指摘した12件のうち8件が正しく、本当の副作用10件のうち8件を拾えた場合の例

図：説明用の例。AIの指摘が当たった割合は 8/12 = 0.67、本当の副作用を拾えた割合は 8/10 = 0.80、F1は約0.73。

F1が高い＝臨床で使える、ではない。 どのくらいの取りこぼしなら許容できるかは、用途で変わる。副作用の見落としが重大な場面では、F1が同じでも「拾えた割合」を優先する設計が要る。

なぜ「カルテの文章」をAIに読ませるのか

薬の副作用は、検査値や請求データだけでは見つからないことが多い。カルテには、「薬を変えてから吐き気が出た」「飲み始めてから皮疹が出た」 といった記述が残る。こうした文章は、これまで人の目で拾うしかなかった。

副作用の記録が自由記述に偏っていると、重大な有害事象を取りこぼす。見落としは、次の処方の判断にも影響する。カルテの文章をLLMで読み、薬剤名と副作用の関係を候補として出す。この研究は、その最初の一歩を測った。

1,048件でわかった「拾えるけど、足りない」

研究グループは、2018年のn2c2 ADEデータセット（入院、505件）と、2018年10月から2019年12月までの外来受診（2,555件）の診療記録を使った。地元のテスト分割1,048件と、n2c2のテストセット202件で、GPT-4o、GPT-4o-mini、Llama 3.2-3Bなどを比べている。

1,048件のうち450件（42.9%）に、少なくとも1つの副作用が書かれていた。n2c2のテストセットでは、202件のうち155件（76.7%）に副作用があった。つまり、テストデータの4割から7割に副作用が含まれている。拾えれば、それだけ価値がある。

結果は、GPT-4oが最もよく拾い、F1は0.524。GPT-4o-miniの0.381を上回った。GPT-4oは、AIの指摘が当たる割合と、本当の副作用を拾える割合のバランスがよく、明示的な記述だけでなく、複雑な文脈の副作用も拾えた。人手評価でも、GPT-4oは完全一致の割合が高く、誤りが少なかった。

GPT-4oとGPT-4o-miniのF1スコア比較

図：論文の報告値から作成。F1は、AIの指摘が当たった割合と、本当の副作用を拾えた割合のバランスを1つにした指標で、1に近いほどよい。

GPT-4oのF1は、GPT-4o-miniの約1.4倍。同じモデル系列でも、汎用モデルと軽量モデルでこれだけ差が出る。

GPT-4oが間違えたのは、アレルギーと「治療の目的」

GPT-4oが間違えたのは、単純な読み落としだけではない。既存のアレルギーを副作用と誤って分類したり、治療の目的と副作用を取り違えたりする例が残った。

アレルギーは「過去にその薬で反応した」記録で、副作用は「今回の薬で起きた有害事象」だ。似ているが、意味は違う。治療の目的は「何のために使ったか」で、副作用は「何が起きたか」。文脈を読まないと、同じ文から別の意味を取ってしまう。

この混同は、モデルの性能だけでは解決しない。カルテの記載が簡潔だったり、薬剤名が略号だったりすると、判断はさらに難しくなる。「AIが拾った候補を、人がどう確認するか」 が次の課題になる。

見分けが難しいアレルギーと副作用を、2本の薬瓶で表したイメージ

画像：GPT Image 2.5で生成（イメージ）。

それでも現場で使うなら、AIの後ろに人を置く

F1 0.524は、使い物にならない数字ではない。 人が全部読めない量のカルテから、副作用の候補を上位に出す用途なら現実味がある。薬剤師や医師が確認する前提で、「見る順番を変える」 使い方だ。

AIが候補を出し、薬剤師・医師が確認する流れ

図：AIは候補出しまで。確定は人が行う。

ただし、研究は後ろ向きで、外来データはニューイングランドの1つの学術医療センターに限られる。入院側も公開データセットで、施設や記載の作法が変わったときの性能は分からない。日本語のカルテで同じ精度が出るかも、別に確かめる必要がある。

まとめ：AIは「見つける」のではなく「候補を出す」

AIはカルテの副作用を「見つける」のではなく、「見つける候補を出す」。 F1 0.52という数字は、その現在地をよく表している。人の確認をなくすのではなく、人の目を向ける先を絞る。医療AIの現実的な使い方は、しばらくそこにある。

研究メモ：EBioMedicineに2026年10月17日付で公開。資金提供はなし。利益相反は論文に開示されている。

出典

  1. [1]
  2. [2]

※画像はGPT Image 2.5で生成したイメージです。