圖為研究團隊的方法和現有技術的比較。Flan-PaLM540B模型在MedQA，MedMCQA和PubMedQA數據集上均超過了以往最先進的SOTA，每列上方顯示的是準確率百分比。圖片來源：《自然》
科技日報記者?張夢然
你在網上搜過“我哪哪疼是不是得了啥啥病”嗎？答案可能不盡如人意。但隨著ChatGPT等大型自然語言模型（LLM）風生水起，人們開始嘗試用它來回答醫(yī)學問題或醫(yī)學知識。
不過，靠譜嗎？
就其本身而言，人工智能（AI）給出的答案是準確的。但英國巴斯大學教授詹姆斯·達文波特指出了醫(yī)學問題和實際行醫(yī)之間的區(qū)別，他認為“行醫(yī)并不只是回答醫(yī)學問題，如果純粹是回答醫(yī)學問題，我們就不需要教學醫(yī)院，醫(yī)生也不需要在學術課程之后接受多年的培訓了?！?/p>
鑒于種種疑惑，在《自然》雜志新近發(fā)表的一篇論文中，全球頂尖的人工智能專家們展示了一個基準，用于評估大型自然語言模型能多好地解決人們的醫(yī)學問題。
現有的模型尚不完善
最新的這項評估，來自谷歌研究院和深度思維公司。專家們認為，人工智能模型在醫(yī)學領域有許多潛力，包括知識檢索和支持臨床決策。但現有的模型尚不完善，例如可能會編造令人信服的醫(yī)療錯誤信息，或納入偏見加劇健康不平等。因此才需要對其臨床知識進行評估。
相關的評估此前并非沒有。然而，過去通常依賴有限基準的自動化評估，例如個別醫(yī)療測試得分。這轉化到真實世界中，可靠性和價值都有欠缺。
而且，當人們轉向互聯網獲取醫(yī)療信息時，他們會遭遇“信息超載”，然后從10種可能的診斷中選擇出最壞的一種，從而承受很多不必要的壓力。
研究團隊希望語言模型能提供簡短的專家意見，不帶偏見、表明其引用來源，并合理表達出不確定性。
5400億參數的LLM表現如何
為評估LLM編碼臨床知識的能力，谷歌研究院的專家希庫費·阿孜孜及其同事探討了它們回答醫(yī)學問題的能力。團隊提出了一個基準，稱為“MultiMedQA”：它結合了6個涵蓋專業(yè)醫(yī)療、研究和消費者查詢的現有問題回答數據集以及“HealthSearchQA”——這是一個新的數據集，包含3173個在線搜索的醫(yī)學問題。
團隊隨后評估了PaLM（一個5400億參數的LLM）及其變體Flan-PaLM。他們發(fā)現，在一些數據集中Flan-PaLM達到了最先進水平。在整合美國醫(yī)師執(zhí)照考試類問題的MedQA數據集中，Flan-PaLM超過此前最先進的LLM達17%。
不過，雖然Flan-PaLM的多選題成績優(yōu)良，進一步評估顯示，它在回答消費者的醫(yī)療問題方面存在差距。
專精醫(yī)學的LLM令人鼓舞
為解決這一問題，人工智能專家們使用一種稱為設計指令微調的方式，進一步調試Flan-PaLM適應醫(yī)學領域。同時，研究人員介紹了一個專精醫(yī)學領域的LLM——Med-PaLM。
設計指令微調是讓通用LLM適用新的專業(yè)領域的一種有效方法。產生的模型Med-PaLM在試行評估中表現令人鼓舞。例如，Flan-PaLM被一組醫(yī)師評分與科學共識一致程度僅61.9%的長回答，Med-PaLM的回答評分為92.6%，相當于醫(yī)師作出的回答（92.9%）。同樣，Flan-PaLM有29.7%的回答被評為可能導致有害結果，Med-PaLM僅5.8%，相當于醫(yī)師所作的回答（6.5%）。
研究團隊提到，結果雖然很有前景，但有必要作進一步評估，特別是在涉及安全性、公平性和偏見方面。
換句話說，在LLM的臨床應用可行之前，還有許多限制要克服。