站長(zhǎng)之家 8月5日 消息:盡管人工智能（AI）系統(tǒng)取得了重大進(jìn)展，但大多數(shù)現(xiàn)有的最先進(jìn)(SOTA)系統(tǒng)都是單模態(tài)單任務(wù)系統(tǒng)，這對(duì)開(kāi)發(fā)醫(yī)療人工智能系統(tǒng)提出了挑戰(zhàn)，因?yàn)獒t(yī)療任務(wù)本質(zhì)上是多模態(tài)且模式豐富 涵蓋文本、成像、基因組學(xué)等。
為了彌補(bǔ)這一差距，在一篇新論文《Towards Generalist Biomedical AI》中，來(lái)自 Google Research 和 Google DeepMind 的研究團(tuán)隊(duì)提出了 Med-PaLM Multimodal （Med-PaLM M），這是一種大型多模態(tài)生成模型，可以處理多模態(tài)生物醫(yī)學(xué)數(shù)據(jù)，包括臨床數(shù)據(jù) 語(yǔ)言、成像和基因組學(xué)使用一組模型權(quán)重，無(wú)需任何特定于任務(wù)的修改。
該團(tuán)隊(duì)將他們的主要貢獻(xiàn)總結(jié)如下:
MultiMedBench 的管理我們推出了 MultiMedBench，這是一種新的多模式生物醫(yī)學(xué)基準(zhǔn)，涵蓋醫(yī)學(xué)成像、臨床文本和基因組學(xué)等多種模式，具有14項(xiàng)不同的任務(wù)，用于訓(xùn)練和評(píng)估通用生物醫(yī)學(xué) AI 系統(tǒng)。
Med-PaLM M，通用生物醫(yī)學(xué)人工智能系統(tǒng)的首次演示我們推出 Med-PaLM M，這是一個(gè)單一多任務(wù)、多模式生物醫(yī)學(xué)人工智能系統(tǒng)，可以執(zhí)行醫(yī)學(xué)圖像分類、醫(yī)學(xué)問(wèn)答、視覺(jué)問(wèn)答、放射學(xué)報(bào)告生成和總結(jié)、 基因組變異調(diào)用，以及更多具有相同模型權(quán)重的集合。
Med-PaLM M 中新穎的新興能力的證據(jù) 除了任務(wù)績(jī)效的定量評(píng)估之外，我們還觀察到零樣本醫(yī)學(xué)推理、新醫(yī)學(xué)概念和任務(wù)的泛化以及跨任務(wù)的積極遷移的證據(jù)。
Med-PaLM M 輸出的人工評(píng)估 除了自動(dòng)化指標(biāo)之外，我們還對(duì) Med-PaLM M 跨不同模型尺度生成的胸部 X 射線報(bào)告進(jìn)行放射科醫(yī)生評(píng)估。
該團(tuán)隊(duì)首先提出了 MultiMedBench，解決缺乏全面的多模態(tài)醫(yī)療基準(zhǔn)的問(wèn)題，這是一種多模態(tài)生物醫(yī)學(xué)基準(zhǔn)，涵蓋廣泛的多模態(tài)數(shù)據(jù)源，用于衡量通用生物醫(yī)學(xué)人工智能處理從視覺(jué)問(wèn)題到各種醫(yī)療任務(wù)的能力 應(yīng)答、報(bào)告生成、醫(yī)學(xué)圖像分類等。
接下來(lái)，研究人員利用 MultiMedBench 通過(guò)微調(diào) PaLM-E 模型并將其與生物醫(yī)學(xué)領(lǐng)域?qū)R來(lái)開(kāi)發(fā) Med-PaLM M。 通用生物醫(yī)學(xué)人工智能模型將多模式醫(yī)療數(shù)據(jù)作為輸入，同時(shí)使用一組模型參數(shù)對(duì)其進(jìn)行處理，并且能夠執(zhí)行多項(xiàng)任務(wù)。
更具體地說(shuō)，該團(tuán)隊(duì)通過(guò)使用指令調(diào)整同時(shí)使用不同任務(wù)的混合來(lái)訓(xùn)練模型，添加純文本的“一次性示例”以使模型與指令保持一致，并微調(diào) PaLM 的預(yù)訓(xùn)練變體 E 在 MultiMedBench 任務(wù)上獲得生成的 Med-PaLM M 模型。
在他們的實(shí)證研究中，評(píng)估了 Med-PaLM M 在 MultiMedBench 中的所有任務(wù)。 Med-PaLM M 在所有任務(wù)上都表現(xiàn)接近或超過(guò)基線的 SOTA，同時(shí)還表現(xiàn)出強(qiáng)大的零樣本泛化能力。
據(jù)團(tuán)隊(duì)所知，Med-PaLM M是通用生物醫(yī)學(xué)人工智能系統(tǒng)的首次嘗試，團(tuán)隊(duì)相信他們的工作代表了通用生物醫(yī)學(xué)人工智能發(fā)展的關(guān)鍵一步。