中國信通院開展醫(yī)療健康大模型效能評估工作
2024/10/10 21:05 來源:中國新聞網 閱讀:1.4萬
中新網北京10月10日電 (記者 劉育英)記者10日從中國信息通信研究院了解到,今年6月來,中國信通院選取多款通用大模型和醫(yī)療健康行業(yè)大模型開展效能評估工作,,結果顯示,通用大模型在醫(yī)學知識廣度方面具有一定優(yōu)勢,,醫(yī)療健康行業(yè)大模型在特定醫(yī)療任務上表現優(yōu)異。
據了解,中國信息通信研究院聯合產學研用醫(yī)各方,共同搭建醫(yī)療健康行業(yè)大模型標準體系,,已形成技術要求,、測試方法及成熟度評估三大系列,。同時,中國信通院依托系列標準,,為多家技術廠商提供醫(yī)療健康大模型的能力符合性驗證,,持續(xù)完善評價細則,提升標準實用性和適用性,,助力行業(yè)大模型規(guī)范化,、集約化發(fā)展。
2024年6月起,,中國信通院選取GPT4,、GPT-4O等國外通用大模型,文心一言,、通義千問,、混元和智譜清言ChatGLM等國內通用大模型,靈醫(yī)Bot,、夸克健康助手,、訊飛星火醫(yī)療大模型和華佗GPT II等醫(yī)療健康行業(yè)大模型展開效能評估,考察大模型在多學科知識問答,、多形式語言理解,、多場景文書生成、多環(huán)節(jié)輔助診療,、多輪對話交互,、多模態(tài)支持等六大方向的實際應用效能。
結果顯示,,通用大模型在醫(yī)學知識廣度方面具有一定優(yōu)勢,,醫(yī)療健康行業(yè)大模型在特定醫(yī)療任務上表現優(yōu)異。以訊飛星火醫(yī)療大模型為例,,其在個人畫像,、健康干預方案,、病歷文書生成及質控、檢驗檢查報告解讀,、體檢報告單解讀,、藥盒解讀等細分任務中表現均處于領先,在健康常識,、疾病百科,、用藥知識、電子病歷結構化,、專業(yè)知識生活化等方向上均展現高度專業(yè)性,。
下一步,中國信通院將繼續(xù)聯合醫(yī)療機構,、科研院所,、技術廠商等各界力量,結合動態(tài)效能評價工作經驗,,持續(xù)推進醫(yī)療健康行業(yè)大模型成熟度系列標準研制,,建立針對不同醫(yī)療任務的大模型成熟度評價細則,確保標準貼合實際應用需求,,促進能力提升和應用落地,。(完)