由企業(yè)大模型專家、AI算法工程師、醫(yī)院信息部門和臨床醫(yī)生組建聯(lián)合研發(fā)團隊，在醫(yī)院場景中直接開發(fā)、測試和應用大模型，實施研發(fā)應用一體化策略，加速大模型落地應用�；�于多模態(tài)影像、通用文本、病歷文書等語料，構建醫(yī)療影像-文本大模型和醫(yī)療文本大模型。前者突破傳統(tǒng)AI影像的單病種、單器官的研發(fā)范式，充分利用大語言模型的文本理解能力，自動挖掘醫(yī)學影像和診斷報告的相關性，實現(xiàn)大規(guī)模數(shù)據(jù)快速標注，融合語言生成和圖像處理兩種技術，構建圖文混合模態(tài)的生成大模型，從醫(yī)學影像直接生成診斷報告，實現(xiàn)一掃多查。后者通過學習大量專業(yè)語料和臨床病歷，輔助醫(yī)生書寫病歷和進行質(zhì)控，減輕醫(yī)生工作量，提升書寫質(zhì)量和效率。

當前，醫(yī)學影像AI已有不少落地場景，但大部分長于計算分析，尚不能直接產(chǎn)生報告，且對每個應用都要訓練特定模型，訓練時需要人工/半人工標注數(shù)據(jù)，標注工作耗時費力。因此，能夠快速自動標注數(shù)據(jù)、實現(xiàn)多病同查、直接生成最終報告的影像AI更為符合臨床需要。

結構化、內(nèi)容完整、數(shù)據(jù)準確、撰寫及時的高質(zhì)量病歷是醫(yī)療安全和質(zhì)量的重要保證，涉及醫(yī)保支付和醫(yī)院評價。完整病歷包括入院記錄、首程記錄、鑒別診斷、手術計劃、執(zhí)行手術、手術記錄、出院記錄、術后隨訪等豐富內(nèi)容，需要醫(yī)生記錄客觀數(shù)據(jù)并進行大量推理，大大增加了醫(yī)生負擔。病歷質(zhì)控、結構化和輔助信息推斷臨床需求較大。

本項目主要基于自研的影智醫(yī)療大模型，直接采用“研發(fā)應用一體化”策略，組建由大模型專家、信息部門、算法工程師和臨床專家的混合團隊，在復旦大學附屬中山醫(yī)院內(nèi)開展模型的訓練、測試和應用。一是在影像科，開發(fā)落地醫(yī)療影像-文本大模型產(chǎn)品，突破傳統(tǒng)的醫(yī)療影像AI模型的研發(fā)范式，實現(xiàn)從影像到完整報告的自動生成。二是在臨床科室（心外和呼吸內(nèi)科），開發(fā)落地醫(yī)療文本大模型產(chǎn)品，實現(xiàn)臨床輔助診斷和電子病歷輔助結構化書寫。

醫(yī)生根據(jù)影像書寫報告的過程本質(zhì)就是對影像進行專業(yè)的文本描述，我們基于這一點設計“圖像-文本大模型”�！皥D像-文本大模型”具有顯著的優(yōu)勢，不僅可以充分利用大語言模型LLM的語言理解能力，自動挖掘文本報告和醫(yī)學影像內(nèi)容的相關性，跳過繁瑣的精細標注步驟，還可以打破單病種/單器官逐一攻克的研發(fā)范式，同時學習到多種器官、病灶的影像特征。

在中山醫(yī)院影像科的開發(fā)工作中，我們重點針對冠狀動脈CT血管造影 (CCTA)、乳腺鉬靶（FFDM)、胸部CT、腦部MR等多模態(tài)影像數(shù)據(jù)進行自動分析，目標是基于病人信息和醫(yī)學影像快速生成放射影像報告。目前已經(jīng)實現(xiàn)第一步目標——開發(fā)出一種通用的醫(yī)學圖像分割大模型gMIS，該大模型可以只使用少量新樣本，就能快速拓展到新的器官或者病灶，如在大模型學習腎動脈血管分割任務時，僅需10個腎動脈訓練數(shù)據(jù)就可以達到傳統(tǒng)小模型需要使用200+個數(shù)據(jù)才能達到的性能水平，顯著提升了醫(yī)療AI的研發(fā)效率。

影智文本大模型是基于100B token的中英文醫(yī)學語料庫訓練而成，涵蓋醫(yī)學論文、教科書和診斷指南，確保了模型的專業(yè)性和準確性。該模型能根據(jù)住院病人的病歷記錄和醫(yī)患對話信息，自動生成患者住院期間全流程不同階段的結構化病歷，如首次病程錄、手術記錄、單病種上報文件及出院小結等。同時，模型還能根據(jù)病史輔助生成診斷建議，供醫(yī)生選擇使用。此外，醫(yī)生可利用本模型輕松完成臨床文本數(shù)據(jù)的導入與管理。該產(chǎn)品在嚴格標準下的診斷準確率已達80%以上。在推理階段，模型的處理速度高達50 token/s，USMLE 考試分數(shù)為74分（超過ChatGPT3.5得分），表明其專業(yè)水平符合醫(yī)療執(zhí)業(yè)標準。此外，我們整合了RAG（檢索增強的生成）技術，使模型在生成文本時能進行動態(tài)檢索，提高生成內(nèi)容的準確性和相關性，進一步提升醫(yī)療文本處理的效率和質(zhì)量。

我們的模型能夠在影像分析中自動完成復雜的數(shù)據(jù)處理，顯著提升工作效率，減輕醫(yī)務人員負擔。此外，通過提供輔助診斷功能，模型能夠為醫(yī)生提供準確的診斷建議，幫助他們更快更精準地作出決策，從而提高醫(yī)療服務質(zhì)量。

目前影智大模型已經(jīng)在中山醫(yī)院的幾個科室落地使用。未來將通過知識服務收費和個人知識庫嵌入為醫(yī)生提供一個平臺，使其能夠根據(jù)個人需求進行自主創(chuàng)新，同時利用用戶反饋進行模型的持續(xù)迭代。除了通過入院模式與醫(yī)院進行合作外，也基于移動APP平臺，吸引普通用戶和醫(yī)生用戶參與。此外，我們也在構建算力生態(tài)和語料生態(tài)，以支持模型的廣泛應用和持續(xù)發(fā)展。

本項目形成的技術可以平移到其他醫(yī)院，從而構建一個開放和持續(xù)進步的商業(yè)模式。