7月9日，在由中國計算機學(xué)會（CCF）主辦，雷鋒網(wǎng)、香港中文大學(xué)（深圳）聯(lián)合承辦的CCF-GAIR 全球人工智能與機器人峰會的第三天，在未來醫(yī)療專場上，田捷博士做了“基于醫(yī)療大數(shù)據(jù)和人工智能的影像組學(xué)及其應(yīng)用”的主題演講。

　　田捷博士，是中國科學(xué)院自動化研究所研究員、Fellow of IEEE，SPIE，IAMBE，AIMBE，IAPR。其主要從事醫(yī)學(xué)影像分析與生物特征識別的研究和應(yīng)用的工作。田捷博士的很多學(xué)術(shù)論文、研究成果，均可見自國內(nèi)外的各學(xué)術(shù)雜志和學(xué)術(shù)會議上，學(xué)術(shù)論文達上百篇。

　　以下是田捷博士當(dāng)日的演講全文，雷鋒網(wǎng)（公眾號：雷鋒網(wǎng)）做了不改變原意的編輯：

　　田捷：今天我演講的題目是“基于醫(yī)療大數(shù)據(jù)和人工智能的影像組學(xué)及其應(yīng)用”。切合主題，本次演講的重點將圍繞醫(yī)療大數(shù)據(jù)、大數(shù)據(jù)技術(shù)和人工智能、影像組學(xué)來展開。我們希望將這些技術(shù)應(yīng)用在臨床上，因為不是基礎(chǔ)研究的，而是走向臨床的，所以我舉的都是臨床的例子。

　　以國內(nèi)外臨床專家為主開發(fā)，說明影像組學(xué)和人工智能以及大數(shù)據(jù)，對風(fēng)投和產(chǎn)業(yè)界來說都感興趣，這不是看哪個技術(shù)和算法，關(guān)鍵是看產(chǎn)生什么樣的效果。下面我會著重從應(yīng)用的角度來講它的進展，技術(shù)和方法和應(yīng)用。

　　今天我的演講將主要圍繞以下四個大點來展開：

　　·  影像組學(xué)研究背景

　　·  影像組學(xué)研究進展

　　·  影像組學(xué)關(guān)鍵技術(shù)

　　·  影像組學(xué)發(fā)展方向

　　一、影像組學(xué)研究背景

　　1、人工智能技術(shù)正突飛猛進

　　人工智能技術(shù)現(xiàn)在通過圍棋得到非常直觀的普及，但是計算機下圍棋并不意味著計算機就可以看病，所以醫(yī)療在這一塊仍舊充滿挑戰(zhàn)性問題。

　　2、人工智能技術(shù)在醫(yī)療領(lǐng)域得到應(yīng)用

　　不過，計算機人工智能技術(shù)在醫(yī)療上也得到一些應(yīng)用，像深度學(xué)習(xí)在疾病的診斷以及愈后等等，都有一些典型的應(yīng)用。如：

　　·  2015年，北卡羅來納大學(xué)提出利用深度學(xué)習(xí)分割腦MR圖像的方法；

　　·  2016年，Google發(fā)布一項學(xué)術(shù)報告，稱人工智能糖網(wǎng)病診斷精度可用于臨床；

　　·  2017年，斯坦福大學(xué)在Nature上發(fā)布一項研究報告，表明人工智能皮膚癌診斷精度已達專家水平。

　　除此之外，國外大公司也紛紛介入AI醫(yī)療。

　　·  2014年，微軟利用Intelligence Engine剖析健康數(shù)據(jù)，為患者就診和意外急診做準備。

　　·  2015年，IBM分析醫(yī)學(xué)文獻和病患診療記錄，為患者提供高質(zhì)量、循證行個體化的診療方案。

　　·  2016年，Google下屬DeepMind Health建立健康風(fēng)險警告系統(tǒng)，借助移動終端推送健康風(fēng)險警告，并及時通知醫(yī)生。

　　3、醫(yī)療數(shù)據(jù)正急劇增長

　　無論是微軟、IBM還是谷歌，他們在AI以及醫(yī)療的深度介入，都為大家打開了另一扇大門——正是因為這些大企業(yè)的介入才使得AI和醫(yī)療在臨床上的應(yīng)用取得突破和規(guī)?；膽?yīng)用。

　　說到醫(yī)療大數(shù)據(jù)，大家最熟悉的可能是影像數(shù)據(jù)，因為其格式標準，容易獲取和使用。但是醫(yī)療大數(shù)據(jù)不僅限于影像，還包括病理、臨床治療信息等，只有將這些信息融合在一起，我們才能建模，并解決AI醫(yī)療的真正應(yīng)用問題。

　　4、影像組學(xué)助力智能醫(yī)療

　　既然題目講影像組學(xué)，我先給大家解釋一下影像組學(xué)的概念。

　　影像組學(xué)的概念真正提出來是2012年。當(dāng)時它剛提出來時只是針對CT數(shù)據(jù)，把它用組學(xué)的方法進行分析。后續(xù)則將數(shù)據(jù)從CT擴展到磁共振、超聲等，涉及到多影像。

　　自2012年概念提出以后，影像祖學(xué)的概念到2014年得到進一步延伸，走向臨床。影像組學(xué)從研究走向臨床，典型代表就是2014年這篇文章。

　　從流程看，影像組學(xué)就是從醫(yī)療大數(shù)據(jù)中提取數(shù)據(jù)，利用AI方法挖掘腫瘤信息，實現(xiàn)臨床輔助決策。這個流程和日常醫(yī)生讀片的過程是一致的，醫(yī)生讀片是先有影像數(shù)據(jù)，然后用人眼提取它的形狀特征，這個過程我們稱之為診斷意見。

　　這是一個典型的模式識別、圖象處理的機器讀取的過程，先由影像數(shù)據(jù)提取特征，分析建模，給出分類決策。所以整個過程由計算機做影像識別，人在做診斷相互配合來完成。如果讓計算機讀取高維信息，人讀機構(gòu)信息，毫無疑問，AI輔助醫(yī)生讀片，就能達到“1+1＞2”的效果。

　　總結(jié)而言，大數(shù)據(jù)和AI和影像組學(xué)的結(jié)合，主要有以下三個方面的應(yīng)用。

　　·  輔助診斷

　　·  療效評估

　　·  預(yù)后預(yù)測

　　目前，到底哪一種方法治療癌癥的效果更好，其實就可以基于大數(shù)據(jù)和AI給出預(yù)測評估。這樣看病就能實現(xiàn)個性化、智能化，才能把過去望、聞、問、切，變成現(xiàn)在的智能醫(yī)療。就現(xiàn)階段而言，智能醫(yī)療主要是基于大數(shù)據(jù)、影像組學(xué)和人工智能技術(shù)達到輔助診斷、療效評估和預(yù)后預(yù)測的效果。

　　5、以腫瘤為例——癌癥診療面臨重大挑戰(zhàn)

　　今天以腫瘤為例，我將借此來說明AI、大數(shù)據(jù)和影像組學(xué)在腫瘤方面的三個應(yīng)用。

　　腫瘤的應(yīng)用挑戰(zhàn)主要看如上這張圖，這是美國NIH總結(jié)的。1960年-2012年，52年中有200多萬的樣本大數(shù)據(jù)。不同顏色的線代表不同的腫瘤，縱坐標是5年生成。

　　52年來，盡管NIH每年投入的研發(fā)經(jīng)費是300億美元，美國人每年看病要花掉4萬億，但腫瘤5年生存率依然時間是一條直線。什么意思？就是人財兩空。

　　作為對比，這個NIH數(shù)據(jù)特別有說服力。紅色這條線，指的是艾滋病的5年生存率，艾滋原先是號稱血液中的癌癥，早期死亡率很高，但有了有效措施之后，其有效生存率直線上升。

　　但是對腫瘤來說，還缺乏一些新技術(shù)和新方法，這個技術(shù)是有可能取得突破的。當(dāng)然，目前只是期望值，下面會舉一些例子。

　　6、癌癥精準診療的新機遇

　　現(xiàn)在大家都在談AI熱、AlphaGo熱，其實還是要看AI大數(shù)據(jù)在影像組學(xué)的診療過程中到底解決了什么問題。事實上，現(xiàn)在的影像技術(shù)看到的都是5mm之上的腫瘤，廠商可能忽悠能看到3mm，但臨床大夫知道只能看到5mm以上。而這些都是腫瘤的中晚期才會有的癥狀。

　　這也是為什么NIH花上百億做研發(fā)，美國人花了4萬億，藥廠出了那么多藥，不能說無效但是效果不明顯的原因。所以，現(xiàn)在也有在談精準醫(yī)學(xué)、基因檢測等概念。10年前，就有人開始談?wù)摶驒z測，在其貢獻下，雖然我們不能防止有病，但能保命?？墒?，從上張圖片來看，五年生存率依然還很低。

　　在診療過程中我們發(fā)現(xiàn)，基因異常未必會形成腫瘤，這中間有5-20年的潛伏期。如果能在診斷醫(yī)療的過程中，運用到新技術(shù)和新手段，可能會對腫瘤診療起到關(guān)鍵作用。

　　現(xiàn)階段而言，基因異常其實已經(jīng)有一系列的方法來檢測，但不意味著能看病。在這個空檔期，如果能用AI大數(shù)據(jù)、影像組學(xué)來研究、描述和量化，就很有可能大大提高五年生存率。

　　所以這也恰恰是影像組學(xué)的切入點——融合臨床基因影像大數(shù)據(jù)的信息，把影像往前移，基因往后移，這樣就能更準確的觀察、診斷疾病的發(fā)生和發(fā)展。這不僅是影像組學(xué)的切入點，也是AI在臨床上的切入點。

　　現(xiàn)在的影像技術(shù)是從宏觀到微觀，先有結(jié)構(gòu)影像再到功能影像、分子影像，它的精標準正好是基因病理。而從基礎(chǔ)研究來說，恰恰是從微端到宏觀，當(dāng)在基因組、蛋白組、代謝組都搞不定的時候，又回到生物醫(yī)學(xué)，使用解剖結(jié)構(gòu)。所以一個是從微觀到宏觀，另一個則是從宏觀到微觀，如果將二者結(jié)合到一起，就有可能進行腫瘤的診療。這也是整個影像組學(xué)的切入點。

　　下面通過一些例子說明影像組學(xué)、大數(shù)據(jù)和人工智能，在療效評估、輔助診斷、預(yù)后預(yù)測方面，國內(nèi)外的進展。在這塊我要很自豪的說，國內(nèi)經(jīng)過改革開放三十年，大量科研經(jīng)費的投入，醫(yī)生的努力，醫(yī)工的結(jié)合，在技術(shù)上、方法上、效果上，跟國外是同步的，甚至某些方法比國外略有超前。從這點上說，也給VC和企業(yè)家?guī)頇C遇。

　　二、影像組學(xué)進展概述

　　下面，我將從影像組學(xué)在國內(nèi)外的具體應(yīng)用案例，來談?wù)勂湓谳o助診斷、療效評估和預(yù)后預(yù)測的效果。

　　輔助診斷案例

　　案例一：膠質(zhì)母細胞瘤亞型診斷

　　第一個例子，是膠質(zhì)母細胞瘤亞型診斷。

　　一般來說，如果要做靶向治療，醫(yī)生需要通過穿刺、活檢等過程來得到病人的基因類型，但是這一過程由于涉及腦袋穿刺，風(fēng)險很大。所以，醫(yī)療界大家就在探討說能不能不用穿刺，拍片來解決。可能有人會覺得天方夜譚，但是斯坦福大學(xué)做到了。

　　他們根據(jù)AI技術(shù)將其分類為高風(fēng)險、中風(fēng)險、低風(fēng)險，并將其和生存期掛鉤，通過美國TCCI數(shù)據(jù)庫做檢索，就能知道基因類型是什么，從而以此為依據(jù)決定用哪種靶向藥。這在臨床上非常有用，因為整個過程無需穿刺，只是根據(jù)磁共振數(shù)據(jù)推斷基因類型來確定靶向治療。

　　案例二：術(shù)前結(jié)直腸癌淋巴結(jié)轉(zhuǎn)移診斷

　　剛才的案例大家可能會覺得太高大上，而國內(nèi)醫(yī)生能不能做到這些工作呢？

　　下面我想介紹廣東省人民醫(yī)院劉教授團隊此前在權(quán)威醫(yī)學(xué)雜志《Journal of Clinical Oncology》發(fā)表的文章。暫且不談這篇文章的學(xué)術(shù)成就，我們先來看它的臨床意義，非常重大。因為AI技術(shù)只有跟臨床掛鉤才有價值，經(jīng)過企業(yè)家的轉(zhuǎn)化才能變成生產(chǎn)力。

　　一般來說，醫(yī)生在治療結(jié)直腸癌的時候，會對淋巴進行盲目清掃，而清掃的結(jié)果會使70%的淋巴不會轉(zhuǎn)移。為什么大夫要清掃呢？因為如果不清掃，淋巴轉(zhuǎn)移的會更快。事實上，國內(nèi)外的醫(yī)生都會采取這種措施。

　　那么，這個問題該如何解決？

　　如果看CT片，我們只能看到機構(gòu)信息，其反映的信息很小，只能得到百分之二三十的概率，切掉以后70%是陰性，被誤切了。如果用人工智能的方法，根據(jù)500余例的臨床病理和影像數(shù)據(jù)，提取特征，建模分析后，前端數(shù)據(jù)預(yù)測的準確率可以達到正的70%。

　　換句話說，醫(yī)生在做手術(shù)之前可以有70%的把握告訴病人要不要選擇做淋巴清掃，可以把過去的誤清掃從70%降低到30%。所以這也是這篇文章能在頂級權(quán)威雜志上發(fā)表的原因。

　　案例三：皮膚癌類別精準診斷

　　再來看一個大數(shù)據(jù)的典型應(yīng)用。大家應(yīng)該也知道，現(xiàn)在皮膚癌發(fā)病率非常高。那么，怎么利用AI診斷正確的皮膚癌？

　　在此，該案例使用了13萬張皮膚癌的照片來做建模，其中2000張是有病理且含精標準的。值得注意的是，這個建模里邊的大數(shù)據(jù)力量。

　　如上圖所示，該訓(xùn)練模型使用了Google的遷移學(xué)習(xí)技術(shù)，其對128萬張圖像進行了訓(xùn)練，加上剛才13萬張皮膚癌的照片，以及醫(yī)生的經(jīng)驗和其他醫(yī)療信息的量化，可以解決兩個臨床問題：

　　·  粗分類做腫瘤的良惡性

　　·  細分類做黑色素瘤篩查

　　然而，人腦是不可能記住這么多張病理圖像的，但是計算機可以，從而能夠有效的輔助診斷。

　　療效評估案例

　　我們再來看療效評估的案例。美國每年花4萬億美元研究新技術(shù)、新方法，但腫瘤的診斷并沒有取得很好的效果，所以我們需要對不同腫瘤的療效進行評估。

　　案例：直腸癌新輔助放化療效果評估

　　這個案例還是結(jié)直腸癌。其實包括乳腺癌，很多人會做新輔助化療。但有的人做得有效，有的人做得無效。對醫(yī)院來說，有效無效都得交錢。但對病人來說，不光是錢，身體還要受到很大的傷害。所以，業(yè)界也在思考，能不能利用AI大數(shù)據(jù)進行分析，在病人做放化療之前就判斷，該治療對其有沒有效果。

　　在這個案例中，其實數(shù)據(jù)量并不大，只有48例。在這些直腸癌患者經(jīng)過新輔助放化療之后，經(jīng)過多模態(tài)磁共振形成成像數(shù)據(jù)，在其基礎(chǔ)上提取多模態(tài)影像特征，利用人工神經(jīng)網(wǎng)絡(luò)方法建立模型，最后結(jié)果表明，該方法效果很好，實現(xiàn)了直腸癌新輔助放化療效果的定量化精準評估。

　　預(yù)后預(yù)測，這個在國家越來越重視。什么每一個看病的都會問這個問題，醫(yī)生只是憑著經(jīng)驗和人腦建模，憑著有限的存儲量給出預(yù)測。像我們通常說回家該吃什么吃什么，大概三個月或者半年。這個經(jīng)驗肯定是不能夠的?，F(xiàn)在看用人工智能、機器學(xué)習(xí)能做到大數(shù)據(jù)，這個數(shù)據(jù)，一千個病人提取600多個特征進行定量分析。這個建模的過程，跟日常圖片和做圖片處理的過程完成一致。先分割、特征提取，給出預(yù)后預(yù)測。這個文章的主要作者就是代表，我們要真正做組學(xué)，包括做企業(yè)轉(zhuǎn)化、投資，還是要以臨床問題為主，要看看解決的臨床問題是什么。這是一個典型預(yù)后預(yù)測的例子。

　　預(yù)后預(yù)測案例

　　現(xiàn)階段，預(yù)后預(yù)測在國內(nèi)越來越受重視。每一個看病的病人也都會去問醫(yī)生這個問題，然而，醫(yī)生只能憑借他人腦建模的經(jīng)驗，在有限的存儲量來給出預(yù)測。所以，如果用AI大數(shù)據(jù)、機器學(xué)習(xí)，能達到什么樣的預(yù)后預(yù)測效果？

　　案例一：肺癌頭頸癌預(yù)后預(yù)測

　　該案例中，如圖所示，在1000余例肺癌和頭頸癌患者中，我們提取了病理和影像數(shù)據(jù)，再根據(jù)強度形狀紋理小波等特征建立標簽，進行了定量分析。應(yīng)用效果表明，影像組學(xué)標簽具有顯著的預(yù)后價值，并與基因顯著相關(guān)。

　　影像組學(xué)通過融合影像、基因和病理特征建立影像組學(xué)標簽，揭示了影像與患者的預(yù)后聯(lián)系。

　　案例二：肺癌無進展生存期預(yù)測

　　經(jīng)過臨床經(jīng)驗，我們還發(fā)現(xiàn)，傳統(tǒng)臨床方法對NSCLC患者無病生存期的預(yù)測效果非常有限。于是，在此其中，利用AI大數(shù)據(jù)，我們在282例規(guī)范完整的早期非小細胞肺癌患者里邊提取了CT數(shù)據(jù)，利用LASSO Cox回歸方法提取關(guān)鍵的影像特征，以此構(gòu)建預(yù)測模型。

　　事實上，在該案例中，運用了前文提及的廣東省人民醫(yī)院劉教授與中科院自動化合作的研究成果——非小細胞肺癌生存預(yù)測。經(jīng)過應(yīng)用后，我們發(fā)現(xiàn)，影像組學(xué)特征相比傳統(tǒng)方法能夠更好地預(yù)測無病生存期。

　　案例三：晚期鼻咽癌的預(yù)后預(yù)測

　　此外，對病人來說可以給出精準預(yù)測的，還有鼻煙癌生存期預(yù)測。

　　針對臨床指標對晚期鼻咽癌的放療后預(yù)測精度低的現(xiàn)狀，我們對118例晚期鼻咽癌T1和DCE MR圖像做了超過3年時間的隨訪，并結(jié)合970個影像組學(xué)特征，和臨床病理信息進行分析，在此有效預(yù)測該類患者的預(yù)后，準確度超臨床指標的10%。

　　三、影像組學(xué)的關(guān)鍵技術(shù)

　　剛才我講的是臨床效果在輔助診斷、療效評估和預(yù)后預(yù)測的案例工作，然而如果要談人工智能和影像組學(xué)就必定離不開技術(shù)。所以我把技術(shù)簡單梳理一下。

　　面對系列臨床問題，影像組學(xué)采用深度機器學(xué)習(xí)等方法進行分析研究以實現(xiàn)臨床輔助決策。而人工智能在醫(yī)療層面的技術(shù)應(yīng)用，主要是圖像分割、腫瘤分割，然后提取特征，特征越多越好，提取特征之后再進行篩選。用計算機的話說就是降維，用影像組學(xué)的話說就是選擇關(guān)鍵特征。在此基礎(chǔ)上再選擇影像學(xué)的標簽來達到效果。比如腫瘤分析或者預(yù)后分析或者輔助診斷。降維、特征提取、分割，都可以用時髦的人工智能新技術(shù)。但個人認為，在此過程中不是技術(shù)驅(qū)動而是問題驅(qū)動。

　　精準腫瘤分割技術(shù)

　　分割，一般可能需要醫(yī)生先進行勾畫，然后可以用機器學(xué)習(xí)的方法進行半自動或者全自動的分工，這個分工效果也可以達到主治醫(yī)生的水平，一系列方法不展開說，其他還包括肺癌等等。

　　對計算機處理來說，以高位特征為主，很多數(shù)量化的不適合人眼加工，但適合計算機加工，計算機加工才能產(chǎn)生效果，達到輔助診斷的效果。

　　特征降維技術(shù)

　　對腫瘤來說，往往體現(xiàn)數(shù)千個特征，然后再利用機器對其進行降維。在這其中，共有四類主要特征降維方法：

　　·  稀疏選擇

　　·  空間映射

　　·  神經(jīng)網(wǎng)絡(luò)

　　·  遞歸排除

　　模型構(gòu)建技術(shù)

　　與此同時，針對具體臨床問題，業(yè)界還采用建立計算機定量影像特征與所研究臨床研究問題標簽之間的分類模型。主要運用了兩類模型：

　　·  SVM模型：從影像大數(shù)據(jù)原始像素出發(fā)，提取高維手工設(shè)計特征并進行特征選擇，構(gòu)建影像特征與臨床問題的分類模型。

　　·  CNN模型：在影像大數(shù)據(jù)的原始像素的基礎(chǔ)上，該模型可自主挖掘與臨床問題相關(guān)的影像組學(xué)特征，構(gòu)建影像特征與臨床問題的分類模型。

　　這些模型構(gòu)建的選擇，跟我們的問題相關(guān)。如果問題提煉到位、具體模型才能起作用。其在包括分類的方法，像良性分類，也能取得好的效果，并且產(chǎn)生有商業(yè)意義的效果。

　　模型的可視化技術(shù)

　　此外，還有一個重要的過程，也是臨床上的需求需要的，叫模型的可視化。對醫(yī)生來說，特別是外科大夫和內(nèi)科大夫很忙，影像師可以給他們看片子。不能說我們算出來什么結(jié)果給他舉證或者數(shù)字，要把模型變成可視化統(tǒng)計分析的直觀圖。這樣對大夫來說看圖識字，就知道病人到什么期，該吃什么藥換什么藥，更簡潔直觀。如圖所示，這四個步驟是影像學(xué)技術(shù)發(fā)展最主要的環(huán)節(jié)。

　　四、影像組學(xué)的發(fā)展方向

　　最后來看影像組學(xué)關(guān)鍵技術(shù)的發(fā)展趨勢，資源平臺、輔助診斷系統(tǒng)、共享平臺。真正要實現(xiàn)臨床應(yīng)用，要多病種、多模態(tài)、多中心、多參數(shù)的數(shù)據(jù)融合。這里面有一個矛盾，數(shù)據(jù)收集和清晰都具有挑戰(zhàn)性。我們對病理信息、治療信息、預(yù)后信息的收集還是有挑戰(zhàn)性的。在跟醫(yī)院合作過程中，以及這四五年收集的數(shù)據(jù)，如乳腺癌、肝癌、胃癌、肺癌超過美國TCGA數(shù)據(jù)庫，我們也積累了很多的經(jīng)驗。

　　總的來說，有了數(shù)據(jù)還不行，得有算法平臺，像剛才講的分割部分，在后面還有介紹算法平臺和集成平臺。目前我們正在跟廣東省人民醫(yī)院劉教授建立影像組學(xué)共享平臺，希望大家把用過的影像和模型、軟件上傳，建立大家開發(fā)共享的平臺，可以獲取數(shù)據(jù)、模型，可以使用免費的軟件，然后開展這方面的研究。當(dāng)然，只是為研究服務(wù)。我建議公司也可以放上去，先讓他們用起來。這四個環(huán)節(jié)融合在一起才有意義，包括數(shù)據(jù)上傳、模型上傳、軟件測試。

　　現(xiàn)在我們需要更多人工智能和大數(shù)據(jù)在醫(yī)療問題上的典型應(yīng)用，來拉動產(chǎn)業(yè)，拉動人工智能進一步深度應(yīng)用。這是相輔相成的，空喊方法，不形成規(guī)模化、典型應(yīng)用，是解決不了問題的。只有得到外科、內(nèi)科大夫承認的技術(shù)和臨床應(yīng)用，才能更加有意義。