2022年9月27日，騰訊 AI Lab 姚建華等人在在 Nature 子刊 Nature Machine Intelligence 上發(fā)表了題為：scBERT as a Large-scale Pretrained Deep Language Model for Cell Type Annotation of Single-cell RNA-seq Data（基于大規(guī)模預訓練語言模型的單細胞轉(zhuǎn)錄組細胞類型注釋算法）的研究論文。

該研究創(chuàng)新性地提出關(guān)于單細胞注釋的 scBERT 算法模型，實現(xiàn)了高解釋性、高泛化性、高穩(wěn)定性的單細胞類型注釋技術(shù)。這項研究成果對于單細胞轉(zhuǎn)錄組測序數(shù)據(jù)分析領(lǐng)域未來研究具有深遠意義。

Nature Machine Intelligence 是計算機科學、人工智能領(lǐng)域期刊中影響因子最高的頂級期刊（IF=25.898），只關(guān)注對該領(lǐng)域具有重要影響的科研成果。因其嚴格的評審標準，每年收錄論文數(shù)量平均僅60篇左右。

該論文首次提出「基于大規(guī)模預訓練語言模型的單細胞轉(zhuǎn)錄組細胞類型注釋算法」，即「scBERT」模型，首次將「transformer」（自然語言處理算法經(jīng)典計算單元）運用到單細胞轉(zhuǎn)錄組測序數(shù)據(jù)分析領(lǐng)域。該模型基于BERT范式，將細胞中基因的表達信息轉(zhuǎn)化成可被計算機理解、學習的「語言」，并對細胞進行精準標注。

為了保證全基因組內(nèi)基因級別的可解釋性，「scBERT」在預訓練數(shù)據(jù)上沒有做任何的降維或篩選處理，最大程度上保留數(shù)據(jù)本身的特性和信息。此外，該模型復用了大規(guī)模的公開數(shù)據(jù)集，包含不同實驗來源、批次和組織類型的單細胞數(shù)據(jù)，以保證模型能學習到更為「通用」的知識，精準捕獲單個基因的表達信息及兩兩基因之間的作用關(guān)系。

從結(jié)果上來看，「scBERT」模型實現(xiàn)了高解釋性、高泛化性、高穩(wěn)定性的單細胞類型注釋技術(shù)。截至目前，通過了9個獨立數(shù)據(jù)集、超過50萬個細胞、覆蓋17種主要人體器官和主流測序技術(shù)組成的大規(guī)模benchmarking測試數(shù)據(jù)集上，該算法模型的優(yōu)越性均得以驗證。其中，在極具挑戰(zhàn)的外周血細胞亞型細分任務上，相較現(xiàn)有最優(yōu)方法的70%準確度提升了7%。

在應用價值層面，該項技術(shù)能給細胞中的每個基因都印上專屬「身份證」，可用于臨床單細胞測序數(shù)據(jù)，并輔助醫(yī)生描述準確的腫瘤微環(huán)境、檢測出微量癌細胞，從而實現(xiàn)個性化治療方案或者癌癥早篩。同時，對疾病致病機制分析、耐藥性、藥物靶點發(fā)現(xiàn)、預后分析、免疫療法設計等領(lǐng)域都具有極其重要的作用。

騰訊 AI Lab 是騰訊的企業(yè)級 AI 實驗室，于2016年4月在深圳成立。實驗室強調(diào)研究與應用并重發(fā)展?；A研究關(guān)注機器學習、計算機視覺、語音技術(shù)及自然語言處理等四大方向；技術(shù)應用聚焦在游戲、數(shù)字人、內(nèi)容、社交四大領(lǐng)域，并初探 AI 在工業(yè)、農(nóng)業(yè)、醫(yī)療、醫(yī)藥、生命科學等領(lǐng)域的研究應用。

此前，騰訊 AI Lab 團隊科研成果曾多次登上 Nature Communications、ACL-IJCNLP 等國際權(quán)威學術(shù)期刊。未來，騰訊會繼續(xù)基于自身先進 AI 技術(shù)的積累，與下游臨床、制藥和生命科學基礎研究領(lǐng)域進行密切合作，為行業(yè)貢獻更多價值。