為何此次發(fā)布的不是注冊技術(shù)指導(dǎo)原則，而是審評要點？

表1 軟件設(shè)計開發(fā)過程

具體參考法規(guī)：

• 《醫(yī)療器械軟件注冊技術(shù)審查指導(dǎo)原則》

• 《醫(yī)療器械生產(chǎn)質(zhì)量管理規(guī)范附錄獨立軟件》（征求意見稿）

原文：

深度學(xué)習(xí)實為基于海量數(shù)據(jù)和高算力的黑盒算法，本審評要點重點關(guān)注軟件的數(shù)據(jù)質(zhì)量控制、算法泛化能力、臨床使用風(fēng)險。臨床使用風(fēng)險應(yīng)當(dāng)考慮數(shù)據(jù)質(zhì)量控制、算法泛化能力的直接影響，以及算力所用計算資源（即運(yùn)行環(huán)境）失效的間接影響。

解讀：                                                                                                                            摘自《深度學(xué)習(xí)，AI醫(yī)療器械“學(xué)然后知不足”》--彭亮，只有在數(shù)據(jù)質(zhì)量控制、算法泛化能力以及臨床使用風(fēng)險等方面扎實做好工作，才能保證深度學(xué)習(xí)醫(yī)療器械的安全性和有效性。

原文：

軟件風(fēng)險管理活動應(yīng)當(dāng)基于軟件的預(yù)期用途（目標(biāo)疾病、臨床用途、重要程度、緊迫程度）、使用場景（適用人群、目標(biāo)用戶、使用場所、臨床流程）、核心功能（處理對象、功能類型）予以實施，并貫穿于軟件全生命周期過程。軟件臨床使用風(fēng)險主要包括假陰性和假陽性，其中假陰性即漏診，可能導(dǎo)致后續(xù)診療活動延誤，特別是要考慮快速進(jìn)展疾病的診療活動延誤風(fēng)險；假陽性即誤診，可能導(dǎo)致后續(xù)不必要的診療活動（過度醫(yī)療風(fēng)險）。進(jìn)口軟件除考慮假陽性和假陰性風(fēng)險外，還應(yīng)當(dāng)考慮中外人種、流行病學(xué)特征、臨床診療規(guī)范等方面差異的影響及其風(fēng)險。應(yīng)當(dāng)采取充分的、適宜的、有效的風(fēng)險控制措施以保證軟件的安全性和有效性。

解讀：

首先，軟件風(fēng)險管理活動應(yīng)貫穿于軟件全生命周期過程，因此我們先明確軟件生命周期過程：

l  軟件開發(fā)過程：軟件開發(fā)策劃、軟件需求分析、軟件結(jié)構(gòu)設(shè)計、軟件詳細(xì)設(shè)計、軟件單元的實施和驗證、軟件集成和集成測試、軟件系統(tǒng)測試、軟件發(fā)布

l  軟件維護(hù)過程：軟件維護(hù)計劃、問題和修改分析、修改和實施

其次，應(yīng)在需求分析階段要明確軟件的預(yù)期用途、使用場景、核心功能的具體需求。

最后，在軟件生命周期全過程識別所有的可預(yù)見風(fēng)險，并對識別的風(fēng)險進(jìn)行風(fēng)險分析、風(fēng)險評價及風(fēng)險控制。包括假陰性和假陽性的風(fēng)險。如是進(jìn)口軟件，還應(yīng)該考慮中外人種、流行病學(xué)特征、臨床診療規(guī)范等方面的差異影響。

具體執(zhí)行可參考標(biāo)準(zhǔn)：

• 《YY/T 0664-2008 醫(yī)療器械軟件生存周期過程》

• 《YY/T 0316-2016 醫(yī)療器械風(fēng)險管理對醫(yī)療器械的應(yīng)用》

• 《YY/T 1406.1 2016 醫(yī)療器械軟件第1部份YY/T 0316應(yīng)用于醫(yī)療器械軟件的指南》

（一）需求分析

原文：

需求分析應(yīng)當(dāng)以軟件的臨床需求與使用風(fēng)險為導(dǎo)向，結(jié)合軟件的預(yù)期用途、使用場景和核心功能，綜合考慮法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等需求，重點考慮數(shù)據(jù)收集、算法性能、臨床使用限制等方面要求。

數(shù)據(jù)收集應(yīng)當(dāng)考慮數(shù)據(jù)來源的合規(guī)性和多樣性、目標(biāo)疾病流行病學(xué)特征、數(shù)據(jù)質(zhì)量控制要求（詳見下節(jié)）。數(shù)據(jù)來源應(yīng)當(dāng)在合規(guī)性基礎(chǔ)上盡可能來自多家、不同層級的臨床機(jī)構(gòu)，以保證數(shù)據(jù)多樣性，提高算法泛化能力。目標(biāo)疾病流行病學(xué)特征包括但不限于疾病構(gòu)成（如分型、分級、分期）、人群分布（如健康、患者，性別、年齡、職業(yè)、地域、生活方式）、統(tǒng)計指標(biāo)（如發(fā)病率、患病率、治愈率、生存率）等情況，以及目標(biāo)疾病并發(fā)癥與類似疾病的影響情況。

算法性能應(yīng)當(dāng)考慮假陰性與假陽性（指標(biāo)、關(guān)系）、重復(fù)性與再現(xiàn)性、魯棒性/健壯性等要求。

臨床使用限制應(yīng)當(dāng)考慮臨床禁用、慎用等場景。

解讀：

• 在研發(fā)過程的需求分析階段，應(yīng)包括以下方面：

• 常規(guī)需求：法規(guī)、標(biāo)準(zhǔn)、用戶、產(chǎn)品、數(shù)據(jù)、功能、性能、接口、用戶界面、網(wǎng)絡(luò)安全、警示提示等

• 數(shù)據(jù)收集：目標(biāo)疾病流行病學(xué)特征，如疾病構(gòu)成、人群分布、統(tǒng)計指標(biāo)等；

• 算法性能：假陽性與假陰性指標(biāo)、重復(fù)性與再現(xiàn)性、魯棒性/健壯性

• 臨床使用限制：臨床禁用、慎用等使用場景（即適用范圍）

輸出文件：《軟件需求規(guī)格書》

• 數(shù)據(jù)來源要求：

• 合規(guī)性：來自于臨床醫(yī)療機(jī)構(gòu)，并通過機(jī)構(gòu)的倫理審查

• 多樣性：臨床機(jī)構(gòu)盡可能多家、不同層級

• 需求分析即是質(zhì)量管理體系研發(fā)過程中的設(shè)計輸入階段，需求分析的各項輸入應(yīng)與設(shè)計輸出內(nèi)容須保持一致，設(shè)計輸出如：《技術(shù)要求》、《產(chǎn)品說明書》。

（二）數(shù)據(jù)收集

原文：

數(shù)據(jù)收集應(yīng)當(dāng)考慮數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建等活動的質(zhì)控要求，以保證數(shù)據(jù)質(zhì)量和算法設(shè)計質(zhì)量。

解讀：

• 數(shù)據(jù)收集應(yīng)從質(zhì)量管理體系的人、機(jī)、料、法、環(huán)的要求進(jìn)行質(zhì)量控制，（見圖1 質(zhì)量管理理論用于AI數(shù)據(jù)收集的質(zhì)控）。因環(huán)境對軟件研發(fā)過程的影響較小，暫不過多描述。

• 數(shù)據(jù)收集階段包括：

• 數(shù)據(jù)采集

• 數(shù)據(jù)預(yù)處理

• 數(shù)據(jù)標(biāo)注

• 數(shù)據(jù)集構(gòu)建：訓(xùn)練集、調(diào)優(yōu)集、測試集

圖1 質(zhì)量管理理論用于AI數(shù)據(jù)收集的質(zhì)控

2.1數(shù)據(jù)采集

原文：

數(shù)據(jù)采集主要由臨床機(jī)構(gòu)實施，應(yīng)當(dāng)考慮采集設(shè)備、采集過程以及數(shù)據(jù)脫敏的質(zhì)控要求。

采集設(shè)備質(zhì)控應(yīng)當(dāng)明確采集設(shè)備的兼容性要求和采集要求。兼容性要求應(yīng)當(dāng)基于數(shù)據(jù)生成方式（直接生成、間接生成）提供采集設(shè)備兼容性列表，明確采集設(shè)備的制造商、型號規(guī)格、性能指標(biāo)等要求，若對采集設(shè)備無具體要求應(yīng)當(dāng)提供相應(yīng)支持資料。采集要求應(yīng)當(dāng)明確采集設(shè)備的采集方式（如常規(guī)成像、增強(qiáng)成像）、采集協(xié)議（如MRI成像序列）、采集參數(shù)（如CT加載電壓、加載電流、加載時間、層厚）、采集精度（如分辨率、采樣率）等要求。

采集過程質(zhì)控應(yīng)當(dāng)建立數(shù)據(jù)采集操作規(guī)范，明確采集人員要求和采集過程要求。采集人員要求包括人員的選拔、培訓(xùn)、考核。采集過程要求包括人員職責(zé)、采集流程（如采集步驟、操作要求）。

若使用現(xiàn)有歷史數(shù)據(jù)，應(yīng)當(dāng)明確采集設(shè)備要求、數(shù)據(jù)采集質(zhì)量評估要求（如人員、方法、指標(biāo)、通過準(zhǔn)則）。

采集的數(shù)據(jù)應(yīng)當(dāng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私。數(shù)據(jù)脫敏應(yīng)當(dāng)明確脫敏的類型（靜態(tài)、動態(tài)）、規(guī)則、程度、方法。

解讀：

圖2 數(shù)據(jù)采集過程的人機(jī)料法示意圖

數(shù)據(jù)采集過程應(yīng)輸出《數(shù)據(jù)采集操作規(guī)范》，文件應(yīng)包括以下內(nèi)容

• 人員要求：人員的選拔、培訓(xùn)、考核；

• 采集過程要求：人員職責(zé)、采集流程（如采集步驟、操作要求）；

• 設(shè)備要求：

-          兼容性要求：采集設(shè)備的制造商、型號規(guī)格、性能指標(biāo)等要求；

-          采集要求：采集方式 、采集協(xié)議、采集參數(shù)、采集精度

• 數(shù)據(jù)脫敏規(guī)則：脫敏的類型（靜態(tài)、動態(tài)）、規(guī)則、程度、方法。

• 數(shù)據(jù)采集、脫敏由臨床機(jī)構(gòu)實施；

• 臨床機(jī)構(gòu)應(yīng)做好數(shù)據(jù)的可溯源性。

2.2 數(shù)據(jù)預(yù)處理

原文：

脫敏數(shù)據(jù)由臨床機(jī)構(gòu)轉(zhuǎn)移至生產(chǎn)企業(yè)形成原始數(shù)據(jù)庫，不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中應(yīng)當(dāng)加以區(qū)分（下同）。

數(shù)據(jù)預(yù)處理應(yīng)當(dāng)基于原始數(shù)據(jù)庫考慮數(shù)據(jù)處理、數(shù)據(jù)清洗的質(zhì)控要求。數(shù)據(jù)處理應(yīng)當(dāng)明確處理的方法，如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化等。數(shù)據(jù)清洗應(yīng)當(dāng)明確清洗的規(guī)則、方法。

數(shù)據(jù)處理和清洗應(yīng)當(dāng)明確選用軟件工具的名稱、型號規(guī)格、完整版本、供應(yīng)商、運(yùn)行環(huán)境、確認(rèn)等要求，同時考慮數(shù)據(jù)處理選用方法對軟件的影響及其風(fēng)險。

數(shù)據(jù)經(jīng)預(yù)處理后形成基礎(chǔ)數(shù)據(jù)庫，應(yīng)當(dāng)明確樣本類型、樣本量、樣本分布等信息。樣本類型以適用人群為單位可分為數(shù)據(jù)序列（由多個數(shù)據(jù)組成，如結(jié)構(gòu)序列、功能序列）、數(shù)據(jù)。樣本量應(yīng)當(dāng)明確樣本規(guī)模及確定依據(jù)，需要考慮樣本量不足對軟件的影響及其風(fēng)險。樣本分布應(yīng)當(dāng)依據(jù)疾病構(gòu)成、適用人群、數(shù)據(jù)來源機(jī)構(gòu)、采集設(shè)備、樣本類型等因素明確數(shù)據(jù)分布情況，需要考慮數(shù)據(jù)偏性對軟件的影響及其風(fēng)險。

解讀：

3 數(shù)據(jù)預(yù)處理過程的人機(jī)料法示意圖

• 數(shù)據(jù)預(yù)過程建議輸出《數(shù)據(jù)預(yù)處理操作規(guī)程》，文件應(yīng)包括以下內(nèi)容：

• 數(shù)據(jù)處理：方法，如濾波、增強(qiáng)、重采樣、尺寸裁剪、均一化

• 數(shù)據(jù)清洗：規(guī)則、方法

• 預(yù)處理的工具要求：軟件工具名稱、型號規(guī)格、完整版本、供應(yīng)商、運(yùn)行環(huán)境

• 基礎(chǔ)數(shù)據(jù)庫要求：樣本類型、樣本量、樣本分布

• 依據(jù)《數(shù)據(jù)預(yù)處理操作規(guī)程》的要求，應(yīng)輸出數(shù)據(jù)預(yù)處理記錄、預(yù)處理工具確認(rèn)記錄、基礎(chǔ)數(shù)據(jù)庫等記錄文件。

• 風(fēng)險分析

• 識別樣本量不足對軟件的影響及其風(fēng)險

• 數(shù)據(jù)偏性對軟件的影響及其風(fēng)險

2.3 數(shù)據(jù)標(biāo)注

原文：

數(shù)據(jù)標(biāo)注應(yīng)當(dāng)考慮標(biāo)注資源管理、標(biāo)注過程質(zhì)控、標(biāo)注質(zhì)量評估等要求。

標(biāo)注資源管理包括人員管理和基礎(chǔ)設(shè)施管理。人員管理應(yīng)當(dāng)明確標(biāo)注人員和仲裁人員的選拔（如職稱、工作年限、工作經(jīng)驗、所在機(jī)構(gòu)，若有國外人員應(yīng)當(dāng)明確其資質(zhì)要求）、培訓(xùn)、考核（如方法、頻次、指標(biāo)、通過準(zhǔn)則，其中指標(biāo)應(yīng)當(dāng)包括重復(fù)性、再現(xiàn)性）等要求。

基礎(chǔ)設(shè)施管理應(yīng)當(dāng)明確標(biāo)注場所（真實或模擬，環(huán)境、照明條件）、標(biāo)注軟件（名稱、型號規(guī)格、完整版本、供應(yīng)商、運(yùn)行環(huán)境、確認(rèn)）等要求。

標(biāo)注過程質(zhì)控應(yīng)當(dāng)建立數(shù)據(jù)標(biāo)注操作規(guī)范，明確標(biāo)注人員（如資質(zhì)、數(shù)量、職責(zé)）、標(biāo)注流程（如標(biāo)注對象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、操作要求）、臨床診療規(guī)范（如臨床指南、專家共識）、分歧處理（如仲裁人員、仲裁方式）、可追溯性（如數(shù)據(jù)、操作）等要求。

數(shù)據(jù)經(jīng)標(biāo)注后形成標(biāo)注數(shù)據(jù)庫，其樣本類型可分為數(shù)據(jù)序列、數(shù)據(jù)（由多個數(shù)據(jù)塊組成）、數(shù)據(jù)塊（如圖像區(qū)域、數(shù)據(jù)片段）。樣本量、樣本分布等要求及風(fēng)險考量與基礎(chǔ)數(shù)據(jù)庫相同。

解讀：

4  數(shù)據(jù)標(biāo)注過程的人機(jī)料法示意圖

• 數(shù)據(jù)標(biāo)注應(yīng)輸出《數(shù)據(jù)標(biāo)注操作規(guī)范》，文件應(yīng)包括以下內(nèi)容：

• 人員要求：標(biāo)注人員和仲裁人員資質(zhì)要求（如職稱、工作年限、工作經(jīng)驗、所在機(jī)構(gòu)，若有國外人員應(yīng)當(dāng)明確其資質(zhì)要求）

• 培訓(xùn)考核要求：如方法、頻次、指標(biāo)、通過準(zhǔn)則，其中指標(biāo)應(yīng)當(dāng)包括重復(fù)性、再現(xiàn)性等要求

• 標(biāo)注過程要求：標(biāo)注對象、標(biāo)注形式、標(biāo)注輪次、標(biāo)注步驟、操作要求

• 分歧處理：仲裁人員、仲裁方式

• 臨床診療規(guī)范：臨床指南、專家共識

• 可追溯性要求：數(shù)據(jù)的可追溯性、操作流程的可追溯性

• 環(huán)境要求：標(biāo)注場所（真實或模擬，環(huán)境、照明條件）

• 標(biāo)注工具要求：名稱、型號規(guī)格、完整版本、供應(yīng)商、運(yùn)行環(huán)境、確認(rèn)

• 標(biāo)注數(shù)據(jù)庫：樣本類型、樣本量、樣本分布

• 依據(jù)《數(shù)據(jù)標(biāo)注操作規(guī)范》的要求，應(yīng)輸出：

• 人員檔案：標(biāo)注和仲裁人員資質(zhì)資料

• 培訓(xùn)記錄：培訓(xùn)教材、培訓(xùn)記錄、考核記錄、標(biāo)注準(zhǔn)則

• 標(biāo)注記錄：具體到每位標(biāo)注人員每張圖片的標(biāo)注記錄、仲裁記錄

• 標(biāo)注工具確認(rèn)記錄

• 做好標(biāo)注過程的追溯性工作，確定追溯范圍、追溯標(biāo)識、追溯程度。

2.4 數(shù)據(jù)集構(gòu)建

原文：

基于標(biāo)注數(shù)據(jù)庫構(gòu)建訓(xùn)練集（用于算法訓(xùn)練）、調(diào)優(yōu)集（若有，用于算法超參數(shù)調(diào)優(yōu)）、測試集（用于算法性能評估），明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性，測試集、調(diào)優(yōu)集應(yīng)當(dāng)保證樣本分布符合臨床實際情況，訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)當(dāng)兩兩無交集。

基于標(biāo)注數(shù)據(jù)庫構(gòu)建訓(xùn)練集（用于算法訓(xùn)練）、調(diào)優(yōu)集（若有，用于算法超參數(shù)調(diào)優(yōu)）、測試集（用于算法性能評估），明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。訓(xùn)練集應(yīng)當(dāng)保證樣本分布具有均衡性，測試集、調(diào)優(yōu)集應(yīng)當(dāng)保證樣本分布符合臨床實際情況，訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本應(yīng)當(dāng)兩兩無交集。

為解決數(shù)據(jù)樣本分布不均衡問題，可對訓(xùn)練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進(jìn)行擴(kuò)增；測試集不宜進(jìn)行數(shù)據(jù)擴(kuò)增，若擴(kuò)增應(yīng)當(dāng)分析對軟件的影響及其風(fēng)險。數(shù)據(jù)擴(kuò)增應(yīng)當(dāng)明確擴(kuò)增的方式（離線、在線）、方法（如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、濾波等）、倍數(shù)，并考慮擴(kuò)增方法選用以及擴(kuò)增倍數(shù)過大對軟件的影響及其風(fēng)險。

數(shù)據(jù)經(jīng)擴(kuò)增后形成擴(kuò)增數(shù)據(jù)庫，應(yīng)當(dāng)列表對比擴(kuò)增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫在樣本量、樣本分布（注明擴(kuò)增倍數(shù)）等方面的差異，以證實擴(kuò)增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

解讀：

5  數(shù)據(jù)集構(gòu)建過程的人機(jī)料法示意圖

• 數(shù)據(jù)集構(gòu)建建議輸出《數(shù)據(jù)集構(gòu)建規(guī)范》，文件應(yīng)包括以下內(nèi)容：

• 訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例

• 數(shù)據(jù)擴(kuò)增方式和方法：離線、在線、翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、濾波、倍數(shù)

• 依據(jù)《數(shù)據(jù)預(yù)處理操作規(guī)程》的要求，應(yīng)輸出訓(xùn)練集、調(diào)優(yōu)集、測試集清單等記錄文件。

• 各數(shù)據(jù)集樣本不能混用

• 訓(xùn)練集：用于算法訓(xùn)練，保證樣本分布均衡

• 調(diào)優(yōu)集（若有）：用于算法超參數(shù)調(diào)優(yōu)，符合臨床實際情況

• 測試集：用于算法性能評估，符合臨床實際情況

• 訓(xùn)練集、調(diào)優(yōu)集可擴(kuò)增，并輸出擴(kuò)增集，測試集不可擴(kuò)增。依據(jù)擴(kuò)增集，輸出《擴(kuò)增集樣本差異表》

• 風(fēng)險分析：識別擴(kuò)增方法選用以及擴(kuò)增倍數(shù)過大對軟件的影響及其風(fēng)險

基于以上幾點解讀，企業(yè)應(yīng)建立一套完善的軟件設(shè)計開發(fā)質(zhì)量管理體系，才能將數(shù)據(jù)來源、數(shù)據(jù)收集過程、各過程人員的資質(zhì)及培訓(xùn)要求、軟件工具確認(rèn)要求、以及過程中相應(yīng)的風(fēng)險識別評估等方面進(jìn)行全過程的質(zhì)量控制，確保AI醫(yī)療器械軟件產(chǎn)品的安全性和有效性，每個研發(fā)過程相輔相成，缺一不可。

《未完待續(xù)》

用2018年的美酒斟滿你的壺觴

干了這杯時光，讓你忘了所有憂傷

用2019年的佳釀注滿你的杯盞

飲了這杯醉酣

祝你未來宏圖大展

德大先給您拜年了

送上新年賀禮一份

   醫(yī)療器械臨床試驗在國家的推動下大力發(fā)展，醫(yī)械人對臨床實驗相關(guān)知識的需求逐漸增加，為了讓大家能有更多的學(xué)習(xí)機(jī)會，常州醫(yī)療器械產(chǎn)業(yè)研究院、常州創(chuàng)客咖啡科技服務(wù)有限公司、廣州九泰藥械技術(shù)有限公司、蘇州德大企業(yè)管理咨詢有限公司聯(lián)合舉辦醫(yī)械臨床試驗免費課程。

新春送禮：www.　　德大醫(yī)查