YY/T 1833.5-2024 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第5部分：預(yù)訓(xùn)練模型

ICS11.040.99
CCS C30
中華人民共和國醫(yī)藥行業(yè)標(biāo)準(zhǔn)
YY/T1833.5—2024
人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)
第5部分:預(yù)訓(xùn)練模型
Artificialintelligencemedicaldevice—Qualityrequirementsandevaluation—
Part5:Pre-trainedmodels
2024-09-29發(fā)布2025-10-15實(shí)施
國家藥品監(jiān)督管理局發(fā)布
目 次
前言………………………………………………………………………………………………………… Ⅲ
引言………………………………………………………………………………………………………… Ⅳ
1 范圍……………………………………………………………………………………………………… 1
2 規(guī)范性引用文件………………………………………………………………………………………… 1
3 術(shù)語和定義……………………………………………………………………………………………… 1
4 預(yù)訓(xùn)練模型說明要求…………………………………………………………………………………… 2
5 預(yù)訓(xùn)練模型質(zhì)量特性…………………………………………………………………………………… 5
6 預(yù)訓(xùn)練模型質(zhì)量符合性評(píng)價(jià)方法……………………………………………………………………… 6
附錄A (資料性) 預(yù)訓(xùn)練相關(guān)要素的擴(kuò)展說明………………………………………………………… 8
附錄B(資料性) 模型說明描述示例…………………………………………………………………… 13
參考文獻(xiàn)…………………………………………………………………………………………………… 20
Ⅰ
YY/T1833.5—2024
前 言
本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分:標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定
起草。
本 文件是YY/T1833《人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)》的第5部分。YY/T1833已經(jīng)發(fā)布
了以下部分:
———第1部分:術(shù)語;
———第2部分:數(shù)據(jù)集通用要求;
———第3部分:數(shù)據(jù)標(biāo)注通用要求;
———第4部分:可追溯性;
———第5部分:預(yù)訓(xùn)練模型。
請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。
本文件由國家藥品監(jiān)督管理局提出。
本文件由全國人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位歸口。
本文件起草單位:浙江柏視醫(yī)療科技有限公司、中國食品藥品檢定研究院、國家藥品監(jiān)督管理局醫(yī)
療器械技術(shù)審評(píng)中心、國家衛(wèi)生健康委衛(wèi)生發(fā)展研究中心、中國醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所、中國科學(xué)
技術(shù)大學(xué)蘇州高等研究院、浙江大學(xué)、哈爾濱工業(yè)大學(xué)、北京郵電大學(xué)、北京理工大學(xué)、清華大學(xué)、北京京
津冀國家技術(shù)創(chuàng)新中心、上海市醫(yī)療器械檢驗(yàn)研究院、中國人民解放軍總醫(yī)院、飛利浦(中國)投資有限
公司、華為技術(shù)有限公司、北京元影科技有限公司。
本文件主要起草人:顏?zhàn)右埂⒗铎o莉、毛殊凡、游茂、劉梟寅、高東平、周少華、吳健、黃劍華、周修莊、
李建武、王雪霞、羅琳、陸遙、王浩、孟祥峰、劉重生、何昆侖、葛鑫、符海芳、田孟秋、甄浩、李澍。
Ⅲ
YY/T1833.5—2024
引 言
預(yù)訓(xùn)練模型已經(jīng)成為人工智能領(lǐng)域的重要概念和人工智能醫(yī)療器械研發(fā)的常用資源。基于預(yù)訓(xùn)練
模型和遷移學(xué)習(xí)的深度學(xué)習(xí)算法在人工智能醫(yī)療器械領(lǐng)域得到了廣泛采用。由于預(yù)訓(xùn)練模型存在黑箱
特性,質(zhì)量參差不齊,基于預(yù)訓(xùn)練模型研發(fā)的人工智能醫(yī)療器械存在不可預(yù)知的風(fēng)險(xiǎn),影響產(chǎn)品的安全
性和有效性。業(yè)內(nèi)亟需提出預(yù)訓(xùn)練模型的質(zhì)量要求和評(píng)價(jià)方法,為人工智能醫(yī)療器械的產(chǎn)品質(zhì)量控制
提供基礎(chǔ)保障。
按照我國已初步建立的人工智能醫(yī)療器械標(biāo)準(zhǔn)體系,YY/T1833《人工智能醫(yī)療器械 質(zhì)量要求和
評(píng)價(jià)》系列基礎(chǔ)通用標(biāo)準(zhǔn)擬由八個(gè)部分構(gòu)成。
———第1部分:術(shù)語。目的在于為人工智能醫(yī)療器械的質(zhì)量評(píng)價(jià)活動(dòng)提供術(shù)語。
———第2部分:數(shù)據(jù)集通用要求。目的在于提出數(shù)據(jù)集的通用質(zhì)量要求與評(píng)價(jià)方法。
———第3部分:數(shù)據(jù)標(biāo)注通用要求。目的在于提出數(shù)據(jù)標(biāo)注環(huán)節(jié)的質(zhì)量要求與評(píng)價(jià)方法。
———第4部分:可追溯性。目的在于明確人工智能醫(yī)療器械的可追溯性通用要求與評(píng)價(jià)方法。
———第5部分:預(yù)訓(xùn)練模型。目的在于規(guī)范人工智能醫(yī)療器械采用的預(yù)訓(xùn)練模型質(zhì)量。
———第6部分:環(huán)境要求。目的在于規(guī)范人工智能醫(yī)療器械的運(yùn)行環(huán)境條件要求與評(píng)價(jià)方法。
———第7部分:隱私保護(hù)要求。目的在于加強(qiáng)人工智能醫(yī)療器械保護(hù)受試者隱私的能力。
———第8部分:倫理要求。目的在于從技術(shù)層面實(shí)現(xiàn)人工智能倫理的要求,保護(hù)人的權(quán)益。
本文件為人工智能醫(yī)療器械使用的預(yù)訓(xùn)練模型質(zhì)量評(píng)價(jià)的相關(guān)工作提供了思路,也為后續(xù)制定細(xì)
分算法模型專用質(zhì)量要求提供了依據(jù)。
人工智能醫(yī)療器械使用的預(yù)訓(xùn)練模型來源廣泛,包括醫(yī)療器械廠家、第三方供應(yīng)商、第三方服務(wù)平
臺(tái)、網(wǎng)絡(luò)開源等。受技術(shù)、商業(yè)和政策等因素限制,預(yù)訓(xùn)練模型的技術(shù)細(xì)節(jié)、研發(fā)過程和質(zhì)量控制等全套
記錄一般較難獲取。為了有效地控制和追溯人工智能醫(yī)療器械終產(chǎn)品的質(zhì)量,本文件對(duì)人工智能醫(yī)療
器械使用的預(yù)訓(xùn)練模型本身和相應(yīng)說明文檔提出質(zhì)量要求和評(píng)價(jià)方法,以引導(dǎo)人工智能醫(yī)療器械廠家
從內(nèi)部加強(qiáng)質(zhì)量控制。
由于預(yù)訓(xùn)練模型本身不屬于醫(yī)療器械且技術(shù)路線處于快速發(fā)展階段,本文件不對(duì)預(yù)訓(xùn)練模型本身
的研發(fā)過程進(jìn)行約束,避免限制創(chuàng)新。對(duì)于預(yù)訓(xùn)練模型的版本變更、采用動(dòng)態(tài)更新的第三方服務(wù)、具備
自學(xué)習(xí)能力等情形,本文件基于具體時(shí)間和具體版本進(jìn)行質(zhì)量評(píng)價(jià),版本變更和更新參照醫(yī)療器械變更
規(guī)定和標(biāo)準(zhǔn)進(jìn)行管理。
對(duì)于研發(fā)企業(yè),本文件為預(yù)訓(xùn)練模型的遴選、質(zhì)量控制提供了依據(jù)。對(duì)于第三方檢測(cè)機(jī)構(gòu),本文件
為預(yù)訓(xùn)練模型的測(cè)試活動(dòng)提供了依據(jù)。
Ⅳ
YY/T1833.5—2024
人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià)
第5部分:預(yù)訓(xùn)練模型
1 范圍
本文件規(guī)定了人工智能醫(yī)療器械使用的預(yù)訓(xùn)練模型的通用質(zhì)量要求,描述了相應(yīng)的評(píng)價(jià)方法。
本文件適用于人工智能醫(yī)療器械使用的預(yù)訓(xùn)練模型。
本文件不適用于預(yù)訓(xùn)練模型的研發(fā)過程評(píng)價(jià)。
2 規(guī)范性引用文件
下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中,注日期的引用文
件,僅該日期對(duì)應(yīng)的版本適用于本文件;不注日期的引用文件,其最新版本(包括所有的修改單)適用于
本文件。
YY/T1833.1 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分:術(shù)語
YY/T1833.2—2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第2部分:數(shù)據(jù)集通用要求
YY/T1833.3—2022 人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第3部分:數(shù)據(jù)標(biāo)注通用要求
3 術(shù)語和定義
YY/T1833.1界定的以及下列術(shù)語和定義適用于本文件。
3.1
預(yù)訓(xùn)練模型 pre-trainedmodel
已在數(shù)據(jù)集上經(jīng)過訓(xùn)練的計(jì)算模型,可用作新任務(wù)的基礎(chǔ)。
注:預(yù)訓(xùn)練模型狹義上通常用于遷移學(xué)習(xí),其中模型在一個(gè)源任務(wù)上進(jìn)行預(yù)訓(xùn)練,然后在下游任務(wù)上進(jìn)行微調(diào);在
廣義上,預(yù)訓(xùn)練模型可能作為機(jī)器學(xué)習(xí)模型的初始值,供下游任務(wù)進(jìn)行微調(diào)。附錄A 中A.1對(duì)預(yù)訓(xùn)練模型的
來源和類別進(jìn)行擴(kuò)展性說明。
3.2
預(yù)訓(xùn)練模型說明 pre-trainedmodeldescription
陳述預(yù)訓(xùn)練模型各種性質(zhì)的文檔。
3.3
任務(wù)域 taskdomain
機(jī)器學(xué)習(xí)模型需要解決的特定問題或任務(wù)的領(lǐng)域。
注:在人工智能醫(yī)療器械的應(yīng)用中,任務(wù)域的示例有:影像病灶檢測(cè)、影像學(xué)征象分類、影像ROI(感興趣區(qū)域)分
割、超聲視頻分割、影像報(bào)告生成、心電信號(hào)檢測(cè)、圖像生成、流程優(yōu)化等。
3.4
源任務(wù) sourcetask
用于訓(xùn)練機(jī)器學(xué)習(xí)模型的初始任務(wù)。
注:A.2對(duì)源任務(wù)、下游任務(wù)和預(yù)訓(xùn)練模型的關(guān)系進(jìn)行說明。
1
YY/T1833.5—2024
3.5
下游任務(wù) downstreamtask
預(yù)訓(xùn)練模型利用預(yù)訓(xùn)練中獲得的泛化能力所要解決的現(xiàn)實(shí)任務(wù),通常根據(jù)對(duì)應(yīng)任務(wù)的數(shù)據(jù)集和任
務(wù)類型通過對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)來實(shí)現(xiàn)。
3.6
數(shù)據(jù)模態(tài) datamodality
數(shù)據(jù)集中收集或表示數(shù)據(jù)的類型或形式。
注:人工智能醫(yī)療器械中的常見數(shù)據(jù)模態(tài)包括醫(yī)學(xué)圖像、文本、信號(hào)數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)等。
3.7
超參數(shù) hyperparameter
事先給定的,用來控制學(xué)習(xí)過程的參數(shù)。
注:超參數(shù)包含模型層數(shù)、模型節(jié)點(diǎn)數(shù),以及學(xué)習(xí)率等。
3.8
微調(diào) fine-tuning
為提升人工智能模型的預(yù)測(cè)精確度,一種先以大型廣泛領(lǐng)域數(shù)據(jù)集訓(xùn)練,再以小型專門領(lǐng)域數(shù)據(jù)集
繼續(xù)訓(xùn)練的附加訓(xùn)練技術(shù)。
[來源:GB/T41867—2022,3.4.29]
3.9
本體 ontology
對(duì)一個(gè)論域中存在的概念及其關(guān)系和性質(zhì)的可共享的、形式化的、顯現(xiàn)的描述;使用該本體所建立
的模型可以被其他人員或系統(tǒng)共享。
注:本文件中的論域指一個(gè)問題或任務(wù)的上下文或領(lǐng)域,用于描述問題的范圍或限定,以便更好地理解和解決
問題。
4 預(yù)訓(xùn)練模型說明要求
4.1 概述
預(yù)訓(xùn)練模型提供方需描述與該預(yù)訓(xùn)練模型本體相關(guān)的過程、方法和所使用數(shù)據(jù)集的全部相關(guān)細(xì)
節(jié),包括預(yù)訓(xùn)練模型的版本標(biāo)識(shí)(發(fā)布版本號(hào))、模型框架、用于預(yù)訓(xùn)練的訓(xùn)練數(shù)據(jù)及數(shù)據(jù)集構(gòu)建方法、標(biāo)
注方法、訓(xùn)練過程、模型適用性及其他相關(guān)細(xì)節(jié)。
注:A.3給出預(yù)訓(xùn)練模型提供方的擴(kuò)展性描述,附錄B給出4.2~4.5的示例。
4.2 模型框架描述
4.2.1 模型結(jié)構(gòu)
預(yù)訓(xùn)練模型說明應(yīng)描述模型的整體結(jié)構(gòu)及來源。如模型結(jié)構(gòu)屬于對(duì)已公開結(jié)構(gòu)的修改,應(yīng)詳細(xì)描
述二者的差異;如模型結(jié)構(gòu)屬于未公開的自研結(jié)構(gòu),則需詳細(xì)描述該模型構(gòu)成的詳細(xì)數(shù)學(xué)或結(jié)構(gòu)表述。
注:A.4給出常見的深度學(xué)習(xí)和非深度學(xué)習(xí)的模型結(jié)構(gòu)示例。
4.2.2 模型節(jié)點(diǎn)
預(yù)訓(xùn)練模型說明應(yīng)描述模型節(jié)點(diǎn)信息,該節(jié)點(diǎn)信息宜包含神經(jīng)元節(jié)點(diǎn)數(shù)量、分布方式、激活函數(shù)、連
接方式等。
注:神經(jīng)元節(jié)點(diǎn)為深度神經(jīng)網(wǎng)絡(luò)的最小組成節(jié)點(diǎn),如模型為非神經(jīng)網(wǎng)絡(luò)的算法,應(yīng)說明模型的算法類型以及其最小
2
YY/T1833.5—2024
組成單位。
4.2.3 模型參數(shù)
預(yù)訓(xùn)練模型說明應(yīng)描述模型中帶有參數(shù)的各層相應(yīng)的參數(shù)元數(shù)據(jù)。該元數(shù)據(jù)宜包括模型各層的節(jié)
點(diǎn)數(shù)量、組合關(guān)系和類別。
注:A.5給出模型參數(shù)的元數(shù)據(jù)示例。
4.2.4 模型數(shù)據(jù)表示
預(yù)訓(xùn)練模型說明應(yīng)描述預(yù)訓(xùn)練模型中使用的數(shù)據(jù)表示。如數(shù)據(jù)的抽象程度、數(shù)據(jù)類型及規(guī)模、用于
將原始數(shù)據(jù)映射到預(yù)訓(xùn)練模型中的編碼方法、數(shù)據(jù)必要的預(yù)處理、后處理等。數(shù)據(jù)抽象程度應(yīng)描述可被
模型處理的數(shù)據(jù)被抽象化的程度,可包含原始數(shù)據(jù)(動(dòng)態(tài)數(shù)據(jù)、圖像數(shù)據(jù)、信號(hào)數(shù)據(jù)等)和特征數(shù)據(jù)(由特
征提取器獲得的抽象特征數(shù)據(jù))。
注1:抽象程度是對(duì)從數(shù)據(jù)到特征進(jìn)行抽象過程復(fù)雜性和深度的一種度量描述,隨著特征的傳遞逐漸增加。預(yù)訓(xùn)
練模型的輸入可能是原始數(shù)據(jù)或已被提取的特征數(shù)據(jù)。A.6給出特征的概念。
a) 數(shù)據(jù)類型
應(yīng)描述模型輸入接受的數(shù)據(jù)類型,該數(shù)據(jù)類型可包括整數(shù)、浮點(diǎn)數(shù)、字符串、列表、數(shù)組等。
b) 數(shù)據(jù)維度和大小
應(yīng)描述模型中接受數(shù)據(jù)的維度以及各維度下的數(shù)據(jù)元素個(gè)數(shù)。
c) 編碼方式
應(yīng)描述原始數(shù)據(jù)如何在模型中被映射,包括使用各種編碼方法,如獨(dú)熱編碼(one-hotencoding)、標(biāo)
簽編碼(labelencoding)、序列編碼(ordinalencoding)、頻數(shù)編碼(countencoding)、目標(biāo)編碼(targetencoding)
等。
注2:A.7給出常見的各種編碼方式的描述。
d) 數(shù)據(jù)處理
應(yīng)描述模型能夠接受的輸入數(shù)據(jù)的限定、輸出數(shù)據(jù)的形式以及輸入輸出數(shù)據(jù)需進(jìn)行的必要處理。
如適用,應(yīng)描述模型接受數(shù)據(jù)所需要的預(yù)處理,如歸一化、縮放。如適用,應(yīng)描述模型輸出數(shù)據(jù)的后處
理,如拼接、插值、平滑等。
4.2.5 模型可解釋性
如適用,預(yù)訓(xùn)練模型說明宜描述模型的可解釋性。
注:A.8給出模型可解釋性的含義。
4.3 源任務(wù)數(shù)據(jù)描述
4.3.1 數(shù)據(jù)模態(tài)
預(yù)訓(xùn)練模型說明應(yīng)描述對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練時(shí),使用的源任務(wù)數(shù)據(jù)模態(tài),如語音、自然圖像、醫(yī)學(xué)
圖像等。如適用,應(yīng)對(duì)醫(yī)學(xué)數(shù)據(jù)的采集設(shè)備進(jìn)行說明。應(yīng)描述是否使用仿真數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型進(jìn)行訓(xùn)
練,如使用了仿真數(shù)據(jù),應(yīng)詳細(xì)描述數(shù)據(jù)生成方法和步驟。如適用,應(yīng)描述訓(xùn)練數(shù)據(jù)標(biāo)注的相關(guān)信息,該
信息宜包含標(biāo)注的來源、數(shù)量以及標(biāo)注質(zhì)量的說明。
4.3.2 數(shù)據(jù)量
預(yù)訓(xùn)練模型說明應(yīng)描述用于訓(xùn)練預(yù)訓(xùn)練模型的數(shù)據(jù)總量。如適用,應(yīng)描述每種數(shù)據(jù)模態(tài)的數(shù)據(jù)量;
應(yīng)描述預(yù)訓(xùn)練過程中數(shù)據(jù)劃分方式。該說明應(yīng)包含訓(xùn)練集、驗(yàn)證集和測(cè)試集的數(shù)據(jù)量,以及訓(xùn)練集、驗(yàn)
證集和測(cè)試集之間的分布差異。
3
YY/T1833.5—2024
4.3.3 數(shù)據(jù)質(zhì)量
預(yù)訓(xùn)練模型說明應(yīng)描述用于預(yù)訓(xùn)練模型訓(xùn)練數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量應(yīng)包括數(shù)據(jù)的準(zhǔn)確性、完整性和
一致性。應(yīng)說明用于選擇訓(xùn)練數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn),如數(shù)據(jù)來源、可靠性和相關(guān)性,以及數(shù)據(jù)清洗的步驟。
對(duì)于模型訓(xùn)練過程中使用的數(shù)據(jù)集,如滿足YY/T1833.2—2022的要求,應(yīng)在預(yù)訓(xùn)練模型說明文
檔中按照YY/T1833.2—2022中第4章數(shù)據(jù)集說明文檔的要求進(jìn)行說明。如數(shù)據(jù)集建立過程依從特
定標(biāo)準(zhǔn),應(yīng)在預(yù)訓(xùn)練模型說明文檔中進(jìn)行說明。對(duì)帶有標(biāo)注結(jié)果的數(shù)據(jù)集,如滿足YY/T1833.3—2022
的要求,應(yīng)在預(yù)訓(xùn)練模型說明文檔中按照YY/T1833.3—2022中第4章數(shù)據(jù)標(biāo)注任務(wù)說明文檔的要求
進(jìn)行說明。
注:A.9給出部分人工智能醫(yī)療器械數(shù)據(jù)集建立過程的規(guī)范和標(biāo)準(zhǔn)。
如適用,預(yù)訓(xùn)練模型說明應(yīng)描述用于保護(hù)受試者隱私的技術(shù)手段,如數(shù)據(jù)去標(biāo)識(shí)化、數(shù)據(jù)匿名化等。
如適用,訓(xùn)練數(shù)據(jù)說明應(yīng)描述數(shù)據(jù)去標(biāo)識(shí)化或數(shù)據(jù)匿名化的規(guī)則。
4.3.4 基準(zhǔn)性能
預(yù)訓(xùn)練模型說明宜描述源任務(wù)中預(yù)訓(xùn)練模型在訓(xùn)練集、驗(yàn)證集和測(cè)試集的相關(guān)基準(zhǔn)性能。
注:A.10對(duì)基準(zhǔn)性能指標(biāo)的選取給出說明。
4.4 訓(xùn)練過程描述
4.4.1 學(xué)習(xí)方法
預(yù)訓(xùn)練模型說明應(yīng)描述預(yù)訓(xùn)練模型訓(xùn)練所設(shè)置的源任務(wù),以及所采用的學(xué)習(xí)方法等。
4.4.2 訓(xùn)練設(shè)置
預(yù)訓(xùn)練模型說明宜描述預(yù)訓(xùn)練模型訓(xùn)練所采用的數(shù)據(jù)增強(qiáng)方式、模型權(quán)重初始化方式、優(yōu)化器,以
及主要超參數(shù)的設(shè)置情況。
4.4.3 任務(wù)域
預(yù)訓(xùn)練模型說明應(yīng)描述預(yù)訓(xùn)練模型生成過程中源任務(wù)的任務(wù)域。如使用了多種源任務(wù),應(yīng)說明所
有設(shè)置的源任務(wù)所對(duì)應(yīng)的任務(wù)域。
4.5 模型適用性描述
4.5.1 適用數(shù)據(jù)模態(tài)
預(yù)訓(xùn)練模型說明應(yīng)描述預(yù)訓(xùn)練模型進(jìn)行前向推理所適用的數(shù)據(jù)模態(tài)。如適用,可對(duì)模型微調(diào)后所
能處理的數(shù)據(jù)模態(tài)進(jìn)行說明。
注1:預(yù)訓(xùn)練模型可能是適用于通用領(lǐng)域的數(shù)據(jù)模態(tài),也可能被專門設(shè)計(jì)來處理醫(yī)學(xué)圖像,如MRI或CT 掃描,或
醫(yī)療文本,如電子健康檔案(ElectronicHealthRecord,EHR)數(shù)據(jù)。
注2:前向推理是機(jī)器學(xué)習(xí)模型在訓(xùn)練完成后,對(duì)特定任務(wù)進(jìn)行處理的過程,如在醫(yī)療領(lǐng)域進(jìn)行輔助決策過程中分
割、分類、增強(qiáng)等任務(wù)處理過程。
4.5.2 適用任務(wù)類型
預(yù)訓(xùn)練模型說明應(yīng)描述對(duì)于預(yù)訓(xùn)練模型進(jìn)行前向推理所適用的任務(wù)類型(如圖像分割、圖像分類、
信號(hào)識(shí)別等)、源任務(wù)域和下游任務(wù)域之間的相似度、所能處理的場(chǎng)景、樣本形式的具體情況以及預(yù)期的
性能。如適用,應(yīng)描述在其適用下游任務(wù)中可采用的健壯性、泛化性測(cè)試方法。
4
YY/T1833.5—2024
4.5.3 適用環(huán)境
預(yù)訓(xùn)練模型說明應(yīng)描述對(duì)于模型推理和訓(xùn)練所適用的硬件資源以及軟件環(huán)境。
注:適用的硬件資源是指運(yùn)行預(yù)訓(xùn)練模型所需的計(jì)算能力和資源(如CPU、GPU 和服務(wù)器節(jié)點(diǎn)等,通過每秒浮點(diǎn)
運(yùn)算次數(shù)、每秒操作次數(shù)等指標(biāo)來度量),如模型微調(diào)所需的計(jì)算能力以及軟件環(huán)境,以及人工智能醫(yī)療器械
在實(shí)施或部署環(huán)境中運(yùn)行模型所需的計(jì)算能力以及軟件環(huán)境。
4.5.4 下游任務(wù)訓(xùn)練需求
預(yù)訓(xùn)練模型說明宜描述預(yù)訓(xùn)練模型遷移到新的下游任務(wù)域的數(shù)據(jù)需求,即輸出空間映射發(fā)生改變
時(shí),重新進(jìn)行訓(xùn)練需要的新下游任務(wù)對(duì)應(yīng)的數(shù)據(jù)集(包括所需數(shù)據(jù)量、數(shù)據(jù)模態(tài)等)。如適用,應(yīng)描述在
微調(diào)中采用的訓(xùn)練設(shè)置需求,包括微調(diào)采用的數(shù)據(jù)增強(qiáng)方法、模型訓(xùn)練方法等。
5 預(yù)訓(xùn)練模型質(zhì)量特性
5.1 概述
本文件內(nèi)容涵蓋預(yù)訓(xùn)練模型的質(zhì)量特性、整體風(fēng)險(xiǎn)等要素,宜根據(jù)模型的預(yù)期用途、應(yīng)用場(chǎng)景對(duì)預(yù)
訓(xùn)練模型開展質(zhì)量評(píng)價(jià),形成技術(shù)報(bào)告,作為對(duì)預(yù)訓(xùn)練模型質(zhì)量的驗(yàn)證依據(jù)。
5.2 質(zhì)量特性
5.2.1 可訓(xùn)練性
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型的可訓(xùn)練性指標(biāo),并提供書面證據(jù)。如適用,應(yīng)使用損失函數(shù)
值、目標(biāo)數(shù)據(jù)分布的擬合程度等指標(biāo)。
注:可訓(xùn)練性是指預(yù)訓(xùn)練模型能夠在訓(xùn)練過程中迭代優(yōu)化。
5.2.2 架構(gòu)可擴(kuò)展性
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型架構(gòu)能否通過增加計(jì)算能力和資源提高推理和訓(xùn)練效率,以
及對(duì)計(jì)算能力和資源的需求要求,并提供書面證據(jù)。如適用,應(yīng)描述所需的最低和最高硬件配置等形式
描述。
注:A.11給出架構(gòu)可擴(kuò)展性的說明。
5.2.3 可遷移性
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型微調(diào)后,在人工智能醫(yī)療器械下游任務(wù)中的預(yù)期性能,并提供
書面證據(jù)。
注:對(duì)于模型微調(diào)后的預(yù)期性能,A.10給出常用場(chǎng)景下的性能指標(biāo)舉例。
5.2.4 模型效率
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型效率,包括模型推理計(jì)算量、資源利用率、精度,并提供書面證
據(jù)?？刹捎萌缦轮笜?biāo):
a) 預(yù)訓(xùn)練模型完成前向推理所需的計(jì)算量;
b) 預(yù)訓(xùn)練模型對(duì)算力和存儲(chǔ)空間的占用率;
c) 如適用,相同架構(gòu)的預(yù)訓(xùn)練模型的不同超參數(shù)(如參數(shù)量)配置下的精度和對(duì)應(yīng)的推理時(shí)間。
5
YY/T1833.5—2024
5.2.5 輸出重復(fù)性
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型輸出的重復(fù)性,確保其在給定相同測(cè)試數(shù)據(jù)情況下,模型產(chǎn)生
的輸出是一致的。
注:輸出一致是指輸出內(nèi)容的內(nèi)在含義一致,若輸出是量化指標(biāo),指標(biāo)保持相同或處于同一值域范圍;若輸出為描
述性文字,文字含義保持一致。
5.2.6 健壯性
預(yù)訓(xùn)練模型應(yīng)聲稱預(yù)訓(xùn)練模型的健壯性,確保其在具有不同程度的多樣性、與任務(wù)域存在偏差的數(shù)
據(jù)集上產(chǎn)生正確輸出的能力,該能力應(yīng)滿足如下要求:
a) 預(yù)訓(xùn)練模型應(yīng)確保模型在輸入數(shù)據(jù)有噪聲時(shí)性能符合預(yù)期,產(chǎn)生正確輸出;
b) 預(yù)訓(xùn)練模型應(yīng)對(duì)訓(xùn)練集分布外數(shù)據(jù)點(diǎn)(Out-of-Distribution)具有擬合能力。
5.2.7 泛化性
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型的泛化性,并提供書面證據(jù)。如適用,應(yīng)根據(jù)預(yù)訓(xùn)練模型預(yù)期
用途和適用環(huán)境,對(duì)預(yù)訓(xùn)練模型研發(fā)使用的訓(xùn)練集與真實(shí)世界中陌生樣本之間的差異進(jìn)行分析。
5.2.8 對(duì)抗安全
預(yù)訓(xùn)練模型提供方宜聲稱預(yù)訓(xùn)練模型的對(duì)抗安全性。如適用,應(yīng)提供案例說明模型處理的對(duì)抗攻
擊種類和面對(duì)該種對(duì)抗攻擊的性能。
5.2.9 隱私保護(hù)
預(yù)訓(xùn)練模型提供方應(yīng)聲稱預(yù)訓(xùn)練模型采用的隱私保護(hù)措施,滿足如下要求:
a) 應(yīng)采用合適的措施,如差分隱私處理,確保預(yù)訓(xùn)練模型不會(huì)因攻擊產(chǎn)生訓(xùn)練數(shù)據(jù)的泄露,包括
訓(xùn)練數(shù)據(jù)的分布以及對(duì)單個(gè)訓(xùn)練數(shù)據(jù)案例的推斷;
b) 應(yīng)確保對(duì)預(yù)訓(xùn)練模型代碼所產(chǎn)生的數(shù)據(jù)上傳和數(shù)據(jù)儲(chǔ)存操作采用保護(hù)措施。
6 預(yù)訓(xùn)練模型質(zhì)量符合性評(píng)價(jià)方法
6.1 通則
預(yù)訓(xùn)練模型質(zhì)量評(píng)價(jià)包含對(duì)預(yù)訓(xùn)練模型說明、質(zhì)量要求等的評(píng)價(jià),由模型提供方提供待評(píng)價(jià)的預(yù)訓(xùn)
練模型本體、說明文檔等內(nèi)容。
6.2 預(yù)訓(xùn)練模型說明評(píng)價(jià)
對(duì)預(yù)訓(xùn)練模型說明中預(yù)訓(xùn)練模型描述內(nèi)容的完整性、準(zhǔn)確性進(jìn)行檢查,判斷其結(jié)果是否符合第4章
的要求;對(duì)于能證明已被廣泛使用的預(yù)訓(xùn)練模型,預(yù)訓(xùn)練模型說明文檔的形式根據(jù)實(shí)際情況確定。
6.3 質(zhì)量特性評(píng)價(jià)
6.3.1 可訓(xùn)練性
根據(jù)預(yù)訓(xùn)練模型提供方所提供的訓(xùn)練用例和訓(xùn)練設(shè)置(包括超參數(shù)和適用環(huán)境),對(duì)預(yù)訓(xùn)練模型進(jìn)
行訓(xùn)練,通過記錄損失函數(shù)值的收斂曲線等,判斷其結(jié)果是否符合5.2.1。
6
YY/T1833.5—2024
6.3.2 架構(gòu)可擴(kuò)展性
調(diào)整預(yù)訓(xùn)練模型訓(xùn)練和部署環(huán)境的硬件資源和運(yùn)行軟件環(huán)境,記錄預(yù)訓(xùn)練模型推理和訓(xùn)練的效率
變化,判斷其結(jié)果是否符合5.2.2。
6.3.3 可遷移性
根據(jù)預(yù)訓(xùn)練模型提供方所提供的訓(xùn)練用例和訓(xùn)練設(shè)置(包括采取的訓(xùn)練方法和數(shù)據(jù)增強(qiáng)方法),在
下游任務(wù)域上測(cè)試并記錄預(yù)訓(xùn)練模型的性能指標(biāo),判斷其結(jié)果是否符合5.2.3。對(duì)于適用公開數(shù)據(jù)集進(jìn)
行性能測(cè)試的預(yù)訓(xùn)練模型,測(cè)試預(yù)訓(xùn)練模型對(duì)下游任務(wù)在公開數(shù)據(jù)集的性能,判斷其結(jié)果是否符合
5.2.3。
注1:性能指標(biāo)的選擇范圍包括但不限于A.10的適用指標(biāo)。
注2:遷移訓(xùn)練主要是通過微調(diào)方法實(shí)現(xiàn),例如大語言模型的低階自適應(yīng)微調(diào)、監(jiān)督微調(diào)等。
6.3.4 模型效率
使用預(yù)訓(xùn)練模型對(duì)相應(yīng)數(shù)據(jù)進(jìn)行前向推理,按照以下條件判斷其結(jié)果是否符合5.2.4:
a) 按照前向推理所需要的計(jì)算量進(jìn)行前向推理,記錄并判斷是否運(yùn)行正常;
b) 記錄使用的算力和存儲(chǔ)空間,判斷是否符合聲稱;
c) 如適用,記錄在不同參數(shù)量配置下的性能和推理時(shí)間,判斷是否符合聲稱。
6.3.5 輸出重復(fù)性
使用相同測(cè)試用例對(duì)模型進(jìn)行前向推理測(cè)試,檢查模型是否能夠產(chǎn)生一致的輸出,判斷其結(jié)果是否
符合5.2.5。
6.3.6 健壯性
在預(yù)訓(xùn)練模型適用的任務(wù)域中,對(duì)預(yù)訓(xùn)練模型所能處理的場(chǎng)景、樣本形式的具體情況以及預(yù)期的性
能進(jìn)行評(píng)估,判斷其結(jié)果是否符合5.2.6。
注:A.12給出供選取的健壯性的參考測(cè)試方法。
6.3.7 泛化性
使用模型適用的任務(wù)域中未包含在訓(xùn)練數(shù)據(jù)中的測(cè)試集,對(duì)未進(jìn)行擬合的數(shù)據(jù)進(jìn)行測(cè)試,判斷其結(jié)
果是否符合5.2.7。
注:A.12給出供選取的泛化性的參考測(cè)試方法。
6.3.8 對(duì)抗安全
對(duì)模型編寫測(cè)試用例,驗(yàn)證其推理結(jié)果不會(huì)因誤導(dǎo)性樣本產(chǎn)生錯(cuò)誤。使用黑盒或白盒方式產(chǎn)生欺
騙性擾動(dòng),使用模型對(duì)這些添加擾動(dòng)后的數(shù)據(jù)進(jìn)行測(cè)試,驗(yàn)證模型是否能夠抵御欺騙攻擊,判斷其結(jié)果
是否符合5.2.8。
6.3.9 隱私保護(hù)
對(duì)預(yù)訓(xùn)練模型隱私保護(hù)措施進(jìn)行檢查,判斷其結(jié)果是否符合5.2.9。
7
YY/T1833.5—2024
附 錄 A
(資料性)
預(yù)訓(xùn)練相關(guān)要素的擴(kuò)展說明
A.1 預(yù)訓(xùn)練模型
本文件中的預(yù)訓(xùn)練模型范圍是人工智能醫(yī)療器械開發(fā)中使用的預(yù)訓(xùn)練模型,不特指針對(duì)醫(yī)療器械
而研發(fā)的預(yù)訓(xùn)練模型。因此預(yù)訓(xùn)練模型也未限定只能從醫(yī)療器械制造商處獲取的模型。使用方獲取預(yù)
訓(xùn)練模型的來源廣泛,包括醫(yī)療器械廠家、第三方供應(yīng)商、第三方服務(wù)平臺(tái)、網(wǎng)絡(luò)開源等均能獲取合適的
模型。
本 文件對(duì)預(yù)訓(xùn)練模型的類型不做限定,該適用性涵蓋了模型模態(tài)、參數(shù)規(guī)模等。本文件不對(duì)大語言
模型進(jìn)行單獨(dú)的區(qū)分;本文件所聲稱的預(yù)訓(xùn)練模型,包括但不限于視覺預(yù)訓(xùn)練模型、大型語言模型
(LargeLanguageModel,LLM)、多模態(tài)預(yù)訓(xùn)練模型等。
A.2 預(yù)訓(xùn)練模型源任務(wù)、下游任務(wù)和預(yù)訓(xùn)練模型的關(guān)系
預(yù)訓(xùn)練模型在源任務(wù)上進(jìn)行預(yù)訓(xùn)練,通常能獲得一定泛化能力。根據(jù)具體的下游任務(wù)對(duì)預(yù)訓(xùn)練模
型進(jìn)行微調(diào),能獲得針對(duì)具體下游任務(wù)的擬合能力。該種微調(diào)包含對(duì)模型超參數(shù)的調(diào)整、對(duì)模型重新訓(xùn)
練,以及通過添加提示詞的方式改變大型生成式語言模型功能等方式。
A.3 預(yù)訓(xùn)練模型提供方
本文件中預(yù)訓(xùn)練模型提供方是指將預(yù)訓(xùn)練模型提供給人工智能醫(yī)療器械開發(fā)方的責(zé)任方,在進(jìn)行
第三方測(cè)試時(shí),模型提供方是將模型提供給第三方檢測(cè)機(jī)構(gòu)的責(zé)任方。預(yù)訓(xùn)練模型的開發(fā)方作為預(yù)訓(xùn)
練模型提供方具有天然的優(yōu)勢(shì),對(duì)于來源不明、開源、非醫(yī)療領(lǐng)域、預(yù)訓(xùn)練模型開發(fā)方不能提供明確預(yù)訓(xùn)
練模型描述和特性等情況,人工智能醫(yī)療器械開發(fā)方要承擔(dān)預(yù)訓(xùn)練模型提供方的角色,收集和完善預(yù)訓(xùn)
練模型描述和特性等信息,承擔(dān)相應(yīng)的責(zé)任和風(fēng)險(xiǎn)。人工智能醫(yī)療器械的開發(fā)方在使用預(yù)訓(xùn)練模型開
發(fā)人工智能醫(yī)療器械的過程中,根據(jù)任務(wù)和預(yù)訓(xùn)練模型質(zhì)量特性慎重選擇適當(dāng)?shù)念A(yù)訓(xùn)練模型。
A.4 模型結(jié)構(gòu)
本文件所聲稱的模型是以深度神經(jīng)網(wǎng)絡(luò)作為主要的技術(shù)路線進(jìn)行描述,常用架構(gòu)包括卷積神經(jīng)網(wǎng)
絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、生成式對(duì)抗網(wǎng)絡(luò)等類型。對(duì)于非深度神經(jīng)網(wǎng)絡(luò)的各類人工智能算法
模型,如線性分類模型、支持向量機(jī)、決策樹等,其結(jié)構(gòu)描述方法各自有其習(xí)慣性方法。
A.5 模型參數(shù)
模型參數(shù)的元數(shù)據(jù)是指關(guān)于某數(shù)據(jù)的名字、意義、描述、來源、職責(zé)、格式、用途以及與其他數(shù)據(jù)的聯(lián)
系等信息。對(duì)于常用的深度神經(jīng)網(wǎng)絡(luò),其模型參數(shù)的元數(shù)據(jù)包括神經(jīng)元之間的連接權(quán)重、偏移、卷積核
大小等。
A.6 數(shù)據(jù)抽象
特征是人工智能和模式識(shí)別研究領(lǐng)域的基本概念,指能表達(dá)模式本質(zhì)的功能或結(jié)構(gòu)特點(diǎn)的可度量
屬性,如尺度、紋理、形狀等。好的特征能使同類模式聚集、不同類模式分離。例如,對(duì)于圖像,能直接使
用矩陣來表示,但為了降低處理的空間復(fù)雜度,對(duì)圖像進(jìn)行變換得到最能反映分類本質(zhì)的特征。相應(yīng)
地,在一個(gè)模型中,特征提取是將一組原始數(shù)據(jù)縮減到較易管理的較小組的降維過程。從數(shù)據(jù)到特征的
8
YY/T1833.5—2024
抽象是從輸入數(shù)據(jù)中學(xué)習(xí)概括特征、消除不相干因素。隨著特征通過神經(jīng)網(wǎng)絡(luò)模型層層前向傳遞,這種
抽象的復(fù)雜性和深度逐漸增加。數(shù)據(jù)抽象程度定性地描述了數(shù)據(jù)被降維的程度,抽象程度可以包含未
抽象的原始數(shù)據(jù)和已抽象的特征數(shù)據(jù)等。
A.7 數(shù)據(jù)編碼方式
獨(dú)熱編碼(One-HotEncoding)是一種原始數(shù)據(jù)映射為能被模型接受的數(shù)據(jù)格式的編碼方法,將分
類數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制向量,其中每個(gè)類別用唯一的整數(shù)表示,并且只有一個(gè)元素為1,其余為0,用于機(jī)
器學(xué)習(xí)中處理分類特征。
標(biāo)簽編碼(LabelEncoding)是一種原始數(shù)據(jù)映射為能被模型接受的數(shù)據(jù)格式的編碼方法,將分類
數(shù)據(jù)轉(zhuǎn)換為整數(shù)標(biāo)簽,其中每個(gè)類別被分配一個(gè)唯一的整數(shù)值,用于將分類特征轉(zhuǎn)換為機(jī)器學(xué)習(xí)模型可
以處理的數(shù)值形式,但不會(huì)創(chuàng)建二進(jìn)制向量,因此可能需要引入類別之間的順序關(guān)系。
序列編碼(OrdinalEncoding)是一種將原始數(shù)據(jù)映射為能被模型接受的數(shù)據(jù)格式的編碼方法,將分
類數(shù)據(jù)轉(zhuǎn)換為整數(shù)序號(hào),其中類別之間存在一定的順序關(guān)系。
頻數(shù)編碼(CountEncoding)是一種將原始數(shù)據(jù)映射為能被模型接受的數(shù)據(jù)格式的編碼方法,將分
類數(shù)據(jù)轉(zhuǎn)換為該類別在數(shù)據(jù)集中的頻數(shù)或出現(xiàn)次數(shù),該方法提供關(guān)于類別的頻率信息。
目標(biāo)編碼(TargetEncoding)是一種將原始數(shù)據(jù)映射為能被模型接受的數(shù)據(jù)格式的編碼方法,將分
類數(shù)據(jù)轉(zhuǎn)換為該類別在目標(biāo)變量上的平均值或其他統(tǒng)計(jì)信息,該方法能夠捕獲類別與目標(biāo)變量之間的
關(guān)聯(lián)性。
A.8 深度學(xué)習(xí)可解釋性
深度神經(jīng)網(wǎng)絡(luò)的可解釋性目前仍然是研究難點(diǎn),尚未形成公認(rèn)的理論解釋其本質(zhì)原理。目前對(duì)可
解釋性的定義,一般包含如下內(nèi)涵:
a) 深度神經(jīng)網(wǎng)絡(luò)的中間件能被人類理解和分析的程度;
b) 深度神經(jīng)網(wǎng)絡(luò)的空間輸出與網(wǎng)絡(luò)內(nèi)的特征分量之間的對(duì)應(yīng)關(guān)系;
c) 從深度神經(jīng)網(wǎng)絡(luò)的特征中提取有意義的信息的能力。
可解釋性度量方法處于持續(xù)研究過程中,已有方法如:局部可解釋性測(cè)試、使用偏移模型的輸入信
息對(duì)被測(cè)模型輸出進(jìn)行預(yù)測(cè)、測(cè)量預(yù)測(cè)輸出和實(shí)際輸出的偏移程度。
可解釋性使深度神經(jīng)網(wǎng)絡(luò)模型操作和決策過程能夠被理解和解釋給人類用戶或監(jiān)管機(jī)構(gòu),這對(duì)倫
理具有重要影響?？山忉屝詮?qiáng)的模型,其內(nèi)部邏輯和決策可追溯,有助于建立透明度和問責(zé)制?？山忉?br /> 性可以幫助識(shí)別和糾正模型中的潛在偏見和不公平性,有助于確保模型的決策不會(huì)對(duì)不同人群產(chǎn)生不
公平的影響。
A.9 數(shù)據(jù)集建立過程規(guī)范
現(xiàn)有的國家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)尚未對(duì)人工智能醫(yī)療器械使用的數(shù)據(jù)集質(zhì)量管理進(jìn)行規(guī)范。
IEEE2801-2022提出一套推薦的質(zhì)量管理體系,涵蓋了數(shù)據(jù)集管理的全生命周期和影響數(shù)據(jù)集質(zhì)量的
關(guān)鍵因素。如參照該標(biāo)準(zhǔn)建立醫(yī)療人工智能數(shù)據(jù)集的質(zhì)量管理規(guī)則,將有利于提高整體數(shù)據(jù)質(zhì)量。
A.10 醫(yī)學(xué)領(lǐng)域中的預(yù)訓(xùn)練模型的性能指標(biāo)
A.10.1 圖像分類
對(duì)于適用于圖像分類任務(wù)的預(yù)訓(xùn)練模型,通常采取以下性能指標(biāo)評(píng)估預(yù)訓(xùn)練模型在下游任務(wù)域上
的性能表現(xiàn)。
a) 準(zhǔn)確率(Accuracy):正確分類的圖像占總數(shù)的百分比,表達(dá)式見公式(A.1)。
9
YY/T1833.5—2024
Accuracy= TP+TN
TP+TN+FP+FN …………………(A.1)
式中:
TP———真陽性,正確分類的陽性樣本;
FP ———假陽性,被錯(cuò)誤歸類為陽性的陰性樣本;
TN———真陰性,正確分類的陰性樣本;
FN———假陰性,被錯(cuò)誤歸類為陰性的陽性樣本。
b) 精確度(Precision):真陽性預(yù)測(cè)數(shù)除以真陽性和假陽性預(yù)測(cè)數(shù)的總和,表達(dá)式見公式(A.2)。
Precision= TP
TP+FP …………………………(A.2)
式中:
TP———真陽性,正確分類的陽性樣本;
FP ———假陽性,被錯(cuò)誤歸類為陽性的陰性樣本。
c) 召回率(Recall):真陽性預(yù)測(cè)的數(shù)量除以真陽性和假陰性預(yù)測(cè)的總和,表達(dá)式見公式(A.3)。
Recall= TP
TP+FN …………………………(A.3)
式中:
Recall———召回率;
TP ———真陽性,正確分類的陽性樣本;
FN ———假陰性,被錯(cuò)誤歸類為陰性的陽性樣本。
d) F1分?jǐn)?shù):用于評(píng)估二分類問題的性能,其平衡了精確度和召回率,可進(jìn)行更全面的評(píng)估,表達(dá)
式見公式(A.4)。
F1 =2·(P ·R)
P +R …………………………(A.4)
式中:
F1———F1 分?jǐn)?shù);
P ———精確度,陽性預(yù)測(cè)數(shù)除以真陽性和假陽性預(yù)測(cè)數(shù)的總和;
R ———召回率,正確預(yù)測(cè)的陽性實(shí)例(真陽性)占所有實(shí)際陽性實(shí)例的比例。
A.10.2 圖像分割
對(duì)于適用于圖像分類任務(wù)的預(yù)訓(xùn)練模型,通常采取以下性能指標(biāo)評(píng)估預(yù)訓(xùn)練模型在下游任務(wù)域上
的性能表現(xiàn)。
a) IoU 系數(shù):模型預(yù)測(cè)掩膜與基準(zhǔn)真實(shí)掩膜之間的重疊程度的指標(biāo),表達(dá)式見公式(A.5)。
IoU= TP
TP+FP+FN …………………………(A.5)
式中:
IoU ———交并比;
TP ———真陽性,正確分割的像素;
FP ———假陽性,錯(cuò)誤包含在分割中的背景像素;
FN ———假陰性,在分割過程中漏掉的像素。
b) Dice系數(shù):Dice系數(shù)的計(jì)算與IoU 相似,量化預(yù)測(cè)掩碼與真實(shí)掩碼之間的重疊程度,表達(dá)式見
公式(A.6)。
Dice= 2·TP
2·TP+FP+FN …………………………(A.6)
10
YY/T1833.5—2024
式中:
Dice———Dice系數(shù);
TP ———真陽性,正確分割的像素;
FP ———假陽性,錯(cuò)誤包含在分割中的背景像素;
FN ———假陰性,在分割過程中漏掉的像素。
c) 像素準(zhǔn)確度(Pixelaccuracy):評(píng)估正確分類像素的百分比,表達(dá)式見公式(A.7)。
PixelAccuracy=TP+TN N …………………………(A.7)
式中:
PixelAccuracy———像素準(zhǔn)確度;
TP ———真陽性,正確分割的像素;
TN ———真陰性,正確分類的背景像素;
N ———總像素?cái)?shù)。
d) 平均精度(mAP):用于實(shí)例分割任務(wù),結(jié)合了不同對(duì)象類別的精度和召回率,表達(dá)式見公式
(A.8)。
mAP=1 nΣn
i=1APi …………………………(A.8)
式中:
mAP———平均精度;
n ———數(shù)量,被評(píng)估對(duì)象類別的數(shù)量;
APi ———類別平均精度i。
A.10.3 文本處理
對(duì)于適用于文本處理的預(yù)訓(xùn)練模型,通常采取以下性能指標(biāo)評(píng)估預(yù)訓(xùn)練模型在下游任務(wù)域上的性
能表現(xiàn)。
a) 精確度(Precision):正確預(yù)測(cè)為陽性的實(shí)例(真陽性)在所有預(yù)測(cè)為陽性的實(shí)例中所占的比
例,表達(dá)式見公式(A.9)。
Precision= TP
TP+FP …………………………(A.9)
式中:
Precision———精確度;
TP ———真陽性,正確預(yù)測(cè)為陽性的實(shí)例數(shù)量;
FP ———假陽性,預(yù)測(cè)為陽性但實(shí)際為陰性的實(shí)例數(shù)量。
b) 召回率(Recall):正確預(yù)測(cè)為陽性的實(shí)例(真陽性)占所有實(shí)際陽性實(shí)例的比例,表達(dá)式見公
式(A.10)。
Recall= TP
TP+FN …………………………(A.10)
式中:
TP———真陽性,正確預(yù)測(cè)為陽性的實(shí)例數(shù)量;
FN———假陰性,預(yù)測(cè)為陰性但實(shí)際為陽性的實(shí)例數(shù)量。
c) F1分?jǐn)?shù):F1 分?jǐn)?shù)是精確度和召回率的調(diào)和平均值,表達(dá)式見公式(A.11)。
11
YY/T1833.5—2024
F1 =2·(P ·R)
P +R …………………………(A.11)
式中:
F1———F1 分?jǐn)?shù);
P ———精確度,正確預(yù)測(cè)為陽性的實(shí)例(真陽性)在所有預(yù)測(cè)為陽性的實(shí)例中所占的比例;
R ———召回率,正確預(yù)測(cè)為陽性的實(shí)例(真陽性)占所有實(shí)際陽性實(shí)例的比例。
A.11 架構(gòu)可擴(kuò)展性
可擴(kuò)展性主要體現(xiàn)的是模型對(duì)計(jì)算資源的支持能力。對(duì)預(yù)訓(xùn)練模型已經(jīng)驗(yàn)證過的典型部署環(huán)境進(jìn)
行描述的主要內(nèi)容,包含:
———指定算力規(guī)格及架構(gòu)的單個(gè)人工智能服務(wù)器,能支持的最大模型參數(shù)和結(jié)構(gòu),包括服務(wù)器算
力、集成的人工智能加速卡個(gè)數(shù)、服務(wù)器內(nèi)加速卡間的互聯(lián)方式、人工智能加速處理器類型等;
———部署能夠支持的最大AI加速卡個(gè)數(shù),以及對(duì)模型分布式并行切分的策略設(shè)計(jì)。
A.12 泛化性、健壯性測(cè)試參考方法
A.12.1 泛化性測(cè)試方法如下。
a) 子群體組合測(cè)試法:將具有相似特征的案例分組,形成案例子群體,并將不同子群體的樣本組
合起來,形成多樣化的測(cè)試集。在測(cè)試過程中,要求被測(cè)模型能對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè),且模型
性能不在子群體間產(chǎn)生顯著的統(tǒng)計(jì)偏差(具體統(tǒng)計(jì)方法根據(jù)任務(wù)進(jìn)行適當(dāng)選擇)。
b) 壓力樣本測(cè)試方法:使用目標(biāo)數(shù)據(jù)庫中的非典型或難以分類的樣本來測(cè)試模型性能。要求模
型性能在難測(cè)樣本中到達(dá)模型提供方說明的性能基線。
c) 模型提供方說明的其他測(cè)試方法。
A.12.2 健壯性測(cè)試方法如下。
a) 自然噪聲樣本測(cè)試方法:從數(shù)據(jù)庫中選擇自然噪聲較大的樣本,在這些大的噪聲樣本中測(cè)試預(yù)
訓(xùn)練模型的識(shí)別精度,要求模型能產(chǎn)生正確的結(jié)果。
b) 不合格樣品測(cè)試方法:從數(shù)據(jù)庫中抽取其他類型的樣本,以及在正確的樣本中混入其他有明顯
錯(cuò)誤的樣本,用被測(cè)預(yù)訓(xùn)練模型進(jìn)行判別,要求模型能夠避免被誤導(dǎo)而產(chǎn)生錯(cuò)誤的結(jié)果。
c) 模型提供方說明的其他測(cè)試方法。
注:自然噪聲是一個(gè)相對(duì)的概念,根據(jù)任務(wù)的目標(biāo)和性能要求的不同,采用適當(dāng)?shù)闹笜?biāo)來度量噪聲,以及確定噪聲
的水平和閾值。
12
YY/T1833.5—2024
附 錄 B
(資料性)
模型說明描述示例
B.1 腫瘤分割預(yù)訓(xùn)練模型概述
腫瘤和器官的精準(zhǔn)分割是影像輔助診斷、放射治療中靶區(qū)和危及器官勾畫的關(guān)鍵步驟。但是不同
應(yīng)用目的,甚至不同醫(yī)療機(jī)構(gòu)、專家對(duì)于腫瘤和器官在影像上的邊界認(rèn)知不同,因此,建立腫瘤分割的預(yù)
訓(xùn)練模型,再根據(jù)不同任務(wù)的目的進(jìn)行微調(diào),將成為快速、低成本、系統(tǒng)化、系列化、高質(zhì)量進(jìn)行相關(guān)研
究、開發(fā)臨床系統(tǒng)、研發(fā)人工智能醫(yī)療器械的可行技術(shù)路線。
B.2 預(yù)訓(xùn)練模型描述
預(yù)訓(xùn)練模型訓(xùn)練框架為Unet,采用全監(jiān)督方式進(jìn)行模型訓(xùn)練,訓(xùn)練數(shù)據(jù)為CT 模態(tài)的浮點(diǎn)型二維
掃描數(shù)據(jù),標(biāo)簽采用one-hot編碼標(biāo)注的人體表(Body)區(qū)域。
B.3 模型框架描述
B.3.1 模型結(jié)構(gòu)
采用Unet網(wǎng)絡(luò)結(jié)構(gòu),使用4層結(jié)構(gòu),包含一個(gè)輸入層(Input)、多個(gè)編碼器(Encoder)、多個(gè)解碼器
(Decoder)和一個(gè)輸出層(Output)。輸入層是整個(gè)網(wǎng)絡(luò)的輸入,也是第一個(gè)編碼器的輸入。每個(gè)編碼
器包含兩個(gè)卷積層和一個(gè)最大池化層(Maxpooling)以實(shí)現(xiàn)下采樣。每次下采樣后,編碼器輸出的特征
圖維度和大小會(huì)下降,通道數(shù)會(huì)增加。每個(gè)解碼器包含一個(gè)反卷積層(Deconv)、一個(gè)跳躍連接(Skip
connection)和兩個(gè)卷積層,以實(shí)現(xiàn)上采樣。每次上采樣后,解碼器輸出的特征圖維度和大小會(huì)增加,通
道數(shù)減少。編碼器和解碼器中的卷積層均由卷積運(yùn)算(Conv)、批量正則(Batchnorm)、線性整流函數(shù)
(RectifiedLinearUnit,RelU)激活函數(shù)構(gòu)成。輸出層由卷積運(yùn)算(Conv)組成,每個(gè)通道表示一個(gè)器官
分割概率圖。
B.3.2 模型節(jié)點(diǎn)
預(yù)訓(xùn)練模型中的節(jié)點(diǎn)共9.04 M 個(gè),分布方式采用前饋結(jié)構(gòu),即由Encoder和Decoder組成。
Encoder通過多個(gè)卷積層將輸入圖像逐漸降采樣為低分辨率的特征圖,而Decoder則通過反卷積和跳
躍連接的方式逐漸恢復(fù)高分辨率的特征圖。節(jié)點(diǎn)間連接方式主要為兩種,一種是通過局部連接方式在
Encoder/Decoder部分的上下層間連接,另一種是通過跳躍連接將Encoder的特征圖與Decoder的特
征圖進(jìn)行拼接。
B.3.3 模型參數(shù)
預(yù)訓(xùn)練模型由Input、Encoder、Decoder、Output模塊組成,這四個(gè)模塊的最小構(gòu)成單元包含2維卷
積(Conv2d)、ReLU 激活函數(shù)、2維批量正則(BatchNorm2d)、2維最大池化(MaxPool2d)、2維隨機(jī)失
活(Dropout2d)五部分,其中Conv2d的卷積大小為3×3、Dropout2d的置零率為0.5、MaxPool2d的池
化窗口為2。具體每層輸出的數(shù)據(jù)維度和大小如表B.1所示。
注:“輸出的大小”中的“-1”代表該維度隨著預(yù)訓(xùn)練時(shí)的batch而變動(dòng)。
13
YY/T1833.5—2024
表B.1 模型結(jié)構(gòu)及參數(shù)
主體結(jié)構(gòu)層名稱卷積大小輸出的大小
Input
Conv2d-1 3×3
ReLU-2 —
BatchNorm2d-3 —
Dropout2d-4 —
Conv2d-5 3×3
ReLU-6 —
BatchNorm2d-7 —
Dropout2d-8 —
[-1,1,256,256]
Encoder1
Encoder2
Encoder3
Conv2d-9 3×3
ReLU-10 —
BatchNorm2d-11 —
Dropout2d-12 —
Conv2d-13 3×3
ReLU-14 —
BatchNorm2d-15 —
Dropout2d1-16 —
double_conv2D-17 3×3
MaxPool2d-18 —
Conv2d-19 3×3
ReLU-20 —
BatchNorm2d-21 —
Dropout2d-22 —
Conv2d-23 3×3
ReLU-24 —
BatchNorm2d-25 —
Dropout2d-26 —
double_conv2D-27 3×3
down2D-28 3×3
MaxPool2d-29 —
Conv2d-30 3×3
ReLU-31 —
BatchNorm2d-32 —
Dropout2d-33 —
Conv2d-34 3×3
[-1,32,256,256]
[-1,64,128,128]
[-1,128,64,64]
14
YY/T1833.5—2024
表B.1 模型結(jié)構(gòu)及參數(shù)(續(xù))
主體結(jié)構(gòu)層名稱卷積大小輸出的大小
Encoder3
Encoder4
Encoder5
ReLU-35 —
BatchNorm2d-36 —
Dropout2d-37 —
double_conv2D-38 3×3
down2D-39 3×3
MaxPool2d-40 —
Conv2d-41 3×3
ReLU-42 —
BatchNorm2d-43 —
Dropout2d-44 —
Conv2d-45 3×3
ReLU-46 —
BatchNorm2d-47 —
Dropout2d-48 —
double_conv2D-49 3×3
down2D-50 3×3
MaxPool2d-51 —
Conv2d-52 3×3
ReLU-53 —
BatchNorm2d-54 —
Dropout2d-55 —
Conv2d-56 3×3
ReLU-57 —
BatchNorm2d-58 —
Dropout2d-59 —
double_conv2D-60 3×3
down2D-61 3×3
[-1,128,64,64]
[-1,256,32,32]
[-1,512,16,16]
Decoder1
Decoder2
ConvTranspose2d-62 3×3
Conv2d-63 3×3
ReLU-64 —
BatchNorm2d-65 —
Dropout2d-66 —
Conv2d-67 3×3
ReLU-68 —
BatchNorm2d-69 —
[-1,256,16,16]
[-1,256,32,32]
15
YY/T1833.5—2024
表B.1 模型結(jié)構(gòu)及參數(shù)(續(xù))
主體結(jié)構(gòu)層名稱卷積大小輸出的大小
Decoder2
Decoder3
Decoder4
Decoder5
Dropout2d-70 —
double_conv2D-71 3×3
up2D-72 3×3
ConvTranspose2d-73 3×3
Conv2d-74 3×3
ReLU-75 —
BatchNorm2d-76 —
Dropout2d-77 —
Conv2d-78 3×3
ReLU-79 —
BatchNorm2d-80 —
Dropout2d-81 —
double_conv2D-82 3×3
up2D-83 3×3
ConvTranspose2d-84 3×3
Conv2d-85 3×3
ReLU-86 —
BatchNorm2d-87 —
Dropout2d-88 —
Conv2d-89 3×3
ReLU-90 —
BatchNorm2d-91 —
Dropout2d-92 —
double_conv2D-93 3×3
up2D-94 3×3
ConvTranspose2d-95 3×3
Conv2d-96 3×3
ReLU-97 —
BatchNorm2d-98 —
Dropout2d-99 —
Conv2d-100 3×3
ReLU-101 —
BatchNorm2d-102 —
Dropout2d-103 —
double_conv2D-104 3×3
up2D-105 3×3
[-1,256,32,32]
[-1,128,64,64]
[-1,64,128,128]
[-1,32,256,256]
16
YY/T1833.5—2024
表B.1 模型結(jié)構(gòu)及參數(shù)(續(xù))
主體結(jié)構(gòu)層名稱卷積大小輸出的大小
Output
Conv2d-106 3×3
ReLU-107 —
Conv2d-108 3×3
outconv2D-109 3×3
[-1,16,256,256]
[-1,1,256,256]
B.3.4 模型數(shù)據(jù)表示
模型數(shù)據(jù)表示如下。
a) 數(shù)據(jù)抽象程度
模型輸入數(shù)據(jù)為從CT設(shè)備獲取的含有人體組織、器官的DICOM 原始圖像數(shù)據(jù),并且CT 拍
攝范圍需要包含進(jìn)行模型訓(xùn)練的人體組織、器官,數(shù)據(jù)輸入模型前未進(jìn)行特征變換和特征
選擇。
b) 數(shù)據(jù)類型
模型輸入數(shù)據(jù)的可接受類型為整數(shù)、浮點(diǎn)數(shù)。
c) 數(shù)據(jù)維度和大小
模型可以接受的數(shù)據(jù)維度為1,大小為65536(256×256)。
d) 編碼方式
輸入的訓(xùn)練數(shù)據(jù)采用將真實(shí)世界中的亮度值轉(zhuǎn)化為計(jì)算機(jī)中的數(shù)值強(qiáng)度進(jìn)行線性編碼,真實(shí)
世界中亮度值越高則計(jì)算機(jī)中的數(shù)值越大。進(jìn)行預(yù)訓(xùn)練時(shí)的標(biāo)簽數(shù)據(jù)采用獨(dú)熱編碼(one-hot
encoding)。
e) 數(shù)據(jù)處理
模型的輸入數(shù)據(jù)大小會(huì)先變形到大小為65536的1維向量,然后將數(shù)據(jù)歸一化到(0,1)區(qū)間。
模型的輸出數(shù)據(jù)需要從大小為65536的1維向量恢復(fù)到輸入數(shù)據(jù)維度和大小。
B.3.5 模型可解釋性
本模型屬于典型的基于編碼器-解碼器結(jié)構(gòu)的深度卷積網(wǎng)絡(luò)。通過模型激活可視化,可以觀察到本
模型在編碼器前端主要提取細(xì)粒度邊緣和角點(diǎn)信息,隨著編碼器逐步對(duì)特征進(jìn)行卷積,模型編碼的語義
特征為更加抽象的高維語義特征。
B.4 源任務(wù)數(shù)據(jù)描述
B.4.1 數(shù)據(jù)模態(tài)
數(shù)據(jù)模態(tài)為由CT設(shè)備掃描的CT圖像。
B.4.2 數(shù)據(jù)量
預(yù)訓(xùn)練模型的數(shù)據(jù)總量為100例CT模態(tài)的數(shù)據(jù)。數(shù)據(jù)集采用7∶2∶1的比例進(jìn)行構(gòu)建,即7份
數(shù)據(jù)做訓(xùn)練集、2份數(shù)據(jù)做驗(yàn)證集、1份數(shù)據(jù)做測(cè)試集。其中,訓(xùn)練集將參與預(yù)訓(xùn)練模型的訓(xùn)練,且數(shù)據(jù)
會(huì)影響各神經(jīng)元權(quán)重的調(diào)整。驗(yàn)證集參與預(yù)訓(xùn)練模型的訓(xùn)練,但不影響各神經(jīng)元權(quán)重的調(diào)整,僅作為一
個(gè)調(diào)整訓(xùn)練過程的精度指標(biāo)。獨(dú)立測(cè)試集不參與訓(xùn)練過程,它將用于測(cè)試預(yù)訓(xùn)練完成后的模型精度。
17
YY/T1833.5—2024
B.4.3 數(shù)據(jù)質(zhì)量
預(yù)訓(xùn)練模型使用的CT圖像,來自多個(gè)臨床機(jī)構(gòu),數(shù)據(jù)質(zhì)量控制如下。
a) 醫(yī)院級(jí)別及數(shù)量
1) 醫(yī)院級(jí)別:二級(jí)以上;
2) 醫(yī)院數(shù)量:3家以上。
b) 入選標(biāo)準(zhǔn)為:
1) 18歲以上接受放射治療患者;
2) CT影像層厚≤5mm;
3) 術(shù)式:(左右側(cè))保乳、根治;
4) 從分布上考慮患者年齡、術(shù)式,以確保納入對(duì)象的年齡、術(shù)式分布貼近臨床實(shí)況。
c) 排除標(biāo)準(zhǔn):
1) 掃描部位先天畸形或解剖結(jié)構(gòu)異常;
2) 患者體位不符合常見臨床掃描標(biāo)準(zhǔn);
3) 偽影、假體、植入物等導(dǎo)致影像不清晰難以辨別;
4) 影像不符合DICOM 標(biāo)準(zhǔn);
5) 研究者認(rèn)為不合適。
d) 數(shù)據(jù)采集規(guī)范
1) 采集流程:簽署合作協(xié)議、采集和脫敏、數(shù)據(jù)質(zhì)控、數(shù)據(jù)轉(zhuǎn)移;
2) 采集設(shè)備:16排以上螺旋CT,層厚≥2mm;
3) 采集參數(shù):常規(guī)成像、符合DICOM3.0標(biāo)準(zhǔn)、常規(guī)劑量和低劑量掃描、分辨率512×512及
以上;
4) 數(shù)據(jù)脫敏:保留性別、年齡、檢查時(shí)間等信息,其他信息進(jìn)行脫敏處理;
5) 采集人員:影像專業(yè)醫(yī)師或技師;
6) 脫敏人員:采集醫(yī)療機(jī)構(gòu)指定的醫(yī)師、技師或信息專業(yè)工程師;
7) 審核人員:住院醫(yī)師及以上;
8) 數(shù)據(jù)接收人員:企業(yè)指定人員,具有醫(yī)學(xué)影像處理基礎(chǔ)知識(shí)和影像解剖培訓(xùn)。
e) 數(shù)據(jù)清洗規(guī)范:
1) 清洗對(duì)象:CT圖像;
2) 清洗規(guī)則:檢查脫敏、可讀性、數(shù)據(jù)完整性、偽影等;
3) 人員要求:企業(yè)指定人員,具有醫(yī)學(xué)影像處理基礎(chǔ)知識(shí)和影像解剖培訓(xùn)。
f) 數(shù)據(jù)標(biāo)注規(guī)范:
1) 標(biāo)注內(nèi)容:人體器官和腫瘤病灶外部輪廓;
2) 標(biāo)注流程:采用背靠背雙人標(biāo)注和專家仲裁方式;
3) 標(biāo)注人員:影像或臨床專業(yè)醫(yī)師及以上;
4) 仲裁人員:影像或臨床副主任醫(yī)師及以上。
B.4.4 基準(zhǔn)性能
本模型在其原任務(wù),即標(biāo)準(zhǔn)乳腺癌臨床靶區(qū)(CTV)勾畫任務(wù)中的測(cè)試集中,其勾畫結(jié)果相較于基
準(zhǔn)勾畫結(jié)果,Dice系數(shù)為0.871。
B.5 訓(xùn)練過程描述
B.5.1 學(xué)習(xí)方法
預(yù)訓(xùn)練模型采用全監(jiān)督學(xué)習(xí)的方式進(jìn)行訓(xùn)練。
18
YY/T1833.5—2024
B.5.2 訓(xùn)練設(shè)置
本模型預(yù)訓(xùn)練過程中采用水平、垂直翻轉(zhuǎn)訓(xùn)練數(shù)據(jù)以及增加隨機(jī)的高斯噪聲方式進(jìn)行訓(xùn)練數(shù)據(jù)的
增強(qiáng)。使用隨機(jī)權(quán)重作為模型的初始化權(quán)重值,訓(xùn)練過程中的優(yōu)化器為隨機(jī)梯度下降(StochasticGradientDescent,
SGD),數(shù)據(jù)的迭代量(batch)為60,初始學(xué)習(xí)率為0.001,學(xué)習(xí)率將會(huì)隨著訓(xùn)練的輪次
(epoch)動(dòng)態(tài)變化,變化的規(guī)律為每20個(gè)epoch,學(xué)習(xí)率下降10%。
B.5.3 任務(wù)域
預(yù)訓(xùn)練模型的任務(wù)域?yàn)镃T圖像中的人體表(Body)分割任務(wù)。
B.6 模型適用性描述
B.6.1 適用數(shù)據(jù)模態(tài)
預(yù)訓(xùn)練模型僅支持CT掃描數(shù)據(jù)。
B.6.2 適用任務(wù)類型
預(yù)訓(xùn)練模型僅支持圖像分割任務(wù)。
B.6.3 適用環(huán)境
運(yùn)行預(yù)訓(xùn)練模型所需的推薦計(jì)算資源見表B.2。
表B.2 推薦計(jì)算資源
部件規(guī)格
中央處理器Intel(R)Xeon(R)CPUE5-2640v4@2.40GHz
內(nèi)存32GB
數(shù)據(jù)硬盤5TB
顯卡GTX1080-Ti-11GB
操作系統(tǒng)Ubuntu16.04.2LTS
B.6.4 下游任務(wù)訓(xùn)練數(shù)據(jù)需求
預(yù)訓(xùn)練模型遷移到新任務(wù)域時(shí)的數(shù)據(jù)集規(guī)模將會(huì)發(fā)生改變。舉例說明,人體表(Body)分割任務(wù)的
模型訓(xùn)練采用100例CT數(shù)據(jù)完成。對(duì)于新的任務(wù)域,如乳腺癌靶區(qū)分割任務(wù)的模型訓(xùn)練僅需要采用
50例CT數(shù)據(jù)完成。
本模型在微調(diào)中無需使用特殊的訓(xùn)練方法和訓(xùn)練設(shè)置,本模型共計(jì)在新下游任務(wù)對(duì)應(yīng)的數(shù)據(jù)集上
完成了50個(gè)輪次的訓(xùn)練。
19
YY/T1833.5—2024
參 考 文 獻(xiàn)
[1] GB/T41867—2022 信息技術(shù) 人工智能 術(shù)語
[2] IEEEStd2801-2022 RecommendedPracticefortheQualityManagementofDatasetsfor
MedicalArtificialIntelligence
[3] 計(jì)算機(jī)科學(xué)技術(shù)名詞審定委員會(huì).計(jì)算機(jī)科學(xué)技術(shù)名詞[M].3版.北京:科學(xué)出版社,2002.
20
YY/T1833.5—2024