人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求
Artificial Intelligence Medical Devices?Quality Requirements and evaluation?Part 3: general requirement for data annotation
  国家标准计划《人工智能医疗器械 质量要求和评价 第3部分:数据标注通用要求》由SMD/TU 002(人工智能医疗器械标准化技术归口单位)归口上报及执行,主管部门为国家药品监督管理局。

  主要起草单位 中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评中心、上海长征医院、中国人民解放军总医院等

征求意见稿
标准草案 标准草案.pdf   项目申报书 项目申报书.pdf  

基础信息
标准性质 推荐性国家标准 标准类别 基础
制修订 制定  
归口单位 国家药品监督管理局 执行单位 国家药品监督管理局
主管部门 国家药品监督管理局

起草单位
中国食品药品检定研究院、国家药品监督管理局医疗器械技术审评中心、上海长征医院、中国人民解放军总医院等

目的意义
数据作为进行人工智能医疗器械产品研发、测试、质控的基础,其质量直接决定了最终系统的功能和性能,提高数据质量的方法除了对于采集来源等进行约束外,对数据内容进行数据治理是重要的手段,其中对数据进行标注(如图像中关键区域的标识、分类,文本的分词、实体关系抽取等)是必须和基础的处理步骤。尤其对于医学相关数据的标注有其自身特性和领域的规范,包括对标注的人员要求高、标注内容需权威医学专家形成共识、标注过程符合伦理隐私要求、标注方法等。与之形成巨大差异的是目前医学人工智能领域的数据标注缺乏规范和标准,以各个研究机构、医疗机构、企业自行进行,存在标注内容不科学、标注人员参差不齐、标注质量不可保证等致命性缺陷,导致基于此类数据集开发医疗器械质量不可评价、各厂家之间标准不统一、产品宣称与实际应用指标相差巨大等问题,严重制约人工智能医疗器械的推广和行业健康发展。同时,因为目前行业内具有影响力的一些公开数据集,例如肺结节数据集主要由NIH等国外机构发布,标注方法和内容由国外政府支持的机构控制,导致我国在领域存在受限于国外的情况,并不能排除国外机构利用标准和专利等手段对我国的相关产业进行封锁和打击等风险。因此在技术发展、产业效益、国家安全等层面分析,都需要制定人工智能医疗器械的数据治理标准,其中数据标注是基础性标准之一。

范围和主要技术内容
本文件规定了人工智能医疗器械数据标注通用要求和评价方法。本文件适用于人工智能医疗器械数据标注活动。 本标准第四章提出了数据集标注任务说明文档的通用要求,包括人机料法环等具体细节。本标准第五章提出了数据标注质量特性的含义及表征,用于指导标注责任方在标注前明确设计输入或预期的指标;该章节的内容与YY/T 1833.2-2022形成呼应。本标准第六章提出了数据标注过程质控的要求,用于指导标注责任方开展过程管理并形成必要的可追溯记录。本标准第7章提出了数据标注工具的推荐性技术要求,包括软件功能、数据安全和网络安全等方面,有助于指导标注责任方科学合理地选用标注工具,更好地控制风险。本标准第8章提出了数据标注质量评价的方法,对前面三章的内容进行验证,最终形成评价报告,实现闭环。