《医学人工智能社会治理综合评价指南》编制说明.docx

医学人工智能社会治理综合评价指南（送审稿）编制说明一'项目背景（一）国内外相关情况简介2017年7月8日，国务院印发了新一代人工智能发展规划，要求初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力。2018年10月，习近平总书记在十九届中央政治局第九次集体学习时明确指出：“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”2021年9月25日，新一代人工智能伦理规范发布，提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求，并提出了人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。2022年3月20日，国务院办公厅印发关于加强科技伦理治理的意见，要求“进一步完善科技伦理体系,提升科技伦理治理能力，有效防控科技伦理风险，不断推动科技向善、造福人类“，将人工智能伦理纳入科技伦理的综合治理中。随着人工智能技术的应用普及，人工智能技术滥用等问题不断出现，同时也带来了信息安全问题。2023年4月，美国斯坦福大学以人为本人工智能研究所（StanfordHAI）发布的2023年人工智能指数报告（ArtfCia1.1.nte1.1.igenCe于人工智能治理政策要求与标准规范，分析适宜深圳本土医学人工智能治理的规范性要素、技术要点和框架结构。2 .实地调研阶段2022年11月-12月，编制组通过问卷调查、实地走访、关键人物访谈、小组访谈等方式对科研院校、医疗卫生机构、人工智能相关企业及相关政府主管部门的医学人工智能治理的安全、风险、效用、效率、效益的治理评价内涵与内容构成展开实地调研和讨论，并关于深圳医疗人工智能治理评价指标体系的可操作性进行探讨。3 .标准起草阶段2023年5月，完成了评价指南框架起草。编制组根据前期文献研究成果和专家访谈所获资料的文本分析，2023年8月在前述基本框架的基础上，撰写评价指南，调整标准基础格式，形成了评价指南初稿。此后，经过多次内部讨论，对初稿文本进行了多轮修订和补充，形成面向人工智能治理相关行业专家咨询的评价指南（征求意见稿）4 .征求意见阶段2023年8月下旬至2023年12月上旬，编制组采用线上函询线下面询的方式，向中国科学院自动化所、中国医学科学院医学信息研究所、国家卫生健康委员会、国家卫生健康委员会卫生发展研究中心、深圳市卫生健康发展研究和数据管理中心、深圳大学、香港中文大学（深圳）、深圳市人民医院、深圳市中医院、华中科技大学协和深圳医院、深圳市龙华区人民医院、北京大学深圳医院、华为技术有限公司、深圳市腾讯计算机系统有限公司、深圳平安医疗健康管理股份有限公司、深圳海云安网络安全技术有限公司、深圳蓝网科技有限公司、浙江省数理医学学会、河南省标准化与质量研究院、深圳市标准技术研究院等机构从事人工智能研发、卫生法、卫生管理、卫生经济评价、数据安全、算法开发、医疗信息管理、行业标准制定等工作的相关专家学者进行意见征询，并基于征求意见进行反馈和开展深入的咨询研讨。截至2023年12月上旬，开展线下专家研讨会议和意见征询四轮（线下每轮征询专家人数4-5人），开展线上专家研讨会议和意见征询13轮（线上每轮征询专家人数1-2人）编制组根据专家对评价指南（征求意见稿）提出的反馈意见以及修改建议，经过逐条整理与回应，确定采纳与否和修改方式，形成征求意见汇总处理表。在征求意见汇总处理表的基础上，完成评价指南（征求意见稿）的完善与修订，并基于以上的修改情况反馈于相应的专家以达成最终的修改共识。2024年4月26日-2024年5月26日，通过深圳市卫生健康委员会的门户网站公开征求意见，未收到反馈意见。同时,书面征求市科技创新局、市工业和信息化局、市市场监管局、市医疗保障局、市政务和数据局、各卫生健康行政部门和委属医疗机构等单位意见，共收到反馈意见5条，无意见20条。编制组对收到的反馈意见进行汇总处理，其中采纳3条，部分采纳1条，不采纳1条，并整理征求意见汇总处理表。截至2024年10月，编制组从立项至评价指南（征求意见稿）初步确定共形成了17个版本，展开多轮内部改稿会，多次审阅标准文本，进一步完善评价指南的框架、厘清条目内容逻辑、打磨标准文本格式。经过多轮修改后，形成了医学人工智能社会治理综合评价指南（送审稿），并撰写标准编制说明文件。三、地方标准主要内容的依据以及与国内外先进标准的对标情况（一）标准制定的原则1 .全面系统，兼容并包评价指南查阅和吸纳国内外不同行业关于人工智能治理相关服务标准和指引，展现医学人工智能治理评价的既有共识和前沿发展，全面呈现医学人工智能治理使用者面对不同情境进行不同维度的评估内容。2 .使用导向，切实可行评价指南以指导实际应用为导向，考量了不同类别医学人工智能产品的特点。在条文的编写上，咨询了医学人工智能开发者、医学人工智能产品使用者、医学人工智能产品监管者等利益相关者的意见，为医学人工智能治理提供了具体指导。3 .体现特色，适宜推广评价指南在保证体系和内容完善的同时，突出深圳市医学人工智能发展的本土特色，首先深圳市是医学人工智能产品研发的前沿阵地，同时具有良好信息系统建设，深圳市医疗卫生机构更是医学人工智能产品落实使用的试验田，为此评价指南在深圳市推广具有较好的适宜性，可为国内其他地市发展医学人工智能治理工作提供了宝贵的实践经验。（二）标准制定的依据本文件严格按照标准化工作导则第1部分：标准化文件的结构和起草规则（GB/T1.12020）的要求进行编写。各章主要内容的研制依据情况如下。本文件第三章术语与定义，编制依据情况如下表。内容依据3.1医学人工智能依据GB/T41867,关键通用技术相关术语；YY/T1833.1,定义3.1.2和3.1.33.2医学人工智能治理依据Ethicsandgovernanceofartificia1.inte1.1.igenceforhea1.thGuidanceonIargemu1.ti-moda1.mode1.s(Wor1.dHea1.thOrganization,2024)3.3医学人工智能治理评价依据专家研讨达成的专家共识3.4训练数据依据GB/T418672022,定义3.2.34,有修改3.5医学人工智能技术内在风险依据全国网络安全标准化技术委员会发布的人工智能安全治理框架编制3.6医学人工智能技术应用风险依据全国网络安全标准化技术委员会发布的人工智能安全治理框架编制本文件第4章评价原则，参考评价过程需要考虑的事项原则,结合评价过程中需要考虑的原则，经过研究确定了可行性原则、全面性原则、代表性原则、时效性原则。本文件第5章指标体系，参考深圳经济特区数据条例（深圳市第七届人民代表大会常务委员会公告（第十号）、全国医院信息化建设标准与规范（试行）（国卫办规划发2018）4号）、全国基层医疗卫生机构信息化建设标准与规范（试行）（国卫规划函（201987号）、生成式人工智能服务管理暂行办法(国家互联网信息办公室中华人民共和国国家发展和改革委员会中华人民共和国教育部中华人民共和国科学技术部中华人民共和国工业和信息化部中华人民共和国公安部国家广播电视总局令第15号)、关于印发医疗机构临床决策支持系统应用管理规范(试行)(国卫办医政函(2023268号)、生成式人工智能服务安全基本要求(信安秘字(2023146号)等政策文件，结合相关标准实际和深圳市对医学人工智能治理评价的需求情况，形成并建立了文件中的评价指标体系。本文件第6章指标内涵，编制依据情况如下表。指标依据6.3.1数据安全信息安全技术个人信息安全规范(GB/T352732020)智能交通数据安全服务(GB/T373732019)信息安全技术健康医疗数据安全指南(GB/T397252020)金融数据安全数据生命周期安全规范(JR/T02232021)电信网和互联网数据安全评估规范(YD/T39562021)人工智能医疗器械质量要求和评价第3部分：数据标注通用要求(YY/T1833.32022)人工智能开发平台通用能力要求第1部分：功能要求(YD/T4392.12023)信息安全人工智能数据安全通用要求(DB11/T22512024)6.3.2隐私安全信息安全技术个人信息安全规范(GB/T352732020)信息安全技术健康医疗数据安全指南(GB/T397252020)人工智能算法金融应用信息披露指南(JR/T02872023)人工智能医疗器械质量要求和评价第3部分：数据标注通用要求(YY/T1833.32022)6.3.3医疗安全依据糖尿病视网膜病变人工智能筛查应用规范(DB52/T17262023)和相关行业专家意见共识编制。6.3.4场景渗透、6.3.5适用效能、6.33受众体验依据基于人工智能的接入网运维和业务智能化场景与需求(YD/T407012022)、Regu1.atoryconsiderationSonartificia1.inte1.1.igenceforhea1.th(Wor1.dHea1.thOrganization,2023)和相关行业专家意见共识编制。6.3.7算法风险信息技术人工智能术语(GB/T418672022)人工智能算法金融应用评价规范(JR/T02212021)人工智能医疗器械质量要求和评价第3部分：数据标注通用要求(YY/T1833.32022)人工智能开发平台通用能力要求第1部分：功能要求(YD/T4392.12023)人工智能医疗器械冠状动脉CT影像处理软件算法性能测试方法(YD/T49212024)6.3.8训练数据风险人工智能医疗器械质量要求和评价第3部分：数据标注通用要求(YY/T1833.32022)人工智能开发平台通用能力要求第1部分：功能要求(YD/T4392.12023)6.3.9生成内容风险人工智能医疗器械质量要求和评价第4部分：可追溯性(YY/T1833.42023)人工智能开发平台通用能力要求第1部分：功能要求(YD/T4392.12023)网络安全技术生成式人工智能服务安全基本要求(征求意见稿)6.3.10社会安全风险、6.3.11伦理风险、6.3.12社会经济风险人工智能算法金融应用信息披露指南(JR/T02872023)基于人工智能的多中心医疗数据协同分析平台参考架构(YD/T40432022)移动智能终端可信人工智能安全指南(YD/T49602024)EthicsandGovernanceofArtificia1.Inte1.1.igenceforHea1.th(Wor1.dHea1.thOrganization,2021)Regu1.atoryconsiderationSonartificia1.inte1.1.igenceforhea1.th(Wor1.dHea1.thOrganization,2023)Ethicsandgovernanceofartificia1.inte1.1.igenceforhea1.thGuidanceonIargemu1.ti-moda1.mode1.s(Wor1.dHea1.thOrganization,2024)6.3.13成本效率、6.3.14规模效率、6.3.15配置效率依据EthicsandGovernanceofArtificia1.Inte1.1.igenceforHea1.th(Wor1.dHea1.thOrganization,2021)、Regu1.atoryconsiderationSonartificia1.inte1.1.igenceforhea1.th(Wor1.dHea1.thOrganization,2023)、Ethicsandgovernanceofartificia1.inte1.1.igenceforhea1.thGuidanceon1.argemu1.ti-moda1.mode1.s(Wor1.dHea1.thOrganization,2024)和相关行业专家意见共识编制。6.3.16经济效益、6.3.17社会效益、6.3.18健康效益依据EthicsandGovernanceofArtificia1.Inte1.1.igenceforHea1.th(Wor1.dHea1.thOrganization,2021)、Ethicsandgovernanceofartificia1.inte1.1.igenceforhea1.thGuidanceon1.argemu1.ti-moda1.mode1.s(Wor1.dHea1.thOrganization,2024)和相关行业专家意见共识编制。(三)与国内外先进标准的对标情况目前国内外暂无已实行的医学人工智能治理评价的相关标准文件。四'主要条款的说明以及主要技术指标、参数、试验验证的论述评价指南现有6个章节以及参考文献。包括范围、规范性引用文件、术语与定义、指标选取原则、指标体系、指标内涵（一级指标、二级指标、三级指标）。以下对标准中的主要条款进行简要说明。（一）范围本文件提供了开展医学人工智能治理评价的指导，给出了指标选取原则、指标体系的构成、内容、架构图和指标内涵等方面的建议，并给出了相关信息。本文件适用于评价深圳市行政区域内医学人工智能治理产生的现实或潜在影响的活动。（二）规范性引用文件本章节主要包括了标准文本中规范性引用的文件。（三）术语和定义本章节主要包括医学人工智能、医学人工智能治理、医学人工智能治理评价、训练数据、医学人工智能技术内在风险、医学人工智能技术应用风险的术语与定义。（四）指标选取原则本章介绍了医学人工智能治理评价指标体系中评价指标选取的原则，包括可行性原则、全面性原则、代表性原则、时效性原则。（五）指标体系本章介绍了指标体系的构成、指标体系内容及指标体系架构图。医学人工智能治理指标体系的结构分3个层级，其中一级指标3个，二级指标6个，三级指标18个。（六）指标内涵本章节给出了医学人工智能治理评价指标体系中一级指标、二级指标、三级指标的内涵。五、是否涉及专利等知识产权问题本文件不涉及专利和其他知识产权问题。六'重大意见分歧的处理依据和结果无。七'实施地方标准的措施建议根据深圳市地方标准管理办法（市政府令第345号），市有关行政主管部门在标准发布后，应当组织开展本部门、本行业地方标准的宣传和实施工作。建议主管部门采用以下多种方式开展标准的宣贯与实施工作，积极推动与医学人工智能治理综合评价相关的各利益方理解并实施本文件。（一）组织标准宣贯与培训工作首先，由主管部门统筹，通过线上和线下多种渠道和形式，向标准应用相关方宣传和介绍本文件，提高本文件的知晓度；其次，由主管部门组织标准实施的培训工作，要求标准应用的相关利益方参加培训。（二）结合医学人工智能社会实验试点推广标准主管部门可以将本文件的实施纳入本市医学人工智能治理实验试点工作的年度计划中，组织标准编制单位制作标准解读与说明材料，鼓励试点单位结合实际情况开展标准的实施工作。（三）开展督导检查与交流反馈由主管部门制定督导检查的工作机制与工作计划，定期组织标准实施的督导检查，记录标准实施情况。同时，组织标准实施交流反馈工作会议。八'其他需要说明的事项无。