韩国生成式人工智能治理新规则
文 | 苏州大学王健法学院 尹文平 樊祜玺
2025年8月6日,韩国个人信息保护委员会在首尔召开“生成式人工智能与隐私”公开研讨会,并正式发布《生成式人工智能开发和使用的个人信息处理指南》(以下简称《指南》)。这是韩国首次针对生成式人工智能全生命周期个人信息处理进行的系统性规范,为生成式人工智能开发和使用过程中的个人信息安全处理提供了指引。
《指南》展现了韩国在生成式人工智能个人信息保护监管领域的政策前瞻性,其内容与欧洲数据保护委员会发布的《人工智能隐私风险与缓解措施—大型语言模型》、美国国家标准与技术研究院发布的《隐私框架》以及英国政府发布的《人工智能手册》中的隐私治理内容相呼应,反映出韩国与全球人工智能治理的联系和一致性。
发布背景
生成式人工智能技术的高速发展,为全球科技创新与经济增长提供了强大动力。生成式人工智能发展的根基在于对海量数据的收集和处理。随着生成式人工智能应用领域和范围的扩大,其带来的个人信息处理风险愈发突出。特别是个人信息的未授权采集、滥用和泄露等问题屡现,这可能使公众暴露于数据监视之下,使个体的人格、隐私与主体性遭受严重威胁。因此,如何通过明确的规则实现技术进步与个人信息保护之间的平衡,已成为各国人工智能监管部门共同面临的重要课题。
韩国作为数据资源大国,其医疗、公共、金融等领域的数据已成为驱动生成式人工智能发展的关键材料。随着生成式人工智能带来的侵犯个人信息风险加剧,韩国公众和业界对生成式人工智能开发和使用过程中的个人信息保护需求愈发迫切。在此背景下,韩国制定了《指南》,旨在回应个人信息可以合法用于人工智能训练的标准、如何在生成式人工智能开发利用阶段建立个人信息安全管理体系等问题。
主要内容
《指南》以生成式人工智能开发和使用的全生命周期管理思路,将生成式人工智能开发和使用划分为目的设定、战略制定、人工智能的训练与开发以及系统应用与管理四个阶段,并在各阶段分环节明确了个人信息保护法规政策要求和具体保护措施建议,为平衡技术发展与隐私保护提供了基本框架。这对于各国解决生成式人工智能开发和使用全过程中个人信息保护法规政策适用的模糊性问题,提高不同类型生成式人工智能服务提供企业或其他组织机构的自主守法能力等具有重要作用。
《指南》还详细列举了主要的法规政策和典型案例,并以附件形式提供了按人工智能开发和使用阶段分类的隐私注意事项示例表。但《指南》旨在提高与生成式人工智能开发、使用相关的个人信息保护合规性,并不涉及其他法律法规规定的义务。
·
规范人工智能收集和处理个人信息的目的
·
《指南》提出生成式人工智能在开发和使用过程中收集和处理个人信息的目的必须明确、具体以及行为必须合法。
在目的明确和具体方面,《指南》以案例指出开发和使用单纯以统计目的或基于未来人工智能的学习分析目的长时间存储学生的学习时间、成绩水平、进度率等信息的生成式人工智能,违反了《个人信息保护法》第3条第1款确立的个人信息处理者必须明确个人信息处理目的的个人信息保护原则。
在行为合法方面,《指南》建议基于明确和具体目的的个人信息处理活动应有相应法律依据。《指南》将生成式人工智能开发和使用的个人信息处理类型分为已经公开的个人信息、已经收集的用户个人信息两类。针对已经公开的个人信息,在难以获取信息主体同意的前提下,可根据《个人信息保护法》第15条第1款第6项“正当利益”条款,从个人信息处理目的正当性、处理必要性以及处理者与被处理者利益衡量三个方面审查生成式人工智能技术对已公开个人信息处理的合法性。针对已经收集的用户个人信息,若企业或其他组织机构计划将这类个人信息重新用于人工智能训练,需结合个人信息的原始收集目的和人工智能服务的相关性进行自我评估,并判断新的个人信息处理目的是否属于目的内使用、追加使用或独立目的使用。根据不同的目的类型,在《个人信息保护法》中选择对应的条款依据。此外,针对个人敏感信息或唯一识别信息,信息处理者需要获得信息主体的单独同意或明确的法律授权。
·
制定人工智能开发和使用的隐私战略
·
《指南》建议生成式人工智能开发和使用的战略制定必须充分考虑常见的隐私策略,将隐私设计、隐私影响评估融入生成式人工智能开发和使用的战略制定中。
《指南》明确了企业或其他组织机构选择不同类型大语言模型开发和使用的隐私风险识别和行动要求。对于提供基于服务型大语言模型的人工智能服务企业或其他组织机构,需要通过许可协议、使用条款等来明确个人信息处理的目的、方式和范围。同时,《指南》建议优先选择企业API许可证,以避免个人API服务默认输入数据的可训练性。企业或其他组织机构还要注重审查数据跨境流动是否符合法律要求。此外,以开源大语言模型为主要对象进行模型二次开发的个人信息处理者,要特别注意初始训练数据集可能存在的个人信息侵权风险,并在后续模型的开发和使用过程中对个人信息风险进行识别、处置和预防;自主开发大语言模型的企业或其他组织机构,需要在人工智能开发和使用的全生命周期(包括但不限于数据的预训练、微调、部署和运营、后期管理等阶段)识别个人信息风险因素,并采取相关措施降低风险。
·
强化模型训练和开发的隐私保障
·
生成式人工智能具有将训练数据集中包含的信息以一种永久记忆的形式内化的技术特性,这可能导致原始信息直接暴露在输出结果中,或被用于敏感信息的推理等场景,直接增加个人信息主体权益受到侵害的风险。《指南》建议从生成式人工智能训练和开发阶段的数据、模型和系统三个层面考虑技术性及管理性的隐私安全措施。
在数据层面,《指南》建议从系统应对数据破坏活动、排除明确表示拒绝抓取的内容、数据集的假名或匿名化处理、强制删除个人身份识别信息以及使用隐私增强技术等方面来保障个人信息安全。在模型层面,《指南》建议通过模型微调、对齐等技术以及防御隐私攻击来降低个人信息风险。在系统层面,《指南》建议通过严格控制访问权限、应用敏感信息过滤器和检索增强技术以及使用人工智能代理来减少个人信息风险。
由于生成式人工智能训练和部署具有反复性,《指南》还建议企业或其他组织机构在生成式人工智能训练与开发过程中建立一个持续的隐私评估体系。
·
防范系统应用与管理的个人信息风险
·
系统应用与管理是生成式人工智能系统在完成训练和开发后,部署、应用于实际场景并正式提供服务的最后阶段。针对这一阶段,《指南》将风险管理制度细化为部署前与部署后两部分。
在部署前阶段,《指南》建议:一方面,重点核验人工智能输出结果的准确性,测试其抵御各类绕过安全措施行为的能力,同时评估学习数据存在泄露风险的可能性。所有检查过程及结果均需形成规范文档,为后续部署提供测试依据。另一方面,依据测试识别的风险制定并公开可接受使用政策,明确服务的使用目的与禁止行为。
进入部署后阶段,《指南》建议企业或其他组织机构在实施常态化个人信息风险监测的基础上,着重构建信息主体的权利保障机制。受当前技术发展水平所限,信息主体依《个人信息保护法》享有的查阅、更正、删除等传统权利的实现可能面临一定限制。即便如此,生成式人工智能服务提供者仍需向信息主体清晰说明限制原因,并通过输出过滤等替代性技术手段,切实回应并满足信息主体的合理诉求。《指南》还建议企业或其他组织机构保障信息主体对生成式人工智能系统自动化决策的拒绝权、解释请求权及审查请求权;在相关文件中清晰公开人工智能训练数据的收集、来源、处理目的及过程以确保透明度;对人工智能代理则要明确告知对话历史等训练数据的利用、向第三方提供、保管销毁及过滤标准等情况,并预留充足时间供用户选择是否退出。
·
构建人工智能隐私治理体系
·
随着生成式人工智能数据处理流程日趋复杂,风险管理的重要性愈发凸显。除四阶段需要考虑的个人信息保护事项外,《指南》还明确指出,建立企业和组织内部的人工智能隐私治理体系至关重要,尤其是需要以个人信息保护负责人为核心,构建形成内部管理体系。同时建议通过个人信息影响评估、红线管理等方式,对隐私风险开展持续评估。
《指南》提出,个人信息保护负责人应从人工智能的规划、开发初期就主动介入,全面掌握个人信息处理的相关情况,并及时向相关部门反馈,进而建立起能将个人信息保护原则内化为生成式人工智能服务的隐私治理体系。
(来源:人民法院报)
