2025年7月,卡内基国际和平基金会(Carnegie Endowment for International Peace)发布文章《基于实体的监管在前沿人工智能治理中的应用》(Entity-Based Regulation in Frontier AI Governance),主要介绍了基于模型与基于用途人工智能监管的不足,并阐述了基于前沿人工智能企业实体进行监管的原因及框架。启元洞见编译该文章主要内容,旨在为读者了解相关研究提供参考。
引言
前沿人工智能政策的核心存在一场关键争论:监管应聚焦于人工智能模型这一核心技术本身,还是技术的用途?倡导基于人工智能模型的观点认为,这能将合规负担集中于开发者,同时让用户根据自身需求自由部署技术,在长期内促进技术扩散。倡导基于用途的观点认为,这能给予开发者实验自由,避免繁琐许可和技术标准,保护创新。
两种范式都有一定缺陷。基于模型的监管存在明显局限:人工智能系统往往是多个基础模型与软硬件系统的整合体,其能力强弱和风险大小不仅取决于模型本身,还与系统架构设计、运行所需的计算能力密切相关;同时,技术迭代速度极快。因此,若仅针对模型的特定特征(比如训练计算量)进行监管,很容易因技术变化而变得过时;基于用途的监管可能如欧盟《人工智能法案》等所示,对模型开发造成严重影响,如因增加合规成本而抑制技术采用。
本文提出替代监管范式:将监管聚焦于开发最强大人工智能模型和系统的大型商业实体。基于实体的监管在美国金融、保险等领域常见,这些领域产品和服务风险高且更新速度快。监管企业实体是美国法律数世纪来的成功实践,可能更有效。针对前沿人工智能发展的监管法规应将监管范围聚焦于大型人工智能开发者,而非人工智能模型或用途。
需明确的是,这并非唯一监管方式。用于执行特定任务如处理保险索赔、人脸识别等的“狭义机器学习系统”,人工智能许多可预见的负面用途(如已然属于违法行为的身份欺诈)不在此列。应对人工智能负面用途可能需新的治理方法,包括制定新法律等。
本文聚焦当前及未来最前沿人工智能系统的预防性风险监管,它们可能带来包括高自主操作水平、实施犯罪、欺骗开发者和用户、引发大规模网络攻击或恶意开发部署生物武器等在内的独特挑战。这些系统由少数主体开发,在美国仅有五到十家企业,成本高达数亿至数十亿美元。
文章旨在帮助政策制定者和社会公众更好地理解前沿人工智能风险性质和规模,减少不确定性和分歧。为实现此目标,文章主张弱化而非否定模型或用途监管的作用,转向以开发实体为核心的监管。监管触发条件应基于开发实体的组织特征,例如年度人工智能研发或计算资源支出;监管内容聚焦实体流程与活动而非仅模型属性,例如新型算法机密、内部安全威胁监控等。
本文探讨整体结构与方向而非具体监管要求,首先分析基于模型与基于用途监管的优劣。再阐述基于前沿人工智能企业实体进行监管的框架,介绍其如何弥补前述两种范式的不足并提供样本法律条款。最后提出一些可能的具体监管要求示例。
一、基于模型监管的挑战
美国在基于模型监管领域最知名的提案是2024年加州 SB1047法案,聚焦需超10^26次浮点运算(FLOPs)训练的前沿模型。要求开发者提交安全计划以应对“重大伤害”(大规模伤亡或超5亿美元损失);为开发者设定采取合理措施避免造成此类重大危害的法律义务,授权总检察长追责。
该法案的关键缺陷在于依赖模型属性(训练计算量)作为触发条件。常见批评指出,随着计算成本下降,其覆盖范围将远超前沿模型(后增修正案要求涵盖模型训练计算成本至少达到1亿美元);且10^26次的阈值标准缺乏机器学习文献支持,是一个粗略的替代标准:其目的是覆盖下一代前沿模型(GPT-4等之后出现的模型)。
2024年9月SB 1047法案被否决后,OpenAI发布的o1 模型凸显了这种阈值标准的问题。o1通过强化学习训练 “思考” 回答用户查询,在数学、软件编码等定量领域表现优异,其迷你版o1-mini也这些领域优于许多前沿模型,但几乎不会被SB1047涵盖。
基于计算量的阈值假设训练计算量是模型能力和风险的主要决定因素,但o1代表的推理计算范式(基于强化学习的方法会随着系统在用户提问时所获得的计算能力和时间而扩展)动摇了这一点。如今DeepSeek等公司也采用类似方法,推理计算对能力的贡献已与训练计算相当,一定程度上,只要给予足够思考时间,这类模型可以“模拟”更大规模模型的性能。此外,训练计算量的定义愈发复杂。过去99%计算用于预训练,仅少量用于训练后优化,但o1的训练后强化学习使这一比例约变为10%—20%,且未来可能上升。同时,计算量统计存在诸多难题:合成数据生成的计算是否计入;训练失败重启的计算是否重复统计;模型在部署后具备了持续学习能力,运行计算是否纳入“训练计算”等诸多问题。这些都使计算量阈值难以操作。
在州级法律驱动的人工智能政策下,不同司法管辖区对计算量的定义可能不同,导致监管混乱。企业可能操纵计算量以规避监管,迫使监管机构耗费资源调查、审计,却未必提升安全。
紧迫的是,计算量阈值在当下已显现更根本的缺陷,无法涵盖有危险能力的模型。例如OpenAI的o3-mini在数学和编码方面的能力与o1相当,却可能未达阈值。但过度宽泛的监管会分散资源、扼杀创新,而更新阈值又面临上述难题。
尽管基于计算能力的监管触发机制可能复杂且难以操作,但对技术属性的定义难度更大,同样以危险模型属性作为触发条件也不可行。监管应帮助识别并评估风险、做好规划,但当前危险属性的性质、重要性和识别方法存在争议,且这些属性可能在训练中出现,而训练中模型的能力和危险性最难确定。若以此为触发条件,会导致开发者隐瞒模型风险,这对依赖开发者披露信息的公众尤为不利。
此外,基于模型的监管无法应对三类主要风险:一是非模型特征引发的风险,如算法秘密泄露、内部安全威胁;二是多智能体系统的风险,数十或数百个小型模型并行运行的风险不一定低于单个大型模型;三是模型与开发人员在使用该模型时所依赖的其他系统、策略、人员或模型交互产生的风险。
二、基于用途监管的挑战
基于使用的监管虽能避免部分问题(如针对金融市场部署模型的风险),也面临严峻挑战,因为可能在训练环节就产生许多包括欺骗、目标错位等在内的前沿人工智能风险。且用户在使用时往往难以识别或应对,例如就人工智能可能欺诈用户的问题,基于用途的监管意义不大。此外,立法者需预先识别人工智能的各种用途风险,但通用人工智能能力广泛,难以预见用途。
基于用途的监管可能比其他方式更繁重,因为它试图涵盖由更广泛主体开展的更广泛活动范围。以2025年美国得州HB1709为例,其要求对为所有可能对消费者获取服务及机会可能产生实质性影响的人工智能的使用制定风险管理计划和算法影响评估,即使如小型企业在社交媒体上发布招聘信息的情形也包含在内,这带来了沉重的合规负担。且法案迫使部署者回答关于人工智能系统技术基础的复杂问题,从而影响应用率,阻碍创新扩散,而经济价值正源于广泛的应用。
基于用途的监管还可能固化世界运行方式,无形中禁止新颖有益的用途。因此,在前沿人工智能领域,其不应作为首选。
三、基于实体监管的前景
有一种替代监管方式可规避上述问题:不针对快速迭代的模型或其广泛用途,而是聚焦更稳定的主体——生产和部署前沿模型的企业实体。在基于实体的监管下,当实体满足法定触发条件,如年度人工智能研发支出达标时,就需遵守针对前沿人工智能开发风险的监管制度,涵盖训练、测试、保管、部署等环节。
美国监管史中,实体监管常用于产品快速迭代的领域(如金融服务)。像药品等开发周期长、变化小,不会因企业的某些措施而突然变得更具风险的行业,采用产品监管。而金融产品持续提供,银行流程失误可随时使安全产品变高风险,需要实体监管。前沿人工智能开发与金融类似,适合实体监管。当产品或特定活动的风险性以普遍且持续的方式依赖于当一家企业的整体业务活动风险较高时,基于实体的监管具有重要意义。
前沿人工智能系统可能引发系统性风险,如助长生物武器研发、引发大规模自主网络攻击、越狱攻击、对抗性提示注入、休眠攻击等,这些需持续监控。安全并非单纯的模型属性,而是模型嵌入的系统和流程的属性。例如一个错位模型可能用于创建新模型、更新现有模型等。最广泛部署(因此系统性风险最高)的系统和流程,主要由人工智能开发前沿的企业实体构建和控制。因此,监管应聚焦开发者的整体风险活动,而非单个模型。
四、基于实体监管的触发机制
实体监管可由企业特征触发,如人工智能研发或计算支出。触发机制可通过法律明确规定,既界定前沿人工智能研究涉及的一般活动范围,又设定基于企业在此类研究上支出的监管触发条件。如可定义 “受覆盖的人工智能研发” 为开发能执行多领域任务、推理能力接近人类的先进模型;“受覆盖的前沿开发者”为上一年或当年在此类研发上支出超10亿美元的实体。触发条件可灵活设计:调整金额;聚焦计算支出而非总研发支出,或采用 “或/且” 的组合条件等等。
与模型监管的触发条件相比,实体特征如研发支出等变化更慢,立法者更易追踪,无需频繁更新触发条件。高门槛的实体触发条件也可避免覆盖小企业,减少创新负担,集中监管资源。
存在一些有趣的可能性,在一定程度上模糊了基于模型和基于实体的监管之间的界限。如结合部分模型特征(企业实体开发过训练计算量达10^26 FLOPs的模型等)与实体特征作为触发条件,虽存在部分模型监管的缺陷,但将使监管框架能够涵盖开发者实践的各个方面,更好发挥实体监管的优势,可作为向纯实体监管过渡的中间步骤。
有人担忧企业可能通过拆分实体规避监管,但法律已有应对手段,如公司法上的 “刺破公司面纱”等,且前沿人工智能开发者数量少,规避行为较为容易识别。另一种担忧是实体监管可能覆盖不足,未来高度危险的人工智能能力可能大规模扩散,非前沿模型也可能被滥用。但即使如此,实体监管仍有必要,最强大模型的开发者仍有独特风险,如训练中复杂的代理欺骗、生物武器等,了解其能力和风险仍是社会刚需。
五、基于实体监管的实质
基于实体监管是政策框架而非具体政策,其监管强度可在多个维度变化。最低限度可要求透明度:受覆盖的开发者需披露包括训练、安全测试、内部威胁监控等在内的高风险活动的关键特征,以及模型出现的高风险能力或倾向。最严格情况可参考核安全监管:持续严格监督,包括特定场址的运营许可、定期检查、安全协议、人员安检、操作员培训等。中间选项则包括:要求受覆盖的开发者制定风险管理协议以应对新型风险;建立组织架构和治理机制确保协议执行,如任命首席风险官直接向董事会汇报;在高风险决策时引入独立安全审计。
实体监管淡化了基于模型的监管中存在的抽象问题,能更合理地处理模型相关问题。以透明度和信息披露要求为例,基于模型的监管由模型本身的属性触发:前沿人工智能开发者在发布满足特定标准的新模型时,需披露相关重要信息。对新模型定义过严则繁琐(若是通过微调、组合生成,调整微小仍被要求进行披露),过宽则可能遗漏风险。而实体监管可要求开发者定期披露所有模型的新能力或危险倾向和可能显著提升能力或有造成严重伤害风险的重大决策(无论是否发布新模型),无需纠结对新模型的定义。基于实体的监管框架可以自然地解决治理程序、算法秘密管理以及内部威胁检测等模型监管无法触及的领域。
结论
实体监管的具体要求需考虑诸多因素:前沿人工智能的潜在危害及风险大小;美国在前沿人工智能领域的领先程度及监管对这一领先的影响等。尽管存在不确定性,但前沿人工智能监管框架应主要以实体特征(而非模型或用途特征)作为触发机制。虽然基于实体监管的框架内容可能部分涉及模型和用途,但更应该在关注实体活动更广泛风险的背景下这样做,将这些风险视为一个整体而非孤立的部分,即:需置于开发者整体风险活动的背景下考量。
或许比起模型或用途监管,实体监管的作用应更温和,这些不同监管的最优组合方式仍需研究,但实体监管应在前沿人工智能治理中发挥重要作用,其设计和实施值得审慎思考。
免责声明:本文转自启元洞见。文章内容系原作者个人观点,本公众号编译/转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!
转自丨启元洞见
研究所简介
国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。
地址:北京市海淀区小南庄20号楼A座
电话:010-82635522
微信:iite_er
配先查配资-配先查配资官网-全国股票配资公司排名-配资平台哪个软件好提示:文章来自网络,不代表本站观点。