2024年3月13日，欧洲议会正式通过了《人工智能法案》（Artificial Intelligence Act，以下简称《法案》）。这一全球首部人工智能领域综合性监管法规旨在规范人工智能的应用，侧重于制定与数据透明、监管和问责制度有关的规则，保护公民基本权利。《法案》的通过和未来的生效堪称全球人工智能治理领域的重大事件。近日，联合国人工智能高级别咨询机构联席主席卡梅·阿蒂加斯（Carme Artigas）、德国奥德河畔法兰克福欧洲大学数字社会法律与伦理学教授菲利普·哈克（Philipp Hacker）、清华大学法学院教授申卫星、中国政法大学数据法治研究院教授张凌寒共同讨论了《法案》的适用范围、开源治理、实施难点等议题。

　　《法案》覆盖范围大

　　阿蒂加斯：通常来说，欧盟会先制定“指令”（Directive）或“法案”（Act）为欧盟成员国提供一般性指导规则，在这个指导规则的指引下，欧盟成员国再根据自己的实际情况将其转化为国内法律。然而这样的监管程序相对分散，影响了欧洲在数字领域的竞争力。在服务质量、互联网基础设施、数字技能等领域，欧盟成员国都有各自不同的规则。监管本身并不是问题，问题在于监管碎片化。为解决这一问题，欧盟开启了“数字十年之路”计划，制定了《数字服务法案》《数字市场法案》等法规，为所有成员国提供统一的法律指引，以期提升欧洲数字市场的凝聚力和竞争力。

　　哈克：由于人工智能本身覆盖的范围十分广，为了适应人工智能技术未来的巨大发展，《法案》对人工智能的定义也十分宽泛。其以经济合作与发展组织对人工智能的定义为基础并加以调整，以推理的概念区分人工智能与传统软件，同时排除了一些人类设计的基本数据处理技术（如Excel中的自动求和功能），因为这种技术只是在执行人类设定好的命令，没有自己演变和进化的能力。尽管如此，《法案》的覆盖范围仍然较广。

　　申卫星：我们可以从两个层面来考虑《法案》的适用范围。一是从人工智能的定义来看，欧盟对人工智能的定义较为宽泛，这就不可避免地导致《法案》覆盖范围过大。《法案》的显著特点是分级管理，即将人工智能系统评估后划分为最小风险、有限风险、高风险和不可接受风险四个等级，并对各个等级采取差异化的监管方式。这样就规避了“一刀切”的问题。但也要注意，如果在人工智能本身的定义上处理得特别宽泛，依然可能会导致过度管制，不利于人工智能产业的发展。

　　二是《法案》具有域外效力。考虑到欧盟的经济规模，无论是中国还是美国的企业都需要遵守《法案》。长臂管辖的生命力不仅取决于国家实力或率先立法，更主要的还是考量是否符合经济发展、技术发展和人类发展的要求。《法案》能在全球范围内产生多大的影响力，取决于它是否能满足各国在价值共识、产业发展、技术进步等方面的社会公共需求。如果能够满足这些需求，就不存在所谓的“布鲁塞尔效应”，而是找到了最具辐射力的共识。

　　除此之外，《法案》不适用于仍处在研发阶段、尚未投入市场或者仅用于科学研究的人工智能模型，这一点中国与欧盟的立法立场一致。

　　阿蒂加斯：《法案》对于“人工智能”的定义已经获得了较为广泛的共识。大量的并非十分先进的技术与工具虽然也属于《法案》的管辖范围，但是它们大多属于低风险类别的应用，因此不会受到过多影响。

　　平衡监管与创新

　　阿蒂加斯：开源的关键在于透明度，要求公开模型和代码，以便及时检测和修改软件中的错误。《法案》为整个人工智能价值链的参与者设定了不同的责任，包括开源模型的开发/提供者、数据的训练者和用户的责任。尽管开源社区鼓励公开各种参数，但在实际情况中公开的一致性和透明度仍然不足。提升人工智能领域的透明度和完善有关问责机制都非常重要，人工智能对经济和社会的影响已经有目共睹，因此更应当完善相关管理制度，而不应任其不受限制地发展。

　　哈克：人工智能的开源模型是一把双刃剑，一方面它有利于促进竞争和科学进步，另一方面如果被不怀好意的人恶意滥用，也会造成巨大的破坏。尽管许多现有模型和技术并非如大家想象得那么先进，但依然具备一些能力，这样的能力如果流入恐怖分子之类的人手中，会造成很大的负面影响。随着人工智能模型能力的增长，可能有必要阻止公开特定模型，并强制要求实现访问控制。在监管和鼓励创新之间取得平衡颇具挑战，但对于防止恐怖分子等潜在威胁相当必要。目前，《法案》对开源模型的豁免非常有限，未来的监管应当更多地关注性能较高的开源模型。

　　申卫星：与《通用数据保护条例》相比，《法案》立场变得相对宽松，这主要体现在以下两点。第一点是《法案》明确规定开源可以免除某些义务，这是正确的。在有体物世界里，财产权已经受到社会化的影响，在无体物的世界里，权利的界定不应该绝对化，所有权利都应该服务于推动社会进步，而不仅仅是简单的赋权。免费公开自己的源代码和模型有助于科学研究和技术创新。当然，免责也分具体情况，《法案》中规定，对于“高风险”及以上级别的应用场景，即便是免费的开源模型，一旦造成损害，仍要承担相应责任。中国《人工智能法（学者建议稿）》也提到，除非存在故意或重大过失，可以适当减轻一般开源免费模型承担的责任。

　　《法案》将在执行中不断完善

　　阿蒂加斯：《法案》与《通用数据保护条例》《关于公平访问和使用数据的统一规则的条例》（即《数据法案》）等一样，隶属于一个更为广泛的法律框架。在这个框架中，每个法案都有自己的侧重点，《法案》发挥的最主要作用是监管高风险的人工智能系统。根据《法案》的规定，欧盟各成员国需要判定人工智能系统的风险等级，通过不同的风险级别来决定如何处理，如直接禁止“不可接受风险”级别的系统，“高风险”级别的系统可能影响教育、就业、司法等领域的安全以及人们的健康或基本权利，需要在进入市场前后进行合规评估，“有限风险”级别的系统仅需注册，而对“最小风险”级别的系统则无特定要求。因此可以说，《法案》的核心在于规范技术应用与规避风险。《法案》对“不可接受风险”和“高风险”级别的人工智能系统发布禁令，并列出执法豁免条款。我认为，通过有关规定，欧盟传递出一个重要信号，那就是即使技术层面上可行，也不能允许这两类风险发生，使用生物识别技术对人进行分类就是其中一个例子。2022年底，ChatGPT发布，给《法案》的制定带来挑战，如何才能坚持只规范技术应用而不限制技术本身？ChatGPT采用了大型语言模型，《法案》不对大型语言模型技术本身加以限制，但要求其遵守透明度要求。

　　欧洲议会最终通过的《法案》减少了许多之前版本对通用人工智能模型的约束，这是因为后期出现了一些之前未曾考虑过的情况。通用人工智能模型本身不属于高风险层级，也不会直接危及司法和执政以及人类的健康与安全。但是当使用这一模型的人数量众多的时候，就有可能带来威胁。《法案》需要在多方的需求中取得平衡，同时面临着来自市场、政府、社会团体和民众的压力。如何兼顾保护公民基本权益、促进创新和自由发展、监管不当行为，是立法者未来需要考虑的问题。

　　由于可供借鉴的经验不多，《法案》并非尽善尽美，但这是一项面向未来的法案，采用创新的立法技术，在正文中给出规范要素的定义，同时在附件中列举高风险领域的具体细节。正如风险高低并非永远不变，这些细节也可随着时间和环境变化而调整，能够适应未来的发展。《法案》希望在尽可能管控各种高风险人工智能系统的同时保持实用性和动态性。未来两年，预计会出现更多细则，将更多现实因素纳入考量，《法案》将会得到进一步完善。

　　哈克：《法案》中目前针对通用人工智能模型的部分略有欠缺，无法实现它所期待的目标。《法案》采用分层治理的方法，对于那些基础的通用人工智能模型提出最低要求，对于那些更为重要、更难控制、社会影响更大、具有系统性风险的模型提出模型评估、风险评估等额外要求。根据算力划分，如果通用人工智能模型用于训练的累积计算量大于10的25次方每秒浮点运算次数，就会被认定为有系统性风险。我认为这种方法存在两个问题，第一，这一门槛较高，而且人工智能模型趋向于朝着规模更小但能量更强的方向发展，有些模型的算力低于这个门槛，但依然具有系统性风险，这将对人工智能治理的执法者提出挑战。第二，针对系统性风险模型提出的附加要求未必有效。目前的附加义务包括网络安全、事件报告、风险评估等，但缺乏内容方面的监管，然而这一点十分重要。相比之下，中国的人工智能治理没有忽视使模型输出的结果与社会习俗和价值观相一致。欧盟也应该考虑要求增加内容监管，减少仇恨言论、诽谤和虚假新闻等。

　　阿蒂加斯：作为对哈克教授的回应，我认为，通用人工智能模型的分层治理方法采用10的25次方每秒浮点运算次数作为指标并非完美之选，但可以区分出像ChatGPT这样的超大型模型和其他模型。该指标的主要关注点在于能源消耗，我们不希望人工智能领域的竞争继续消耗大量能源。科技巨头可以轻松承担所有的成本和义务，难点在于如何帮助中小企业达到合规要求。

　　哈克：通用人工智能模型分层治理方法中的门槛与算力相关，算力与能源消耗相关，很高兴看到《法案》要求能耗过高的企业提供更多的信息，但现在问题在于门槛设定过高。气候变化是一个全球性问题，需要全球各国共同应对通用人工智能模型不断增长的对能源、水资源和有毒物质的需求。“隐私设计”是一个可供参考的理念，企业可以尝试更具可持续性的设计，有效缓解环境风险。

　　未来《法案》可能会有更多调整。例如，修改高风险领域清单，豁免一些次要的，对基本权利、健康或安全影响较小的应用。但为了防止企业钻法律漏洞，这样的豁免也存在反向机制，即如果人工智能系统被用于收集数据和侧写形成画像，涉及收集大规模人群的数据进行复杂推论，便无法获得豁免。我认为这样的规定没有问题，下一步的关键和难点在于执行，需要在全球范围内、在同伴间进行协调。

　　《法案》面临多重挑战

　　阿蒂加斯：目前，《法案》的执行参考了《通用数据保护条例》的实施经验。《法案》确定了几个关键的实施阶段，包括在发布后6个月内下架被禁止的人工智能系统；12个月内通用人工智能模型需要满足透明度要求；与附件一规定的高风险人工智能系统有关的机构需要在《法案》发布24个月内开始履行相应义务，对于附件二中规定的高风险人工智能系统，这一时间要求则为36个月。《法案》设定了两种类型的监管机构，国家层面的监管机构负责合规评估以及处理高风险系统等问题，并建立至少一个人工智能监管沙盒。人工智能办公室则负责通用人工智能模型的横向监管、门槛定义和“实践守则”。人工智能办公室应当包括由成员国代表组成的人工智能委员会、由学者组成的科学小组和一个外部资讯机构。各企业应当开始遵守《法案》，从大型企业开始两年内彻底履责到位，国家监管机构应当通过监管沙盒帮助中小企业适应《法案》。

　　哈克：为按时、有效地实施《法案》，需要聘用相关人才并及时完善指导实践的细则，还要考虑到人工智能相关监管机构与现有其他领域监管机构之间的协调合作，避免不同领域和级别的监管机构之间产生冲突。《法案》中也提到了整合统一的合规机制问题，但还不够详尽，需要建立更加全面的协调框架。目前《法案》中提到的大部分系统以往都不受行业特殊监管，企业可以通过自我审计证明合规。

　　张凌寒：各位专家都提到了分级分类治理的框架，自从这种基于风险的治理框架由《通用数据保护条例》提出以来，已经在全球范围内被广泛接纳。中国也提出构建分级分类管理制度，如《中华人民共和国数据安全法》和《全球人工智能治理倡议》。这样的制度有诸多优势，包括前移治理时点、降低监管与合规成本。但我个人认为，个人信息保护之类的数据风险治理与人工智能的风险治理存在一定差异。人工智能治理兴起后，我们观察到一个趋势，即人工智能治理已经逐渐吸纳了数据和算法治理，如果说将来人工职能的风险治理框架涵盖了数据和算法治理，可能会面临一些挑战。

　　一个挑战是以风险为导向的治理需要以有效的风险评估为前提。《法案》第三条将风险界定为发生损害的概率和该损害严重程度的结合。我认为这一定义非常精准，风险只有被量化才能和它所造成的损害以及治理的成本进行比较。但是与《通用数据保护条例》出台时已经有了大量的、与个人信息和数据相关的应用不同，目前人工智能的发展和应用时间远远短于个人信息处理应用存在的时间，因此在进行风险评估时，数据的数量和质量都不足。另外，技术因素在人工智能风险评估中所占的比重越来越小，道德、政策、文化影响等的占比逐渐增加。联合国高级别人工智能咨询机构将风险划分为对个人、群体和社会的风险。不同国家和机构都有自己的风险框架，这样的框架看似完整，但由于不同国家的政策和制度关注点存在差异，可能产生疏漏。

　　另一个挑战在于如何区分风险程度。《法案》的风险划分思路主要围绕关键信息基础设施和基本人权相关应用场景，例如，是否危及人类的健康和安全，是否对基本权利、环境和民主法治产生严重不利影响。然而这些标准依然具有较大的弹性和模糊性，与其说是在考量人工智能系统的风险程度，不如说是在考量它的重要程度。换言之，某种人工智能系统可能很重要，并非意味着风险程度非常高。一些具有潜在高风险的系统可能会受到种种限制，但恰恰也是因为应用增多，风险反而可能会降低。例如，就业评估和无人驾驶汽车等都是关系到人的重要权利和生命健康的系统，也因此成为高风险系统。但随着此类系统的应用日益普遍，数据越来越充分，可能造成损害的概率和严重程度就会大幅度降低。如果一开始就被贴上高风险的标签而受到诸多限制，就难以获得大规模应用之后风险降低的机会，所以这也是未来在发展人工智能和治理相关风险时需要协调的一对矛盾。

　　在最近公开的中国《人工智能法（学者建议稿）》中，没有采用“高风险的人工智能系统”这样的表述，而是选择了“关键人工智能”和“特殊应用场景人工智能”等表述，避免事先对其有价值预判或有负面评价，同时将动态评估引入相关人工智能系统的治理中。

　　从通用人工智能的角度来看，“通用”指风险可能发生的范围，“高风险”指风险发生的程度，在《人工智能法（学者建议稿）》的撰写过程中也出现了许多争论，何谓通用人工智能？应用于两到三个领域或场景的人工智能是否属于通用人工智能？如果适用于众多场景，它是否是更加强大的人工智能？通用人工智能的定义本身就存在着较大的模糊性。欧洲学者也指出，小模型聚焦特定领域，其能力可能更强，如果模型适用范围更为广泛，那么毫无疑问它的功能会遭受一定的损失和影响。因此，对于通用人工智能系统是否应该被定义为高影响力系统，以及这个影响力是用高低来判断还是用广泛和狭窄来判断，还需要进一步的研究和讨论。

　　申卫星：《法案》引发了全球各国在人工智能立法方面的竞争。许多国家都在思考人工智能立法的最佳时机，何时、为何、如何规范人工智能。通常来说，管制是主要立法动机之一，目的在于消除人们对人工智能的不信任感，建立一个可信赖、负责任的人工智能体系。为实现这个目标，立法时需要在促进法与管制法之间权衡。促进法难以产生显著效果，而管制法可能抑制产业发展，令产业面临较大压力。在这一背景下，《法案》在真正执行时将面临一系列挑战。首先，法律责任设定较高，重罚可能带来市场寒蝉效应，导致产业创新与安全保障之间的关系失衡。其次，人工智能领域立法的最大难点在于法律稳定与技术发展之间的矛盾，人工智能技术日新月异、不断迭代更新，《法案》实际执行时难免会遇到相关问题。最后，风险分类分级的划分标准和界限尚不清晰，这一点需要更加明确，因为它直接导致主体承担不同的义务。总之，各国始终面临一个问题，即人们对于人工智能的担忧是否能通过立法来消除。我个人对此持否定态度。还是应当采取“解铃还须系铃人”的策略，与哈克教授提到的“隐私设计”类似，企业自律是降低人工智能风险的最佳手段，将法律价值事先嵌入人工智能产品设计中，实现人类与人工智能的和平共处、共同发展，而非事后出现问题时，通过重罚进行管制。

　　哈克：我想补充的是，《法案》并非那么糟糕，它在遭受一些较为夸大的攻击，该法案主要内容为禁止危害公众的人工智能应用，无论这一《法案》是否存在，有责任心的主体都不会将人工智能应用于那些对人类有害的领域，因此我们需要做好宣传工作，告诉人们遵守《法案》并不难。随着《法案》的实施，欧洲还需要加大对开发和部署人工智能系统的投资。

　　（练志闲/编译整理）