申请实习证 两公律师转社会律师申请 注销人员证明申请入口 结业人员实习鉴定表申请入口 网上投稿 《上海律师》 ENGLISH
当前位置: 首页 >> 业务研究 >> 专业论文

人工智能生成内容责任初探——主要国家治理框架与案例实践

    日期:2025-12-24     作者:漆艳(国际法专业委员会、泰和泰(上海)律师事务所)

近两三年,全球人工智能(AI)呈现爆发式发展。生成式人工智能(如ChatGPTSora)和多模态模型推动,在金融、医疗、自动驾驶、创意产业等领域得到深度应用。2025DeepSeek横空出世,AI应用加速全民化,也引发了全球法规及伦理风险的关注,多国加强人工智能治理框架,全球监管呈现出“备案主导、数据优先、责任分层”的特点,也产生了不少案例实践,本文试对其汇总、点评,就人工智能生成内容的责任问题进行初浅探讨。

一、主要国家治理框架简述

(一)中国

2023年国家网信办等七部委联合公布了《生成式人工智能服务管理暂行办法》,要求生成式人工智能服务需根据《生成式人工智能服务管理暂行办法》履行算法备案和安全评估义务,责任主体为服务提供者。若未备案,可能面临警告、罚款或服务下架等处罚。在数据安全与隐私方面,企业应遵循《数据安全法》《个人信息保护法》,对数据来源、处理流程进行严格规范,禁止非法留存用户信息。在知识产权与版权方面,人工智能生成内容需体现“人类智力投入”方可获版权保护,否则无法确权,完全由人工智能自主生成的内容不享有版权。

(二)欧盟

《通用数据保护条例》(GDPR)严格约束数据跨境流动,要求高风险AI系统(如医疗、招聘)进行全链条监管。欧盟《AI法案》分阶段实施,禁止特定高风险应用(如社会信用评分),要求技术文档披露和第三方测试。在责任分配方面,强调平台方责任,即使通过API间接提供服务,也需承担内容风控义务。欧洲数据保护委员会(CEPD)将DeepSeek纳入调查范围,重点关注其数据合规性,反映了欧盟对AI服务全链条监管的严格态度。

(三)美国

在人工智能方面美国侧重国家安全与技术中立,依赖企业自律。202410月发布的《促进国家安全中人工智能治理与风险管理的框架》确立了四大支柱:限制高风险AI应用(如生物识别、军事决策辅助)、制定风险管理实践(包括偏见审查与人类监督)、分类监控AI系统、强化培训与问责机制。司法判例方面逐步明确平台责任,若AI输出侵权或虚假信息,平台可能承担连带责任。通过《2025年美中人工智能能力脱钩法案》限制对华技术合作,禁止军方使用存在风险的AI技术,政府通过出口管制(如限制高带宽芯片)间接约束技术发展。同时,美国拒绝签署《巴黎AI宣言》,在技术竞争方面单边倾向明显。

(四)新加坡

新加坡通过《国家人工智能战略》(NAIS)推动成为全球AI领导者,构建“技术-数据-信任”三位一体的生态系统,并注重敏捷监管与风险分层管理。治理框架上采用“软法优先”模式,如《模型AI治理框架》和《可信数据共享框架》,强调企业自律、透明度和可解释性,辅以技术工具(如AI Verify)验证系统合规性。对生成式AI增设安全评估与内容溯源要求。金融领域推行“FEAT原则”(公平、伦理、问责、透明),医疗领域结合ISO标准强化AI医疗器械全生命周期管理,并通过立法限制基因数据滥用。在国际合作方面主导东南亚语言大模型(SEA-LION),推动区域技术协同,参与东盟及国际标准制定。

二、人工智能开发链中的各方

2024530日,新加坡人工智能验证基金会(AI Verify Foundation)与新加坡信息通信媒体发展管理局(Infocomm Media Development Authority of Singapore, IMDA)联合发布《生成式人工智能模型治理框架》(Model AI Governance Framework for Generative AI),提出生成式人工智能治理九个维度。这是AI Verify FoundationIMDA整理借鉴全球主要司法管辖区、国际组织、研究机构和领先的人工智能组织的见解、讨论和反馈后形成的正式框架,反映了生成式人工智能中新兴的原则、关注点和技术发展。

《生成式人工智能模型治理框架》(“《框架》”)的第一个治理维度就是可问责。《框架》提出,可问责是培育可信人工智能生态的关键因素,人工智能开发全链条的参与者,包括模型开发者、应用程序部署者、云服务提供商等都需要对最终用户负责。

根据此框架,生成式人工智能开发全链条里的成员,包括以下四层:

(一)            处于最顶端的模型开发者。像OpenAI一样,这些是其他公司可以为其产品和服务构建的基本模型。但模型开发者可能无法掌控其模型如何被下游的公司所使用。

(二)            应用开发者——开发解决方案而使用AI技术的人。但应用开发者可能无法控制其AI解决方案如何被下游公司所使用。

(三)            应用部署者——向最终用户提供AI解决方案的人。但应用部署者可能并不知此AI解决方案是如何开发的,应用了何等数据进行训练的,等等。

(四)            最终用户。但最终用户可能因故意操纵系统而违反安全规约。若用户通过绕过安全护栏故意生成侵权内容等,需自行担责;

新加坡同时建议探索“无过错责任保险”,覆盖开发者、部署者及用户等各层面成员的潜在损失。

根据欧盟议会,“安全和责任是同一枚硬币的两面”,人工智能开发链中各方在什么情况下应承担责任,责任如何分配呢?通过主要国家近年的案例,了解其在知识产权侵权、伦理与公平性、人身伤害等方面的司法实践。

三、AI生成内容的责任分配与认定

(一)知识产权归属、侵权与赔偿责任

英国《版权、设计和专利法》(CDPA)第9.3节规定,计算机生成作品的作者被视为对该作品创作进行“必要安排”的自然人或法人。此类作品指在没有人类作者直接参与创作的情况下,完全由计算机生成的内容(如AI自动生成的文字、图像等)。根据该条款,版权归属于对作品生成过程投入实质性安排或指令的主体,例如编写算法、设定参数或提供数据输入的人员或机构。此规定使计算机生成作品在英国可独立享有版权保护(保护期50年),与人类创作作品区分,但强调权利归属需基于对创作过程的组织或干预。

新加坡《2021年版权法》并未直接讨论“作者身份”这一话题,并没有与英国的CDPA9.3节内容相对应的规定。但Global Yellow Pages Ltd v. Promedia Directories Pte Ltd2017)是新加坡最高法院关于版权法“原创性”认定的重要判例。法院明确,作品须由人类智力创造且与最终成果存在“充分因果联系”方可受版权保护。本案中,原告主张其电话目录享有版权,但法院认为其编排未体现创造性劳动,仅属机械性整理,故不构成原创作品。判决进一步指出,若无法确定人类作者身份或作品完全由非人类(如AI)生成,则版权主张不成立。Global Yellow Pages案似乎创立了一个“人类创作因果链”原则,即要求作品须体现“人类智力参与”(“engagement of the human intellect )、“智力的投入……或脑力劳动的运用”(“the application of intellectual effortor the exercise of mental labour”)、“与最终作品存在充分的因果关联”(“sufficient causal nexus with the final work”)。此案确立了新加坡版权法对“人类智力投入”的严格要求,否定了纯算法或自动化生成内容的可版权性,直接影响AI生成内容的法律地位,与英国等允许AI作品有条件受保护的立法形成对比。

无独有偶,中国国内“AI文生图”著作权第一案,也认可创作过程中人类参与的必要性。20232月,李某使用开源AI绘图软件(如Stable Diffusion)通过输入提示词、调整参数(如画面布局、人物设计等),经多次修改后生成一张图片,发布于小红书平台。随后,刘某在百家号发布文章时未经授权使用该图,并去除李某的署名水印。北京互联网法院审理认为,尽管涉案图片由AI生成,但李某在创作过程中需设计提示词、调整参数并反复筛选结果,体现了个性化表达与智力投入、审美选择,上述过程满足著作权法对“智力成果”和“独创性”的要求,因此该图片构成美术作品,李某享有著作权。未经许可并去除署名的发布,使公众可以在其选定的时间和地点获得涉案图片,侵害了李某就涉案图片享有的信息网络传播权。此案为国内首例明确AI生成内容可版权化的判决,强调人类主导的创作过程是关键,若AI完全自主生成(无人类干预)则无法获得版权。

同样,美国仅认可人类编辑后的内容版权,纯AI生成内容不受保护。Jason Allen案围绕艺术家Allen使用AI工具Midjourney创作的获奖画作版权争议展开。美国版权局于2023年以“AI生成内容占比过高”为由拒绝其整体版权注册,仅允许对人类修改部分(如Photoshop调整)申请保护。Allen主张其投入超100小时、624次提示词调整及后期处理,创作过程类似导演或摄影师的创造性劳动,应享有完整版权。然而,版权局认为Midjourney的生成机制依赖算法训练数据,用户提示词无法对最终输出形成“实质控制”,AI贡献部分属“机械复制”而非人类原创构思,故不符合版权法对“人类作者身份”的要求。Allen提起上诉,援引最高法院判例质疑版权局决策的武断性,并要求重新审查。也有其他类似案件共同凸显了美国现行法律在AI生成内容保护中的模糊性。

Getty ImagesStability AI是全球首例大型AIGC侵权诉讼案件。 Getty Images在伦敦高等法院美国地方法院均起诉Stability AI未经授权使用其数百万张版权图片训练AI模型Stable Diffusion,指控其构成大规模版权侵权。Getty指出,AI模型通过复制并解构其图片库内容生成相似图像,损害了版权价值与市场利益。Stability AI辩称训练数据属于“合理使用”,且输出内容为算法重组结果,非直接复制原图。此案争议焦点在于:AI训练是否构成对原始作品的“演绎”或“复制”,以及技术中立原则与版权保护的平衡。案件或推动法律明确AI训练数据合法性边界,影响生成式AI开发模式。目前美国法院尚未判决。但欧盟《人工智能法案》草案已要求披露训练数据来源,预示监管趋严。欧盟《AI责任指令》也引入“因果关系推定”,要求被告自证无过错。

中国广州互联网法院于20242月对全球首例生成式AI服务侵犯著作权案作出判决,认定被告AI平台(Tab网站)生成的奥特曼形象图片与原告权利作品构成“实质性相似”,侵犯了复制权和改编权,要求平台停止侵权并赔偿经济损失。判决指出,AI服务提供者需采取有效过滤措施(如关键词屏蔽),确保用户输入相关提示词时无法生成侵权内容,并履行注意义务,包括建立投诉机制、风险提示及显著标识生成物等,即使模型由第三方开发。但遗憾的是,这一“全球首例”案未涉及底层模型开发方、应用开发方、应用部署方之间的责任划分。

(二)伦理责任、偏见与歧视

“能做”与“应做”体现了法律与治理的冲突,即使技术上可行(如使用个人数据或受版权材料训练AI),企业需评估是否符合伦理,及社会所期待的公平性。生成式人工智能可能产生“文化偏见”,也可能出现“道德风险”。类似的案例在西方比较多。

德国杂志用AI生成舒马赫独家专访并发表,在2024年被判赔偿20万欧元,这一案例凸显了“技术可行性≠伦理可接受”。

2024年,意大利数据保护机构Garante因生成人工智能应用程序ChatGPT在未经充分法律依据下处理用户数据用于模型训练,以及未设置年龄验证机制,可能导致未成年人接触到不适当的内容,法院对其制造商OpenAI罚款1500万欧元,同时要求其开展为期6个月的多平台公众教育活动,解释ChatGPT的数据处理方式及用户数据保护权利。

美国平等就业机会委员会(EEOC)指控在线教育公司iTutorGroup在招聘中系统性歧视年长求职者,违反《年龄歧视就业法》。EEOC调查发现,该公司通过算法自动拒绝55岁以上女性及60岁以上男性求职者。,且招聘系统设置年龄过滤参数(如隐藏出生年份),导致大量年长求职者被排除。诉讼强调AI工具若未合理设计可能加剧偏见,要求iTutorGroup赔偿受害者并改革招聘流程。2023年双方达成和解,iTutorGroup同意支付36.5万美元赔偿金、修订筛选机制并加强员工反歧视培训。此案成为美国首例因AI招聘工具引发年龄歧视的司法案例,警示企业需确保算法决策的透明性与合规性,推动监管对自动化招聘系统的审查。

(三)错误与有害内容责任

2022年的Air Canada案,一名用户因亲属去世需改签机票,询问聊天机器人获回复“可申请退款”,遂购买全价票后遭公司拒赔。加航辩称机器人属“独立法律实体”,其错误信息不具约束力。法院认定企业需对自动化工具的输出负责,因用户合理信赖公司官方渠道信息,判决加航全额赔偿并承担法律费用。此案确立企业对其AI客服误导行为不可推责的原则,警示企业须确保自动化系统的准确性与监管,避免技术缺陷转嫁消费者风险。

2023年也曾发生ChatGPT编造教授性骚扰虚假新闻,OpenAI同样面临诉讼。

新加坡判例Quoine Pte Ltd v B2C2 Ltd一案,涉及加密货币交易平台因技术错误导致异常交易的法律争议, 是算法行为主观性的一个典型争议。B2C2使用算法以远高于市价(每10个比特币兑换1个以太币)完成交易后,Quoine以错误为由取消交易。B2C2起诉其违约,Quoine则主张交易基于单方错误应无效。根据新加坡法律,单方错误需非错误方实际或推定知情并存在不当行为。但法院多数意见认为,判断关键在于算法编程时开发者是否明知或应知错误可能被利用,并以此设计程序获利。此案确立了算法责任需追溯至设计意图、追溯至开发者的司法原则,即“以程序员意图为准”原则,对AI及自动化交易中错误与责任的界定具有重要影响。

(四)人身伤害责任

人工智能造成人身伤害责任的案例目前不多见。从全球来看,引人注目的是2024年全球首例AI聊天机器人致死诉讼,引发对生成式AI伦理责任、人身伤害责任和未成年人保护的深层讨论。14岁美国少年长期沉迷于Character.AI平台的聊天机器人,尤其是模仿《权力的游戏》中“龙母”的AI角色,他在与机器人最后一次互动后自杀,其母亲要求Character.AI的母公司及技术合作方谷歌共同担责,提出平台设计存在缺陷:聊天机器人过度“拟人化”,未明确提示AI的虚构性;平台未有自杀预防机制,反而提供可能鼓励自杀的回复;允许13岁以上用户注册,但缺乏家长控制及内容过滤措施。谷歌辩称其仅提供技术授权,并非产品开发者;Character.AI辩称其内容受美国宪法第一修正案保护,强调AI生成内容的责任界限尚不明确。此案仍在美国司法程序,无论能否证明AI与用户自杀的因果关系,但案件已经引致行业加强监测与责任规范,据称公司已推出新安全措施,如敏感词触发自杀热线提示、限制未成年人使用时长等。

国内比较接近的案例有2023年杭州AI生成虚假信息扰乱社会秩序案,某小区业主使用ChatGPT编造《杭州31日取消限行》虚假新闻,经社交媒体传播后引发交通拥堵和公众恐慌,法院判处涉案业主有期徒刑。2024年底前字节跳动起诉实习生篡改代码攻击公司内部模型训练一案,已获北京市海淀区人民法院正式受理,若是公司线上项目确因代码篡改受损,造成终端用户包括人身伤害在内的损害,涉事人将可能面临民事甚至刑事指控(如破坏生产经营罪)。

20253月底,一辆小米SU7汽车在高速上爆燃,导致3人死亡。这起事件引发了公众对智能驾驶系统的广泛讨论,可能是人工智能造成人身伤害的典型情形之一。虽然目前事故责任未有定论,并不排除部分可追溯至算法设计缺陷或传感器故障。2025416日,工信部一场闭门会议明确要求车企禁用“自动驾驶”“高阶智驾”等误导性术语,统一为“组合辅助驾驶”,强调当前量产车型的辅助驾驶系统(L2级)仍以“人机共驾”为核心,终端用户即驾驶人需始终承担安全责任。也即是说,当前车企对于“智能”驾驶夸大宣传,而消费者认知错位,监管部门不得不涉入这中间的模糊地带,对于智能驾驶可能造成的安全责任暂时直接进行了责任划分。

四、总结

人工智能的全球治理趋势为以中国、欧盟为代表的严格派,强制备案、全链条责任、高风险禁用和以美国和新加坡为代表的灵活派,尊重行业自律和技术工具,侧重安全与创新平衡。结合全球司法实践,企业应建立合规框架,明确自身责任,通过合同等模式划清责任范围、进行赔偿限制等。



[版权声明] 沪ICP备17030485号-1 

沪公网安备 31010402007129号

技术服务:上海同道信息技术有限公司   

     技术电话:400-052-9602(9:00-11:30,13:30-17:30)

 技术支持邮箱 :12345@homolo.com

上海市律师协会版权所有 ©2017-2024