“AI换脸”与“AI幻觉”交织下的法律边界:两类案件给企业的合规提醒
最近杭州法院接连出现两类很有代表性的AI纠纷:一类和“AI换脸/深度合成”有关,另一类围绕大模型“幻觉”引发的侵权争议。有媒体甚至把它们称作“全国首例”。到底是不是“首例”先放一边不争,但这两类案子放在一起看,确实很能说明问题:AI技术跑得再快,权利边界也不会自动让路。
很多企业现在的状态其实挺真实:一边想用AI提效,另一边又担心“用了就出事”。我的看法比较简单——别把AI当成洪水猛兽,也别把AI当成万能挡箭牌。法院现在的思路也在往这个方向走:不要求你把风险清零,但会盯着你有没有尽到该尽的注意义务。
先说“换脸”:技术本身不背锅,背锅的是你怎么用
“AI换脸”这类问题,最容易产生一个错觉:好像只要我做的是“技术”“模型”“算法”,就天然中立,出了事也能说一句“不是我在害人”。但司法判断越来越明确:工具不决定合法性,行为决定。
把别人的人脸特征拿来建模、合成、传播,尤其还牟利,本质上不是什么“新技术应用”,而是对他人权益的侵入。这里往往不是踩一条线,而是几条线叠在一起:
-
个人信息保护(而且很可能是敏感个人信息)
-
肖像权、名誉等人格权
-
情节严重时,甚至会牵出更高层级的法律风险
所以,“内容是算法生成的”这个解释,在很多场景里并不好用。自动生成不等于合法生成。这一点,企业最好早点形成共识。
再说“幻觉”:AI不能替你承诺,但你也不能假装看不见
“AI幻觉”纠纷里,最尴尬的就是模型一本正经地胡说:虚构事实、乱引用来源、甚至给出“保证”“赔付”之类的承诺。很多人听到这里会松一口气:既然AI不具备民事主体资格,那它说的话不算数,公司是不是就稳了?
只能说“没那么简单”。
法院切割得很清楚:AI不是当事人,它输出的文字一般不直接等同于企业的真实意思表示。这确实避免了企业因为模型的不可控输出而承担“无限连带”。但与此同时,法院会继续追问另一组更现实的问题:
-
你的产品有没有让用户误以为这是“权威结论”?
-
你有没有把“可能不准确”提示到位?提示是不是摆在用户看得见的地方?
-
你有没有做最起码的防错和治理,比如对明显违法、明显侵权的输出做拦截?
换句话说:AI不能替你签合同,但你也不能把一切责任都推给AI。真正能救平台的,往往是“你做了什么”,而不是“AI是什么”。
法律真正要的:合理注意,而不是零风险
很多企业对合规有一个误解:要么觉得“合规就是把风险清零”,做不到就干脆不做;要么反过来觉得“反正做不到零幻觉,那我提示一下就完了”。这两种都不太对。
法院现在更接近一种“工程思维”:
你做不到绝对正确没关系,但你得做到在当前技术条件下的合理注意。该走的程序(比如备案、安全评估这类要求),该有的提示,该上的技术措施,该做的治理机制和留痕,你要拿得出来。只要把这套“应尽义务”跑通了,司法评价通常也会更稳定。
企业现在怎么做,才是真正能落地的合规?
我不太建议把合规写成“宏大叙事”。合规真正有用的,都是细碎、甚至有点“啰嗦”的动作。下面三件事,几乎是我最希望企业先做起来的。
1)先管输入:别把不该外传的东西喂给模型
很多事故不是AI输出侵权,而是企业自己把雷埋进去了。常见的包括:
-
内部合同、报价、底价、商业计划、客户名单
-
核心代码、未公开产品方案
-
带有人脸、声纹、身份证、病历等信息的材料
尤其是后面那类数据,一旦涉及收集、处理、训练、共享,合规要求会陡然升级。企业最好形成一条硬规则:公共大模型不碰机密;涉及敏感个人信息的数据,不做就别试。
2)把提示写“显眼”:别让用户把AI当权威
提示义务这件事,说起来很简单,但很多产品做得很敷衍:要么藏在用户协议角落里,要么用一句不痛不痒的“仅供参考”敷衍了事。真出了纠纷,用户会说:“我根本没看到。”
如果你的产品接入了大模型,用在客服、检索、写作、合同生成、投顾建议等场景,建议把提示做到两个效果:
-
用户一眼能看到“AI生成、可能不准确”;
-
高风险场景明确写上“需要人工复核/不构成专业意见”。
另外,界面和话术尽量别用“保证”“100%准确”“一键出法律意见”这种引导性表达。很多责任就是从这种“让用户信以为真”的设计里长出来的。
3)输出别直接上线:深度合成要标识,关键场景要人工复核
“生成完就发”“生成完就上架”,是最常见的管理漏洞。
几类内容建议默认走人工审核:
-
涉及具体个人或具体企业评价的(名誉/商誉风险很高)
-
涉及法律、医疗、金融等专业建议的
-
涉及深度合成(换脸、换声、拟真视频)的
深度合成类内容尤其要注意显著标识、水印、可追溯机制等要求。这个不是“形式主义”,它直接关系到公众会不会被误导、平台有没有尽到治理义务。
说到底:AI能提效,但不能替你承担边界责任
我更愿意把这两类案件理解成一个提醒:技术可以很新,责任逻辑其实很旧。
你不能随便用别人的脸、别人的作品、别人的数据;你也不能在产品上让用户形成不该有的信赖。与此同时,法律也不会要求企业把所有风险清零,它看的,是你有没有把“该做的动作”做到位。
把数据来源理顺、把提示义务做实、把治理机制建起来、把关键节点留痕——这些东西不酷,也不“AI”,但它们往往决定你能不能把AI真正用起来、用得久。
(以上为一般性法律信息分享,不构成针对个案的法律意见。)
