生成上万张淫秽图片！前大厂资深程序员被抓 AI制作违法内容被判刑。一个曾在游戏大厂工作的程序员，利用AI技术生成淫秽内容牟利，最终被判刑三年多。浙江余姚法院审结的这起案件，表面上是几个人用AI生成淫秽内容牟利，但真正值得关注的是法院如何认定“制作”这个词以及它对整个AI行业和普通开发者的边界意味着什么。
2024年7月，郑某接触到境外一款AI色聊机器人，随后他拉上前同事谢某、网上认识的严某等人，组成了一个六人研发团队。经过调试，2025年1月，他们开发的生成式AI模型在境外平台上线，接入了“第四方支付”和虚拟币收款。用户充值后可以选择角色卡和AI机器人进行色情聊天，还能消耗积分生成淫秽图片。运营期间，这个模型生成了37万多张静态图片和6000多张动态图片，用户充值金额折合人民币约17万元。鉴定抽取的12500张静态图片和全部动态图片中，有9000多张静态图和5000多张动态图被认定为淫秽物品。
这个案子的关键在于法院对“技术中立”的回应。郑某等人使用提示词工程，反复改写系统提示词、设置角色卡、搭建对话场景，绕开了模型原有的安全过滤机制，使AI从通用工具变成专门输出淫秽内容的工具。庭审中被告人辩解称内容是由用户选择角色、输入指令后生成的，不是他们直接做的。然而法院认为，用户的所有操作都被限定在被告人提前搭建好的技术框架内，被告人对模型内容输出拥有实质性控制权，因此突破AI安全限制输出淫秽内容应当认定为“制作淫秽物品”的行为。
这一认定逻辑非常关键。以往大家总觉得AI生成的内容责任归属模糊，这个案子给出了一个相对清晰的界限：开发者如果主动篡改安全机制、搭建便利违法内容生成的环境，就不能再用“内容是用户生成的”来推脱责任。郑某最终被判处有期徒刑三年一个月，其余五人分别获刑三年一个月至三年十个月不等，并处罚金。一审判决后无人上诉，判决已经生效。
对于AI行业的开发者来说，这个信号值得重视。不是说做AI工具就自动有罪，但如果明知模型能干什么还专门往那个方向改，法律不会因为“技术中立”而放过你。法官明确表示，技术中立不等于技术无罪，算法不是法外之地。此外，法官在量刑时提到，AI具有一键生成、批量产出的技术特性，数量极易呈指数级增长，司法裁判不能机械套用传统标准。法院意识到AI生成的数量与传统手工制作的数量不同，要区分批量生成和按需生成、公开传播和一对一交流，这为之后同类案件的处理提供了更精细化的空间。
最高人民法院发布的关于依法审理涉人工智能纠纷案件的意见，明确利用深度伪造等技术制作、贩卖、传播淫秽物品构成犯罪的，坚决依法追究刑事责任。这个案子在这个节点被报道，进一步强调了AI技术滥用问题的司法注脚。
对普通用户来说，这件事看似遥远，但实际上息息相关。现在各种AI对话、绘图工具背后都有一套内容安全机制。有人觉得“突破一下限制”只是技术好奇，但从这个案子看，改写提示词、诱导模型输出不良内容，一旦涉及传播和牟利，刑责风险是真实存在的。不仅是写代码的人有责任，参与传播、贩卖、提供支付渠道的人同样在法律范围内。
AI行业发展迅速，许多边界还在摸索。这个案子的意义在于，它通过一份生效判决划出了一条线：利用AI制作违法内容，开发者也被视为“制作者”，不是“技术中立”就能脱身。对于真正想做AI产品的人来说，合规不仅是成本，更是底线。对于想赚快钱的人来说，这条路已经被判例堵上了一截。技术能放大效率，也能放大法律后果，在AI时代这一点尤为明显。
