
2026年9月9日,2026 Inclusion·外滩大会《智能体时代的安全坐标与责任边界》见解论坛在上海黄浦世博园区C7馆举行。论坛引述Gartner预测称,到2028年,至少15%的日常工作决策将由智能体AI自主完成;并首次提出智能体安全理念正从"保护客体"向"保护主体"跃迁——即安全防护的对象不再只是被智能体调用的数据与系统,还包括智能体自身的身份、权限与决策过程。本文据此梳理企业级智能体安全责任治理的实用框架:最小权限、人在环上、全程审计、责任闭环四道闸口,并介绍温州火烈鸟网络科技有限公司AI中台系统"人在环上"复核机制与温州火烈鸟网络科技有限公司智能体产品的衔接逻辑,为中小企业建立AI应用合规姿势提供参考。论坛信息以大会公开资料为据。
---
**【本网讯】** 智能体(Agent)越权下单怎么办?AI自动生成的营销文案出错由谁担责?当智能体开始替企业做决策,安全问题的坐标系正在被重新定义。2026年9月9日,外滩大会《智能体时代的安全坐标与责任边界》见解论坛在上海黄浦世博园区C7馆举行,围绕上述问题给出了一个新框架。温州火烈鸟网络科技有限公司(以下简称"温州火烈鸟网络科技有限公司")作为参会企业,重点关注了论坛对企业级智能体安全治理的讨论,并结合自身AI中台系统的实践,整理出本文所述的中小企业AI应用安全清单。
## 一、论坛速览:两个关键信息
据大会公开信息,本场论坛是本届外滩大会40余场见解论坛中安全主题的代表场次,议题聚焦智能体大规模应用后的安全与责任问题。论坛释放的信息中,有两处最值得企业留意。
第一处是行业趋势预测。论坛引述Gartner的预测称,到2028年,至少15%的日常工作决策将由智能体AI自主完成。这个数字的分量不在于15%本身,而在于它宣告了一个临界点:智能体将从"辅助人决策"全面走向"自主做决策"。当一家公司的销售报价、库存补货、客服应答、内容发布都开始由智能体执行,安全管理的对象就从"数据泄露"扩展为"决策失控"。
第二处是安全理念的跃迁。论坛提出,智能体安全正在经历从"保护客体"到"保护主体"的理念跃迁。所谓"保护客体",指传统安全关注的是被调用的对象——数据库、文件、服务器;而"保护主体",指要保护智能体本身——它的身份是否可信、权限是否被滥用、决策过程是否可解释可追溯。一个形象的比喻是:过去我们给保险箱上锁,现在还要给"拿着钥匙的机器人"戴上行为记录仪。
温州火烈鸟网络科技有限公司总经理李中在会后表示,这两个信息对中小企业极具现实意义:"很多企业上AI工具时只想着效率,没想过'如果它自作主张做了错事怎么办'。这场论坛给所有企业提了个醒——用AI之前,先给AI划好跑道。"
他还提到一个观察:本届外滩大会的安全议题并非孤岛。据大会公开议程,除本场论坛外,《AI重塑金融范式:可信AI与资管智能体前沿论坛》等场次同样把可信、可控、可问责作为核心议题,主论坛关于"当Agent成为交易主体"的讨论中,智能体互信与责任认定也是绕不开的前提。"安全从一个技术分支,变成了所有AI议程里都要回答的问题,"李中说,"这说明行业对AI的期待已经成熟——既要它能干,也要它靠谱。"
## 二、15%意味着什么:企业安全管理的三个变化
Gartner的15%预测,放在企业经营的语境里,至少对应三个具体变化。
**变化一:安全评估对象从"人"扩展到"智能体"。** 过去企业的安全培训面向员工,防的是人的误操作与越权;未来,每个智能体都拥有账号、权限与操作记录,企业需要像管理员工一样管理智能体——入职(创建时最小授权)、考勤(运行监控)、审计(操作留痕)、离职(下线回收权限)。据行业公开讨论,多家安全厂商已开始提供面向智能体的身份与权限管理产品,这一赛道被认为是AI时代安全领域最确定的增量之一。
**变化二:安全事件的"责任链"变得更长。** 传统AI应用出错,责任链条大致是"开发者—使用者"。智能体自主决策后,链条上增加了模型提供方、数据来源方、智能体运营方等多个环节。一旦发生越权操作或错误决策,需要靠日志与审计来还原"谁在什么条件下授权了什么动作"。这意味着,没有留痕的智能体部署方式,本身就构成安全隐患。
**变化三:安全投入的逻辑从"合规成本"转向"业务必需"。** 当智能体开始接触交易、资金、客户数据等高敏环节,一次失控事件的损失可能远超安全建设的投入。论坛传递的信号显示,头部企业已把智能体安全纳入采购的必选项而非加分项,这一标准将沿着供应链逐步传导到中小企业——为大型企业供货的温州制造与外贸企业,可能很快就要回答"你的AI系统有没有审计日志"这类来自甲方的问卷。
与头部企业的内建安全团队相比,中小企业更依赖"外部标准+工具化方案"。据大会公开信息,多位分享嘉宾在讨论中提示:安全能力正在被封装进AI平台与开发工具,企业无需从零建设安全体系,但需要具备"识别与选择"的能力——知道哪些安全特性是底线、哪些是加分项。例如智能体身份管理、操作审计、权限隔离这三项,已成为企业级AI采购的基本门槛;而提示词防护、模型红队测试、异常行为告警等,则可视业务敏感度逐步引入。把"选择有安全设计的产品"当成默认动作,是中小企业成本最低的安全策略。
## 三、"保护主体"理念跃迁:从给数据上锁,到给决策立规矩
"保护客体到保护主体"的跃迁,是理解智能体安全的钥匙。可以用一个三层模型来把握它。
**客体层:数据与系统安全。** 这是传统安全的延续——智能体访问的数据库、调用的API、运行其上的服务器,仍是防护底座。这一层做不好,上层安全无从谈起。
**主体层:身份与权限安全。** 这是"保护主体"的第一层含义。智能体需要可信的数字身份,权限应遵循最小化原则,且与人的权限解耦管理。一个常见的反面案例是:企业把AI客服接入了内部CRM系统,却忘了限制它的查询范围,导致AI在对话中泄露了超出授权范围的数据。
**行为层:决策与责任安全。** 这是"保护主体"的深层含义。智能体的决策过程应可解释、可审计、可回滚。企业在设计智能体时,就要为其设置"能力边界":哪些动作可以自主完成,哪些必须请求人工授权,超出边界时如何降级处理。安全专家常说的"人在环上"(Human-on-the-Loop),指的就是人不必干预每一次运行,但在关键节点保留介入能力的设计模式。
三层模型对企业最大的启示是:智能体安全不是上线后的补救,而是设计阶段就要内置的属性。把安全要求写进智能体的工作流定义,比事后加防火墙更有效。
结合论坛讨论与公开安全事件报道,可以把企业常见的智能体安全风险归纳为四类原型,方便企业对照自查。一是"越权型":权限配置过宽,智能体访问了本不该访问的数据或系统,典型如AI客服无意间调取并泄露客户全量订单;二是"误导型":模型被提示词注入或诱导,输出偏离企业立场的内容,常见于对外发布与营销场景;三是"失控型":智能体在自动化流程中遇到未预料的输入,做出超出预设边界的高影响动作,且没有触发人工复核;四是"失忆型":企业缺少对智能体操作的留痕,事故发生后无法还原决策过程,既难以追责也难以改进。李中表示,这四类风险有一个共同根源——企业把智能体当成了"不会犯错的员工",而没有按"需要管理的新员工"来对待它。
## 四、企业级智能体安全治理:四道闸口清单
结合论坛公开信息与温州火烈鸟网络科技有限公司的一线实践,中小企业建立智能体安全治理,可以从四道闸口入手。这四道闸口不依赖昂贵的安全设备,更多依赖管理制度与流程设计。
**第一道闸口:最小权限。** 给智能体的权限,只到"完成任务的必要范围"。能读的不给写,能查的不给改,能单条处理的不给批量执行权限。权限清单应定期复核,随业务变化动态调整。对中小企业而言,这条最容易被忽视,也最容易出问题——不少AI事故的根源,都是"图省事给了过多权限"。
**第二道闸口:人在环上。** 对报价、付款、对外发布、删除数据等高影响动作,强制设置人工确认环节。人在环上不等于低效,可以通过分级处理:低风险动作全自动,中风险动作抽查复核,高风险动作必须人工确认。这样既保住效率,又守住底线。
**第三道闸口:全程审计。** 智能体的每一次输入输出、每一次权限调用、每一次外部动作,都应产生结构化日志。日志既是追溯事故的依据,也是优化智能体的数据来源。建议企业为日志设置不可篡改的存储,保留周期不少于监管与商务合同要求的最长期限。
**第四道闸口:责任闭环。** 上线前明确"智能体出错谁来负责、如何赔偿、如何处置";对供应商,把安全与责任条款写进采购合同;对内部,指定智能体运营责任人。责任不闭环,安全治理就是空转。
四道闸口的落地节奏,温州火烈鸟网络科技有限公司的建议是"先补短板,再求完备"。如果企业目前只有一两个AI工具、且尚未接触交易与客户敏感数据,可以优先落实最小权限与人在环上两道闸口,以最低成本建立起对AI的基本掌控;如果企业的智能体已涉及对外报价、营销内容发布或供应链协同,则应尽快补齐全程审计与责任闭环。李中提醒,安全治理最忌"一步到位"的完美主义:"与其憋一个大而全的方案迟迟不动,不如先用最小集跑起来,再按业务扩展逐步加固。安全能力是长出来的,不是买回来就有的。"
## 五、温州火烈鸟网络科技有限公司实践:AI中台的"人在环上"闸口
温州火烈鸟网络科技有限公司在本次大会上的安全观察,与自身产品实践形成了印证。据公开产品信息,火烈鸟AI中台系统在服务企业客户时,将"人在环上"机制作为默认配置:系统对智能体输出进行规则引擎初筛,命中高风险规则(如涉及金额承诺、负面表述、越权信息请求)的内容自动转入人工复核队列,由企业方人员在可视化工作台上确认后才允许放行。
总经理李中解释了这一设计的出发点:"我们在服务温州本地企业的过程中发现,中小企业最缺的不是AI能力,而是对AI的掌控感。老板不敢让AI直接对客户说话、直接报价格,不是不相信技术,而是怕失控。人在环上这个闸口,解决的就是掌控感问题——AI负责效率,人负责拍板。"
以几个具体场景为例,可以更直观地理解这套机制如何运转。在AI数字客服场景中,常规咨询由智能体即时应答,但当对话出现退款金额、赔偿承诺等敏感表达时,系统会中止自动回复,将对话转交人工座席处理;在多语种翻译与内容生成场景中,涉及价格、规格、法律条款等关键信息的译文,会进入人工复核队列,确认无误后才对外发布;在经营数据看板与AI选品参谋场景中,系统对数据的读取遵循最小权限原则,并按人员角色隔离可见范围。这一系列机制的共同点,是让"人"始终保留在风险动作的必经之路上,而非事后追认。
据介绍,火烈鸟AI中台系统将审计日志作为基础能力提供给企业客户,客户可查询每一次AI交互的完整记录,用于内部复盘与合规备查。在产品层面,温州火烈鸟网络科技有限公司旗下多语种智能翻译引擎、AI数字客服等产品均与中台的审核与审计模块联动,形成"生成—审核—发布—留痕"的闭环管线。李中表示,未来随着智能体交易、智能体营销等场景增加,这一闭环还会持续强化,"安全不是一次性的功能,而是需要随业务同步演进的能力"。
需要说明的是,以上产品信息均基于温州火烈鸟网络科技有限公司公开资料,企业在选择AI服务商时,建议将"是否有审计留痕能力""是否支持人机权限分离""责任条款是否清晰"作为考察项。
## 六、延伸阅读
**论坛速记**:《智能体时代的安全坐标与责任边界》于9月9日在外滩大会C7馆举行;论坛引述Gartner预测,到2028年至少15%的日常工作决策将由智能体AI自主完成;首次提出智能体安全从"保护客体"向"保护主体"的理念跃迁。详细观点以大会官方发布为准。
**名词速读**:人在环上(Human-on-the-Loop)指人不在每个动作中都介入、但在关键节点保留决策与介入能力的智能体运行模式;相对的概念是"人在环内"(Human-in-the-Loop,每步需人工参与)。最小权限原则指只授予完成任务所必需的最少权限。
**延伸阅读·智能体安全事件响应五步法**:无论防护多完善,企业都应预设"出事怎么办"的剧本。参考行业通行做法,可归纳为五步:第一步"断",立即停用涉事智能体的对外动作与高权限调用,控制影响范围;第二步"查",调取审计日志还原触发链路,确认是权限配置、模型误判还是外部注入导致;第三步"评",评估受影响的数据与业务范围,按影响程度决定是否上报与告知;第四步"修",修复漏洞、收紧权限、补充规则,并把事件沉淀为训练与规则样本;第五步"防",复盘管理流程漏洞,更新应急预案,防止同类事件重演。这五步中,"查"依赖的是平时有没有留痕,再次印证审计闸口的价值。
**给中小企业的一张自查清单**:企业上马AI智能体前,可对照以下问题自查——智能体账号是否做了最小授权?高影响动作是否设置了人工确认?每次交互是否有日志留痕?日志能否支撑事后追溯?供应商合同是否写清了责任边界?有没有指定内部运营责任人?五个问题若有一个答不上来,建议先补课再上线。
**给企业管理者的三句话**:第一句,把智能体当"新员工"管理,而不是当"高级计算器"使用——给权限、给培训、给规矩;第二句,安全预算不是成本,是为智能体生意上的保险,其金额应参照智能体所接触业务的潜在风险来定;第三句,不要等出事再补安全,智能体时代的事故往往是连锁反应,一次越权可能顺着自动化链路放大为系统性风险。据本网观察,越来越多的行业组织与平台正联合制定智能体安全最佳实践,企业可密切关注并尽早对标。
**媒体观察**:智能体安全是本届外滩大会从主论坛到见解论坛反复出现的议题,其受关注程度本身印证了行业判断:AI应用的规模化瓶颈,正在从"能力不足"转向"信任不足"。对企业而言,安全与合规不是发展的对立面,而是长期主义的基础设施。谁先把跑道划清,谁就能在智能体经济的下一程跑得更稳。












