代理式人工智能系统与此前的生成式人工智能部署有着根本区别:它们不再只是生成一条供人审阅的回复,而是会规划一系列行动、调用外部工具和API,有时甚至在人类监督有限介入的情况下直接对生产系统执行变更。为聊天机器人和内容生成而编写的治理框架,无法应对这类全新的风险。
与自主程度同步扩展的控制措施
有效的智能体治理需明确划定边界:智能体可以调用哪些工具和系统、哪些操作需要在执行前获得人工批准,以及如何为每个智能体决策记录足够的上下文以便还原其行动原因。速率限制、支出上限和断路机制对智能体的重要性,与对任何具备执行高成本或不可逆操作能力的自动化系统同样重要。
测试代理式系统需要对抗性评估,而不仅仅是准确性基准测试:在生产环境中授予更广泛自主权之前,需要排查提示注入、工具滥用以及意外目标追逐等问题。
贾万信息技术集团(JIG)帮助企业为代理式人工智能设计治理体系和技术护栏,以负责任的方式逐步扩展其自主程度,而非默认全权放行。