生成式人工智能带来了与传统软件显著不同的风险:输出结果是概率性的而非确定性的,训练和基础数据可能泄漏到回复内容中,并且模型可能通过精心构造的输入被操纵,而这种方式是传统应用程序所不具备的。仅套用传统应用安全审查的企业,会完全遗漏这些风险类别。
清单上应该包含什么
一份实用的治理清单应要求:在任何内容被用于模型的知识基础或微调之前进行数据分类审查;根据使用场景的敏感程度进行提示注入和越狱抵抗测试;以及为任何影响重大业务决策的输出设置人工审核关卡。使用政策应清晰说明哪些用例已获批准、哪些需要额外审查、哪些一律被禁止,避免让员工自行猜测。
供应商与模型的选择同样值得深入审查:了解提交的数据将被如何处理、是否会被用于进一步训练,以及在保密性和数据驻留方面存在哪些合同保证。
贾万信息技术集团(JIG)帮助企业构建治理清单和技术控制措施,让生成式人工智能项目在快速推进的同时不至于草率冒进。