تختلف أنظمة الذكاء الاصطناعي الوكيلي جوهرياً عن عمليات النشر السابقة للذكاء الاصطناعي التوليدي: فبدلاً من إنتاج استجابة واحدة يراجعها إنسان، تخطط الوكلاء تسلسلات من الإجراءات، وتستدعي أدوات وواجهات برمجية خارجية، وتُنفّذ أحياناً تغييرات في أنظمة الإنتاج بإشراف بشري محدود ضمن الحلقة. لا تعالج أطر الحوكمة المكتوبة لروبوتات المحادثة وتوليد المحتوى هذه الفئة الجديدة من المخاطر.
ضوابط تتوسع مع الاستقلالية
تُحدد حوكمة الوكلاء الفعّالة حدوداً صريحة: أي الأدوات والأنظمة يمكن للوكيل استدعاؤها، وأي الإجراءات تتطلب موافقة بشرية قبل التنفيذ، وكيف يُسجَّل كل قرار للوكيل بسياق كافٍ لإعادة بناء سبب تصرفه. وتُعدّ حدود المعدل، وسقوف الإنفاق، وقواطع الدائرة مهمة للوكلاء بقدر أهميتها لأي نظام آلي آخر.
يتطلب اختبار الأنظمة الوكيلية تقييماً عدائياً، لا معايير دقة فقط: استكشاف حقن الأوامر، وسوء استخدام الأدوات، وتتبع الأهداف غير المقصودة قبل منح استقلالية أوسع في الإنتاج.
تساعد JIG المؤسسات على تصميم حوكمة وضوابط تقنية للذكاء الاصطناعي الوكيلي توسّع الاستقلالية بمسؤولية.