Генеративный ИИ несёт риски, существенно отличающиеся от традиционного ПО: результаты вероятностны, а не детерминированы, обучающие и обосновывающие данные могут просачиваться в ответы, а модель может быть манипулирована через тщательно составленные входные данные способами, недоступными для обычных приложений.
Что должно входить в контрольный список
Практичный контрольный список управления должен требовать проверки классификации данных перед использованием любого контента для обоснования или тонкой настройки модели, тестирования устойчивости к внедрению запросов и джейлбрейку пропорционально чувствительности сценария использования, а также контрольных точек проверки человеком для любого результата, влияющего на значимое бизнес-решение.
Выбор поставщика и модели заслуживает равного внимания: понимание того, что происходит с отправленными данными, используются ли они для дальнейшего обучения, и какие договорные гарантии существуют в отношении конфиденциальности и резидентности данных.
JIG помогает предприятиям строить контрольные списки управления и технические средства контроля, позволяющие инициативам генеративного ИИ двигаться быстро, но не безрассудно.