L’IA générative introduit des risques qui diffèrent significativement des logiciels traditionnels : les résultats sont probabilistes plutôt que déterministes, les données d’entraînement et de fondation peuvent fuiter dans les réponses, et un modèle peut être manipulé par des entrées soigneusement conçues d’une manière que les applications conventionnelles ne permettent pas.
Ce qui doit figurer sur la liste
Une liste de contrôle de gouvernance pratique devrait exiger une revue de classification des données avant que tout contenu ne soit utilisé pour fonder ou affiner un modèle, des tests de résistance à l’injection de prompts et au jailbreak proportionnels à la sensibilité du cas d’usage, et des points de contrôle humains pour toute sortie informant une décision d’affaires importante.
Le choix du fournisseur et du modèle mérite un examen égal : comprendre ce qu’il advient des données soumises, si elles sont utilisées pour un entraînement supplémentaire, et quelles garanties contractuelles existent concernant la confidentialité et la résidence des données.
JIG aide les entreprises à construire des listes de contrôle de gouvernance et des contrôles techniques permettant aux initiatives d’IA générative d’avancer vite sans avancer imprudemment.