A IA generativa introduz riscos que diferem significativamente do software tradicional: os resultados são probabilísticos em vez de determinísticos, dados de treinamento e fundamentação podem vazar para as respostas, e um modelo pode ser manipulado por meio de entradas cuidadosamente elaboradas de formas que aplicações convencionais não permitem.
O que deve constar na lista
Uma lista de verificação de governança prática deve exigir revisão de classificação de dados antes que qualquer conteúdo seja usado para fundamentar ou ajustar um modelo, testes de resistência a injeção de prompt e jailbreak proporcionais à sensibilidade do caso de uso, e portões de revisão humana para qualquer saída que informe uma decisão de negócio relevante.
A seleção de fornecedor e modelo merece igual escrutínio: entender o que acontece com os dados enviados, se são usados para treinamento adicional, e quais garantias contratuais existem sobre confidencialidade e residência de dados.
A JIG ajuda empresas a construir listas de verificação de governança e controles técnicos que permitem que iniciativas de IA generativa avancem rápido sem avançar de forma imprudente.