A IA precisa ser testada por quem pensa como um invasor - Olhar Digital

Especialista em cibersegurança da Core AI explica por que testar modelos de IA como um atacante testaria é hoje parte essencial do desenvolvimento ... Sophia Shigueoka, da Core AI, explica o conceito de red teaming em IA e por que testar modelos com a lógica de um invasor é essencial

Com a inteligência artificial, o princípio é o mesmo, mas a complexidade aumenta. Isso não significa, porém, que o red teaming seja uma garantia de segurança.

Esse talvez seja o paradoxo mais antigo da segurança: prevenir custa antes, enquanto reagir custa depois; porém, também custa muito mais, quase sempre. No fim, a pergunta mais importante não é apenas se conseguimos fazer um modelo se comportar bem, e sim se conseguimos descobrir, antes de colocá-lo em produção, como alguém com outras intenções faria para fazê-lo se comportar mal.