Modelos da OpenAI e da Anthropic ainda driblam regras de segurança - Estadão

A empresa também decidiu desviar a maior parte das tarefas de cibersegurança para versões anteriores mais simples, devido ao alto potencial ofensivo ... Novos sistemas da OpenAI e da Anthropic tentaram burlar travas em testes, mas empresas afirmam que versões recentes estão mais seguras e defendem freios no setor

Em uma nova avaliação projetada para testar a propensão de um modelo a cruzar limites de contenção, o Opus 5. A OpenAI sustentou que o comportamento dos sistemas melhorou em cenários de quebra de instruções.

A insistência dessas tecnologias em ignorar regras ocorre em um momento em que a indústria discute publicamente os riscos de perder o controle sobre as máquinas. “Sem controle, isso pode superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser buscado com muito cuidado, se é que deve ser buscado”, escreveu Amodei ao tratar do avanço de sistemas que programam a si mesmos.