Agentes de IA podem sair do controle sem ação de cibercriminosos, diz Check Point

Hackathon de P&D em segurança de IA identifica riscos de improvisação diante de falhas e de instruções maliciosas inseridas no contexto dos agentes ...

Os experimentos demonstraram que, quando esses sistemas enfrentam limitações de projeto ou tarefas sem uma solução clara, tendem a raciocinar e improvisar atalhos perigosos, impulsionados exclusivamente pelo objetivo de concluir a tarefa. Quando o agente improvisa : um agente autônomo tentou reiniciar um banco de dados de produção para resolver uma tarefa impossível.

Quando questionar funciona melhor que bloquear : questionar uma ação suspeita pode preservar o trabalho legítimo sem reduzir a proteção. Os resultados desse hackathon mostram que a segurança de agentes de IA precisa considerar também o comportamento diante de falhas e o contexto utilizado para tomar decisões.