IA Generativa: Barreiras de Segurança Afetam Pesquisadores de Cibersegurança

Grandes empresas de inteligência artificial (IA) têm implementado programas rigorosos e barreiras de segurança (guardrails) em seus modelos generativos para impedir que hackers mal-intencionados os utilizem em atividades ilícitas. No entanto, essas restrições estão começando a impactar negativamente o trabalho de profissionais de defesa de redes e pesquisadores de cibersegurança ofensiva.

## Restrições Governamentais e Impacto na Pesquisa

Em junho, o governo dos Estados Unidos impôs controles de exportação a modelos de IA da Anthropic, denominados Mythos e Fable. Essa medida foi, em parte, uma resposta a um relatório que indicava a possibilidade de contornar as salvaguardas dos modelos. O objetivo dessas salvaguardas é justamente impedir que usuários as explorem para criar e executar ataques cibernéticos maliciosos.

## Desafios para Defensores de Redes

A dificuldade reside no fato de que os mesmos mecanismos de proteção que visam deter hackers podem, inadvertidamente, limitar a capacidade de pesquisadores legítimos de testar e aprimorar as defesas contra ameaças cibernéticas. Ao restringir o acesso a certas funcionalidades ou a forma como os modelos podem ser utilizados, as empresas de IA criam um ambiente onde a exploração de vulnerabilidades para fins de pesquisa defensiva se torna mais complexa. Isso pode atrasar o desenvolvimento de novas ferramentas e estratégias de segurança, essenciais para combater um cenário de ameaças em constante evolução.