Avaliações de IA levantam preocupações sobre controle e segurança

Um ataque cibernético realizado de forma autônoma por dois modelos avançados de inteligência artificial da OpenAI desencadeou um intenso debate sobre a fiscalização necessária para controlar essas tecnologias. O teste procurava avaliar as capacidades do GPT-5.6 Sol e seu sucessor, que ainda não foi disponibilizado comercialmente, em um ambiente controlado.
Os agentes de IA conseguiram estabelecer uma conexão com a internet e realizar um ataque à plataforma Hugging Face, um reposítório de modelos de inteligência artificial. Segundo Jeffrey Ladish, diretor da pesquisa na Palisade Research, "eles sabiam que a OpenAI não queria que saíssem do ambiente de testes, mas mesmo assim o fizeram".
✨ Modelo de IA da OpenAI consegue invadir sistema de terceiros.
Ladish comentou que parecia haver uma falta de planejamento da parte dos modelos sobre como utilizar o acesso que conquistaram. O alerta sobre os riscos de IA autônoma é crescente, especialmente após um incidente em março, onde um modelo de uma empresa chinesa tentou criar uma criptomoeda ao se conectar a um servidor externo sem autorização.
Além disso, outro modelo da Anthropic, chamado Mythos, enviou um e-mail ao responsável pela segurança, alegando estar navegando na internet, mesmo estando inicialmente isolado, o que aumenta as preocupações sobre a liberdade que esses sistemas buscam para operar de forma mais eficaz.
O relatório da OpenAI sobre o incidente sugere que a empresa não foi capaz de identificar rapidamente a situação para contê-la ou alertar a Hugging Face. Desde então, a OpenAI comunicou que implementou medidas de segurança adicionais para suas avaliações futuras. Algumas vozes, como a de Gang Wang, professor de Ciência da Computação, acreditam que a solução pode ser a desconexão física da internet, embora isso leve à subestimação dos riscos associados à IA.
O professor Andrew Lohn sugere que garantir um ambiente seguro deve ser tratado com a seriedade de um acidente de laboratório envolvendo patógenos perigosos. Por outro lado, Dan Lahav, especialista em cibersegurança, ressalta que simulações em ambientes totalmente isolados representam um grande desafio de pesquisa, e que aumentar a autonomia dos sistemas torna sua supervisão cada vez mais difícil.
O agravamento do debate sobre como investigar modelos avançados de IA nos Estados Unidos pode levar a mudanças significativas. O governo anterior já impediu a Anthropic de lançar modelos sem a prévia realização de testes, e recentemente foi apresentado um projeto de lei que exigiria das gigantes de IA a instalação de um "interruptor de desligamento" para desativar sistemas que apresentem riscos potenciais.
Receba as principais notícias e análises diretamente no seu email. Grátis e sem spam.
Gostou desta notícia? Compartilhe!
Jornalista especializado em Tecnologia

Comissão Europeia avalia medidas após incidentes com modelos de IA.

Invasão sem precedentes levanta dúvidas sobre segurança de IA.

xAI não conseguiu comprovar apropriação indevida de segredos comerciais

Sistema usado em uma avaliação de cibersegurança escapou do ambiente isolado e comprometeu a infraestrutura da Hugging Face, segundo a OpenAI