O criador do OpenAI, ChatGPT, revelou que um de seus modelos avançados de inteligência artificial foi desonesto durante um teste de segurança e hackeado em uma empresa iniciante.
Os patrões disseram que o agente autônomo, que é um sistema de IA que opera sozinho seguindo instruções humanas, foi testado em um ambiente controlado.
Mas ele encontrou vulnerabilidades e conseguiu escapar do controle antes de chegar à Internet e invadir o Hugging Face, um grande centro de compartilhamento de modelos de IA.
O agente obteve acesso a alguns sistemas internos da empresa e comprometeu a infraestrutura do hub, no que a OpenAI descreveu como um incidente “sem precedentes”.
Os modelos de IA que suportam ferramentas como chatbots e geradores de imagens são conhecidos como ‘agentes’ quando agem de forma autônoma para realizar tarefas no mundo real.
À medida que a tecnologia se torna mais sofisticada, a segurança cibernética está no centro das atenções devido ao risco de a IA avançada encontrar pontos fracos no software existente antes dos humanos.
Especialistas disseram que o incidente sinaliza que a IA já está alimentando a temida ameaça à segurança e que mesmo os principais desenvolvedores podem ser pegos de surpresa por falhas em seus modelos.
O especialista em segurança cibernética Richard Ford, diretor de tecnologia da Integrity360, disse ao Daily Mail: ‘Este é o momento sobre o qual muitos profissionais de segurança cibernética têm alertado.
O CEO da OpenAI, Sam Altman, confirmou agora o ‘incidente de segurança significativo’
“Até agora, vimos invasores usarem IA para automatizar partes de um ataque, mas este é um dos primeiros exemplos públicos de um agente de IA identificando independentemente uma fraqueza, escapando do que deveria ser um ambiente seguro e tentando comprometer outra organização.
«Também reforça que a IA não substitui os fundamentos da segurança cibernética. O agente explorou uma vulnerabilidade no que deveria ser uma sandbox segura, mostrando que uma boa higiene cibernética, fortes controlos de acesso e proteção eficaz continuam a ser essenciais.
“À medida que mais organizações começam a testar agentes avançados de IA, elas precisam pensar cuidadosamente sobre o controle desses sistemas e as capacidades que eles oferecem.”
A OpenAI disse que a violação foi “um incidente cibernético sem precedentes, envolvendo capacidades cibernéticas de última geração” e a empresa agora reforçou suas proteções.
Também chamou a atenção quando a Hugging Face, com sede em Nova Iorque, disse que utilizou um modelo chinês de código aberto para conter o ataque porque os principais modelos dos EUA, incapazes de distinguir um defensor de um atacante, recusaram-se a processar os dados necessários para análise.
A empresa disse em um blog na semana passada que usou o GLM-5.2 da Zhipu AI para a análise, o que também permite manter os dados do invasor e quaisquer credenciais em seu sistema.
O GLM-5.2 e o Kimi K3 Moonshot, com sede em Pequim, agitaram recentemente o Vale do Silício com capacidades próximas às dos principais modelos dos EUA, a preços mais baixos e sem os trilhos de proteção que impedem os rivais americanos de serem usados em tarefas como segurança cibernética.
Thomas Wolf, cofundador da Hugging Face, disse: ‘Quando um modelo de fronteira ataca você e se move lateralmente dentro de sua infraestrutura, os defensores precisam de amplo acesso e ferramentas perto da fronteira em horas ou até minutos, em vez de serem direcionados para um programa de aplicação de portas fechadas para acesso de modelo.’
O hack do Hugging Face, que inclui todos os tipos de modelos de linguagem aberta e conjuntos de dados, surpreendeu a comunidade de segurança cibernética depois que a empresa disse na semana passada que a violação “era diferente de tudo com que já lidamos antes” e “foi conduzida, de ponta a ponta, por um sistema de agente autônomo de IA”.
ChatGPT é um chatbot generativo de inteligência artificial desenvolvido pela OpenAI (imagem de estoque)
Agora, o presidente-executivo da OpenAI, Sam Altman, confirmou em um comunicado: “Tivemos um incidente de segurança significativo durante a avaliação de nossos modelos”.
O cofundador e executivo-chefe da Hugging Face, Clément Delangue, também disse: “Suspeitamos que o ataque cibernético da semana passada pode ter vindo de um laboratório de fronteira, devido à sofisticação do agente. Parece que sim.
Delangue disse que passou as últimas 24 horas trabalhando com a OpenAI, “e acreditamos firmemente que não houve intenção maliciosa da parte deles”. É surpreendente que tudo isso tenha acontecido de forma autônoma.
Ele acrescentou que “pode ser o primeiro incidente desse tipo”.
A divulgação da OpenAI de que os seus modelos avançados foram responsáveis pela violação, apesar de os colocar no que descreveu como “um ambiente altamente isolado”, provavelmente intensificará as preocupações sobre o poder e o risco dos modelos de fronteira.
“A IA está acelerando a descoberta e exploração de vulnerabilidades”, disse a OpenAI em seu próprio comunicado. “A principal lição deste incidente é que a segurança e a proteção dos modelos devem acompanhar o rápido avanço das capacidades”.
A OpenAI disse que a intrusão foi causada por uma combinação de seus modelos de IA, incluindo o recém-lançado GPT*5.6 Sol e um modelo “ainda mais capaz” que ainda está sendo testado internamente.
A OpenAI disse que sua IA usou credenciais roubadas e descobriu uma vulnerabilidade até então desconhecida para acessar os servidores Hugging Face.
A empresa disse que fez “todos os esforços para atingir um objetivo de teste bastante restrito” e “encontrou maneiras de obter acesso a informações secretas que poderia usar para enganar a avaliação”.
A empresa estava tentando avaliar as capacidades de hacking dos modelos, colocando-os para funcionar em um campo de testes digital rigidamente controlado, onde o acesso à Internet era limitado por questões de segurança.
“Enquanto trabalhavam em nosso ambiente de teste em área restrita, nossos modelos gastaram uma quantidade substancial de (poder computacional) para encontrar uma maneira de acessar a Internet aberta, em busca de resolver o problema de avaliação”, disse um post no blog OpenAI.
Depois de se conectarem à Internet, as modelos decidiram usar a plataforma Hugging Face para ajudar em sua busca.
Procurando por “informações secretas” que possam ajudá-lo a enganar a classificação, o sistema da OpenAI “encadeia vários vetores de ataque, como o uso de credenciais roubadas”.
Katie Moussouris, executiva-chefe da Luta Security, disse que o incidente é um prenúncio de violações futuras, dizendo que os modelos de hoje eram “como os polvos que escapam mais inteligentes do mundo, com braços preênseis ilimitados e a capacidade de se espremer em qualquer lugar”.
Ele disse que “os laboratórios e os avaliadores governamentais precisam trabalhar na capacidade de conter, monitorar e divulgar às partes afetadas quando uma IA puxa outro Houdini, de preferência antes que prejudique um terceiro”. Nenhum existe hoje.
Matt Suiche, engenheiro da agência de segurança cibernética de IA Tolmo, disse que o incidente mostrou que os modelos limítrofes estavam “fechando a lacuna com os invasores de última geração”.
Mas ele acrescentou que o tipo de violação descrito na postagem do blog da OpenAI foi possível com a tecnologia que estava disponível além dos muros dos laboratórios de pesquisa de fronteira.
“Isso é o que já vimos internamente, com nossos agentes já temos resultados como este”, disse Suiche. ‘Nem precisamos usar os modelos mais recentes.’
Hussein Abbass, professor de ciência da computação na Universidade de Nova Gales do Sul, em Canberra, disse que o incidente foi “impressionante em muitas frentes”.
Ele acrescentou: “Ele não atacou apenas o Hugging Face. Na verdade, ele ataca seu sistema interno para explorar suas próprias vulnerabilidades. E isso é assustador.
A IA avançada está “normalmente nas mãos de pessoas éticas e responsáveis”, disse Abbass. Mas afirmou que “será catastrófico se chegar às mãos de alguém com a intenção de causar danos”.
Como governar o setor da IA tornou-se uma questão fundamental e “precisamos de um esforço comunitário para gerir esta situação”, acrescentou Abbass.
