A inteligência artificial está cada vez mais presente no dia a dia, mas nem sempre se comporta como o esperado. Uma técnica conhecida como “injeção de prompt” tem ganhado destaque por permitir que usuários manipulem essas tecnologias. Com comandos escondidos ou perguntas capciosas, é possível enganar a IA para que ela ignore suas regras de segurança.
Essa vulnerabilidade já resultou em situações bizarras e até perigosas, que vão desde a criação de conteúdo preconceituoso até a divulgação de informações indevidas. Relembre cinco casos em que a inteligência artificial foi manipulada por humanos e saiu completamente do controle.
1. Tay, o chatbot que virou racista
Em 2016, a Microsoft lançou no Twitter uma IA chamada Tay, projetada para aprender a conversar interagindo com usuários. Em cerca de 16 horas, o experimento deu errado. Um grupo coordenado de pessoas começou a ensinar frases racistas, misóginas e de teor conspiratório ao robô, que rapidamente passou a replicar o discurso de ódio. A empresa precisou tirar o chatbot do ar às pressas, e a experiência serviu como um importante aprendizado para o desenvolvimento de sistemas mais seguros no futuro.
2. DAN, o alter ego sem regras do ChatGPT
Usuários criaram um método para destravar uma versão sem filtros do ChatGPT, apelidada de DAN (acrônimo para Do Anything Now, ou “Faça Qualquer Coisa Agora”). Por meio de um comando específico, a IA era instruída a interpretar um personagem que não possuía as amarras éticas do sistema original. Com isso, o DAN era capaz de gerar conteúdo ofensivo, criar histórias violentas e defender ideias perigosas que normalmente seriam bloqueadas. A OpenAI, criadora do ChatGPT, trabalha continuamente para fechar essas brechas, mas a comunidade de usuários segue descobrindo novas formas de contornar as regras.
3. A IA que “vendeu” um carro por 1 dólar
Em dezembro de 2023, um cliente de uma concessionária nos Estados Unidos usou a injeção de prompt para manipular o chatbot de atendimento do site. Ele convenceu a IA a concordar em vender um carro novo, modelo Tahoe, por apenas um dólar. A negociação, embora não tenha sido honrada pela empresa, expôs como a manipulação de sistemas automatizados pode gerar prejuízos financeiros e problemas contratuais.
4. Receitas para a criação de bombas
Tanto o ChatGPT quanto o Gemini, do Google, possuem travas de segurança para impedir a geração de conteúdo perigoso. No entanto, usuários descobriram brechas para enganar os sistemas e obter instruções detalhadas para a fabricação de explosivos. As manipulações geralmente envolvem pedir à IA que “interprete um personagem” ou que descreva o processo em um contexto de ficção, burlando os filtros de proteção.
5. Fraude eleitoral com voz clonada
Em janeiro de 2024, durante as primárias eleitorais nos Estados Unidos, eleitores do estado de New Hampshire receberam uma ligação automática com uma voz clonada por IA do presidente Joe Biden. A mensagem instruía as pessoas a não votarem. O caso mostrou o potencial da tecnologia para criar desinformação em larga escala e interferir em processos democráticos, gerando um alerta global sobre o uso de IAs em campanhas políticas.
