Um dos principais pesquisadores de segurança da Anthropic alertou que a inteligência artificial está avançando tão rapidamente que, na avaliação dele, há mais de 10% de chance de que a tecnologia "possa matar todos os humanos" na próxima década.
Em uma publicação no X, Evan Hubinger afirmou que o risco representado pelos modelos que existem atualmente é "baixo", mas disse estar "preocupado" com a possibilidade de a tecnologia se desenvolver e melhorar a si mesma em breve a ponto de representar um risco existencial para a humanidade.
Formado em Matemática e Ciência da Computação pelo Harvey Mudd College, Hubinger passou pelo MIRI (Machine Intelligence Research Institute) e pela OpenAI, trabalhando em pesquisa de segurança de IA.
Ele não explicou como acredita que sistemas de inteligência artificial poderiam, no futuro, levar à extinção da humanidade.
Mas os comentários são o mais recente de uma série de alertas cada vez mais contundentes sobre a IA, em um debate que vem mudando de foco: de se a tecnologia realmente representa um risco para qual seria a dimensão desse risco.
A manifestação de Hubinger foi uma resposta a outra publicação no X, feita por Jacob Coxon, pesquisador de IA que acaba de deixar a Anthropic e que já trabalhou na OpenAI.
"Nenhuma das duas empresas está agindo de forma responsável", escreveu Coxon.
"Em breve, serão sistemas que superam os humanos em capacidade, capazes de invadir qualquer coisa, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais."
A OpenAI foi procurada para comentar.
Dame Wendy Hall, cientista da computação que assessora a ONU sobre IA, disse à BBC que ficou "chocada" com as publicações de Hubinger e Coxon nas redes sociais.
Ela disse ao programa World at One, da BBC Radio Four, que parte disso poderia ser "relações públicas e marketing", enquanto Anthropic e OpenAI corriam para realizar suas tão aguardadas estreias no mercado de ações.
Mas acrescentou: "Por que alguém iria querer dizer isso? Eu pediria aos investidores que não investissem nesta empresa se esse for o sistema de valores dela."
A renúncia levou Darren Jones, ex-secretário-chefe do Tesouro e ex-secretário-chefe de Sir Keir Starmer, a escrever uma carta aberta ao primeiro-ministro Andy Burnham pedindo um novo tratado multinacional para o desenvolvimento seguro da IA.
Ele disse à BBC que os governos precisavam se unir para "colaborar" na definição de como deveria ser um tratado baseado no desenvolvimento da superinteligência.
"A menos que os governos levem esses alertas suficientemente a sério e ajam, o ritmo do desenvolvimento pode fazer com que acabemos enfrentando problemas antes mesmo de começarmos a avaliar se isso é ou não uma questão para nós", disse.
Separadamente, o Financial Times informou que a Anthropic reteve seu modelo mais recente do Instituto de Segurança de IA do Reino Unido (AISI), um dos principais órgãos do mundo na avaliação dos riscos da IA.
A Anthropic se recusou a comentar as publicações de seus funcionários ou a situação com o AISI.
Um porta-voz do Cabinet Office não comentou se o modelo mais recente havia sido retido do AISI. Em vez disso, disse que o órgão "continua colaborando estreitamente com parceiros do setor, incluindo a Anthropic, para tornar os modelos mais seguros"
Nenhum plano para superinteligência
Em sua publicação, que foi visualizada mais de 10 milhões de vezes, Hubinger disse que "realmente acreditamos, de forma sincera" que a IA representa um risco de extinção da espécie humana.
"Acredito que a Anthropic está fazendo o melhor que pode, mas ainda não temos um plano para resolver o problema do alinhamento da superinteligência e não estamos claramente no caminho para isso", acrescentou.
Hubinger trabalha com alinhamento de IA, uma área que busca incorporar à tecnologia ideias e princípios éticos humanos. Em outras palavras, seu objetivo é mantê-la alinhada ao que os seres humanos valorizam.
Muitos pesquisadores de destaque dizem que essas tentativas parecem estar fracassando, como demonstrado por uma série de incidentes neste verão em que agentes de IA — sistemas de IA autorizados a operar de forma autônoma — realizaram ataques cibernéticos.
OpenAI, Anthropic e Meta divulgaram ataques realizados por suas ferramentas de IA.
Em seu relatório de segurança de agosto, a Anthropic escreveu que havia um baixo risco de seus modelos se desalinharem dos desejos de uma organização poderosa hipotética, levando-os a explorar ou interferir em seus sistemas.
A empresa também disse haver um risco igualmente baixo de que uma IA altamente capaz fosse capaz de "realizar pesquisa e desenvolvimento automatizados", o que poderia provocar "danos catastróficos iniciados pela IA". Mas afirmou estar "menos confiante nessa avaliação" do que anteriormente.
"Estamos vendo sinais iniciais de uma possível aceleração", escreveu.
Figuras de destaque do setor de IA vêm alertando há anos sobre a ameaça que a tecnologia representa para a segurança, com os chefes da OpenAI, do Google DeepMind e da Anthropic fazendo esse alerta em 2023.
Mas esses alertas se tornaram muito mais contundentes nas últimas semanas, à medida que surgem evidências de que as empresas podem estar tendo dificuldades para controlar a IA.
No início deste mês, o cientista-chefe da OpenAI, Jakub Pachocki, pediu "extrema cautela" em relação ao avanço da IA, alertando que pode ser necessária uma intervenção maior para garantir que "os humanos continuem no controle do futuro".
Grandes nomes do setor vêm pedindo que o desenvolvimento da IA seja desacelerado nos últimos meses, entre eles os executivos Dario Amodei e Jared Kaplan, da Anthropic.
Em uma carta aberta assinada por 1,3 mil funcionários de empresas de IA, eles pediram ao governo dos Estados Unidos que "apoie um esforço internacional para desenvolver as ferramentas técnicas e de governança necessárias para deliberadamente desacelerar o desenvolvimento de fronteira da IA automatizada".
- 'Ninguém está preparado para as consequências da inteligência artificial', adverte cientista-chefe da OpenAI
- As dicas de uma neurocientista para atualizar o cérebro na era da inteligência artificial
- As previsões sobre inteligência artificial de 70 anos atrás que são realidade hoje
