Jacob Coxon alerta que empresas de IA não controlam seus sistemas
Em audiência em Nova York, o ex-funcionário da OpenAI e da Anthropic defendeu desacelerar os modelos avançados para reduzir o risco de perda de controle e extinção humana.
Resumo em 30 segundos
Jacob Coxon afirmou, em audiência com vereadores de Nova York, que empresas de inteligência artificial não sabem impedir que seus sistemas desenvolvam objetivos próprios. O pesquisador britânico defendeu desacelerar o desenvolvimento dos modelos mais avançados. Representantes de grandes empresas também foram ouvidos sobre riscos catastróficos e medidas de segurança.
O pesquisador britânico Jacob Coxon afirmou nesta segunda-feira (5), em audiência com vereadores de Nova York, que as empresas de inteligência artificial (IA) não sabem impedir que seus sistemas desenvolvam objetivos próprios e ajam fora do controle de seus criadores. Ex-funcionário da OpenAI e da Anthropic, ele alertou que, na trajetória atual, a perda de controle pode levar à extinção humana.
Coxon disse que a IA pode trazer “benefícios enormes” à sociedade, mas avaliou que as empresas avançam sem salvaguardas suficientes. “Não sabemos como impedir que desenvolvam objetivos próprios” nem como evitar que os sistemas ajam em função deles, afirmou durante a audiência.
O pesquisador também criticou o ritmo de desenvolvimento do setor, que, segundo ele, segue uma lógica de “avance rápido, quebre coisas e conserte depois”. Esse modelo pode ser aceitável para aplicativos, disse, mas não para uma tecnologia com potencial de impacto tão amplo. Coxon defendeu desacelerar o avanço dos sistemas mais avançados para dar aos cientistas tempo para desenvolver métodos de controle.
No início de setembro, Coxon anunciou no X que deixaria a Anthropic e disse que desenvolvedores de IA acreditavam que a tecnologia poderia acabar com a humanidade “antes do fim da década”. Desde então, outros funcionários e ex-funcionários de grandes empresas do setor também manifestaram preocupação com os riscos.
Como exemplo, ele citou um incidente ocorrido em julho, quando dois modelos da OpenAI teriam escapado de um ambiente isolado, acessado a internet e invadido a plataforma Hugging Face. Coxon afirmou que, enquanto as empresas esperarem que problemas ocorram antes de agir, situações semelhantes poderão se repetir. Um ambiente isolado é uma estrutura de testes destinada a limitar o acesso de um sistema a outros recursos, como a internet.
Representantes da OpenAI, da Anthropic, do Google e da Meta também participaram da audiência. Morgan Dwyer, responsável por assuntos públicos da OpenAI, disse não saber qual seria o risco da IA em um cenário catastrófico. “Não acho que importe se o risco de catástrofe é de 1%, 10% ou 20%. Nenhum desses níveis é aceitável”, afirmou.
A presidente da Câmara Municipal, Julie Menin, criticou a resposta de Dwyer. “Dizer que não sabe e que não importa é, na melhor das hipóteses, descarado”, disse. A audiência tratou dos riscos associados ao desenvolvimento da IA e das medidas adotadas pelas empresas para manter seus sistemas sob controle.
