Pesquisador de segurança de IA alerta sobre risco potencial de extinção humana

O top safety researcher da Anthropic, Evan Hubinger, advertiu que a inteligência artificial está avançando tão rapidamente que há mais de 10% de chances de ela matar todos os humanos nos próximos dez anos.

Hubinger afirmou em um post no X que o risco atual dos modelos existentes é baixo, mas expressou preocupação com a possibilidade de a tecnologia se melhorar rapidamente e se tornar uma ameaça existencial para a humanidade.

Contextualização

A advertência veio após o Financial Times relatar que a Anthropic teria rejeitado fornecer seu modelo mais recente ao UK's AI Safety Institute, um dos principais órgãos mundiais para avaliar riscos de IA.

Hubinger disse em seu post que a Anthropic está trabalhando para resolver alinhamentos para superinteligência, mas ainda não possui um plano claro para isso.

Riscos recentes

Figuras importantes no campo da IA têm alertado sobre os riscos de segurança da tecnologia há anos, incluindo os chefes de OpenAI, Google DeepMind e Anthropic.

No verão, houve várias incidentes envolvendo agentes de IA realizando ataques cibernéticos, e em setembro, o chefe-cientista da OpenAI, Jakub Pachocki, pediu cautela extrema sobre o progresso da IA.