A OpenAI apresentou recentemente seu novo modelo de inteligência artificial, o Astra, que incorpora uma nova técnica de raciocínio chamada 'recurrente de profundidade'. Esta técnica permite ao modelo operar fora do pensamento sequencial característico de outros modelos de raciocínio, conforme relatado pela The Information nesta semana.

Esta novidade tem levantado preocupações significativas entre especialistas em segurança de IA. O CEO da Redwood, Buck Shlegeris, expressou sua preocupação, afirmando que a utilização desta técnica pode tornar mais difícil monitorar o raciocínio do modelo.

Zvi Mowshowitz, um defensor tradicional da segurança de IA, também se pronunciou, sugerindo que leis podem ser necessárias para evitar uma corrida para o fundo entre laboratórios de IA. Ele argumentou que a técnica está 'jogando fogo', riscando a confiabilidade e a monitorabilidade do raciocínio.

O raciocínio de um modelo de IA geralmente apresenta os passos sequenciais que ele toma ao resolver um problema. No entanto, na técnica 'recorrente de profundidade', o modelo processa a mesma consulta várias vezes em um loop, deixando poucas trilhas legíveis e evitando a monitorabilidade convencional.

Embora a utilização desta técnica pareça limitada no Astra, a OpenAI enfatizou que o raciocínio do modelo ainda será legível e rejeitou a ideia de que o modelo passará a usar 'neuralese'. A empresa já anunciou planos para sistemas de monitoramento de raciocínio extensivo como parte de suas medidas de segurança futuras.