Vals busca padronizar benchmarking de modelos de IA

A startup Vals, fundada em 2024, está empenhada em melhorar o sistema de benchmarking de inteligência artificial (IA) atualmente em uso. O objetivo é criar uma metodologia mais precisa e transparente para avaliar a capacidade dos modelos de IA.

O co-fundador Rayan Krishnan, de 25 anos, explica que a necessidade surgiu a partir das observações sobre como os benchmarks atuais não acompanham o avanço constante da tecnologia. 'Vimos muitos novos modelos muito capazes entrarem no mercado rapidamente, enquanto os benchmarks acadêmicos não estão a par dessas inovações', afirma Krishnan.

Com sede em San Francisco, a empresa desenvolveu um sistema que não divulga suas provas específicas, focando em tarefas complexas relacionadas a diferentes setores como lei, finanças e programação. 'Estamos buscando medir não apenas os resultados positivos, mas também os negativos, para entender as implicações reais desses modelos', destaca Krishnan.

A startup já recebeu investimentos significativos, incluindo um financiamento de US$40 milhões liderado pela Andreessen Horowitz. Em menos de dois anos, Vals se destacou no mercado tecnológico.