Avaliações de modelos de inteligência artificial (IA) têm sido cruciais para medir a eficácia dessas tecnologias, mas a metodologia subjacente ainda está em desenvolvimento, conforme afirmou Irene Solaiman, chief policy officer da Hugging Face, durante evento recente.

Desafios na avaliação

Solaiman destacou que a reproduzibilidade dos resultados de avaliação é fundamental para a confiança na tecnologia. Ela também apontou que as avaliações atuais são ainda incipientes e que há uma demanda por sistemas de avaliação integrados, mas que os critérios para determinar quem são os avaliadores eficazes ainda estão em discussão.

‘‘Trust is such a weighted term,’’ disse Solaiman, ressaltando a importância da reproduzibilidade dos resultados de avaliação e do acesso aos pesos abertos dos modelos.

Evoluindo a avaliação

A Hugging Face, que já enfrentou incidentes relacionados a segurança de seus modelos, defende a ideia de avaliadores integrados como uma alternativa ao controle governamental. No entanto, a empresa reconhece que esses avaliadores precisam ser mais qualificados e que as avaliações devem se expandir para incluir não apenas os modelos, mas também os sistemas que os usam.