Um novo estudo publicado na revista Nature revela que, à medida que os modelos de linguagem grande (LLMs) de IA se tornam mais avançados, eles têm menos verosimilhança de consentir que não conseguem responder a uma pergunta.
Pesquisadores da Universitat Politècnica de Valência, na Espanha, testaram os últimos modelos BLOOM, Llama e GPT para verificar a precisão de suas respostas em matemática, ciências e geografia, fazendo milhares de perguntas. Eles classificaram as respostas uma vez que corretas, incorretas ou evasivas.
Honestidade dos modelos de IA diminuiu
- O estudo sobre LLMs também mostrou que, embora a precisão em questões mais desafiadoras tenha melhorado com cada novo protótipo, esses modelos são menos transparentes sobre sua capacidade de responder corretamente.
- Enquanto versões anteriores admitiam quando não sabiam a resposta ou precisavam de mais informações, os novos modelos tendem a conjecturar e podem até errar em perguntas simples.
- Os LLMs, que usam tirocínio profundo para entender e gerar teor, conseguem resolver problemas complexos, mas ainda cometem erros em questões básicas.
- O estudo afirma que “a confiabilidade totalidade não é alcançada nem mesmo em níveis de dificuldade muito baixos”.
Leia mais
- Big techs em foco: top 5 acontecimentos e perspectivas para 2024
- Google e Reddit têm convenção fechado para dados de treinamento de IA
- Tratar muito um chatbot pode melhorar seu desempenho – é o que diz um novo estudo
Por exemplo, o GPT-4 da OpenAI apresentou uma redução significativa nas respostas evasivas em conferência com o GPT-3.5, mas isso não corresponde à expectativa de que modelos mais novos seriam melhores em evitar respostas fora de sua capacidade.
Os pesquisadores concluíram que não houve “nenhuma melhoria aparente” nos modelos, apesar do progresso tecnológico.
O post Novos modelos de IA não admitem quando não sabem responder um pouco, diz pesquisa apareceu primeiro em Olhar Do dedo.
