Um estudo publicado em 2025 alegando que o ChatGPT melhorou o desempenho dos alunos foi retirado por inconsistências metodológicas. Mas os seus resultados, amplamente divulgados em revistas e redes científicas, continuam a alimentar o debate sobre a IA na educação.
Um estudo foi realizado para provar que o ChatGPT pode melhorar o desempenho acadêmico… e depois desaparecer silenciosamente. Quase um ano após a publicação, um artigo científico que elogiava os benefícios do chatbot da OpenAI na aprendizagem dos alunos foi retirado pela sua editora, Springer Nature. Segundo a Arstecnica, esta última cita diversas “inconsistências” na análise e falta de confiança nos resultados.
O estrago já está feito. Publicado em maio de 2025 no Journal of Humanities and Social Science Communication, o estudo foi amplamente divulgado, acumulando várias centenas de citações e centenas de milhares de leituras. Nas redes sociais, isto é frequentemente apresentado como uma demonstração sólida dos efeitos positivos da inteligência artificial na educação.
Uma demonstração fraca
“O ChatGPT e a IA generativa são considerados por muitos como uma das primeiras evidências demonstráveis de que os alunos podem realmente se beneficiar com isso”, ressalta Ben Williamson, pesquisador da Universidade de Edimburgo, entrevistado pela ArsTechnica.
O artigo é baseado em uma meta-análise de 51 estudos que mediram os efeitos do ChatGPT no desempenho acadêmico, na aprendizagem e no pensamento crítico. Os autores concluíram que houve um efeito positivo “significativo” nos resultados dos alunos e um efeito positivo “moderado” na sua capacidade de raciocínio.
Mas estas conclusões baseiam-se em fundamentos fracos. Segundo Ben Williamson, o estudo misturou trabalhos difíceis de comparar ou de baixa qualidade. “Em alguns casos, o estudo parece ter reunido pesquisas de qualidade muito baixa ou resultados mistos de estudos que não podem ser comparados com precisão devido a métodos, populações e amostras muito diferentes”, explica.
Um professor do Centro de Pesquisa em Educação Digital da Universidade de Edimburgo disse: “Temos a intenção de que este artigo nunca seja publicado.
Outro problema: o calendário. Publicado dois anos e meio após o lançamento do ChatGPT, o estudo já atrai dezenas de pesquisas fortes. Uma acumulação é considerada não confiável. “É incrível que dezenas de estudos de alta qualidade sobre o SatGBT e sua eficácia de aprendizagem pudessem ter sido conduzidos, revisados por pares e publicados neste período”, lembra ele.
Propagação incontrolável
Apesar dessas deficiências, o estudo foi amplamente distribuído. Desde a sua publicação, o estudo foi citado mais de 500 vezes em artigos científicos. Atraiu quase meio milhão de leitores. É o suficiente para permitir que ele se classifique no percentil 99 dos artigos de revistas científicas com base no descuido.
“Claro que o problema deste tipo de divulgação nas redes sociais é que todos os detalhes do estudo são destruídos”, lamenta Ben Williamson. “Todo o resto são afirmações de nicho que alguns usuários de mídia social ajudaram a amplificar e popularizar”.
Como resultado, a ideia de que o SatGBT melhora a aprendizagem tornou-se generalizada, independentemente da força das evidências. Outros pesquisadores, porém, soaram o alarme assim que o estudo foi publicado. Este é, por exemplo, o caso de Ilkka Doumi.
No LinkedIn, o diretor científico da empresa de pesquisa Meaning Processing Ltd. alertou para os perigos de tais meta-análises, que tentam “tirar conclusões inadequadas e mal definidas” a partir de resultados de ensaios envolvendo diferentes populações. Mais tarde, ele criticou a prática de criar “estatísticas com aparência de ciência” a partir de dados multivariados.
Um retorno à indiferença geral
Em 22 de abril de 2026, a Springer Nature finalmente emitiu um aviso de retratação… quase um ano após sua publicação inicial. “Os autores decidiram retratar este artigo devido a preocupações com inconsistências na meta-análise”, dizia a nota de retratação. “Essas questões colocam em questão a validade da análise e a confiança que o conselho editorial pode depositar nas conclusões dela extraídas”. O editor da revista também observa que “os editores não responderam às cartas de retratação”.
Mas este resultado permanece em grande parte invisível. Ben Williamson teve que retransmitir isso nas redes sociais para chamar sua atenção. Enquanto isso, o estudo já havia deixado uma impressão duradoura. “A principal conclusão de que o ChatGPT melhora o desempenho da aprendizagem pode ser mantida mesmo se retirada”, preocupa o professor.
O episódio ilustra as tensões que cercam a inteligência artificial na educação. Por um lado, as empresas de tecnologia promovem ferramentas para ajudá-lo a aprender, revisar ou praticar. Por outro lado, professores e investigadores estão preocupados com o impacto negativo no pensamento e na autonomia dos alunos. Confrontados com estas incertezas, alguns sistemas educativos estão a começar a regressar aos métodos tradicionais em favor do papel e da caligrafia.
“O que precisamos é de investigação de qualidade”, insiste Ben Williamson. Caso contrário, a discussão poderá continuar com estudos mais fracos.
