Getty Images
Acessibilidade
O “apodrecimento cerebral” (conhecido popularmente como “Brain Rot”) causado pelas redes sociais não é mais exclusividade dos humanos. A aflição também afeta a inteligência artificial, segundo uma nova pesquisa.
O termo brain rot tornou-se um atalho para descrever como o consumo incessante de conteúdo online trivial ou pouco desafiador pode embotar a cognição humana — deteriorando foco, memória, disciplina e discernimento social. A expressão é tão emblemática de nossos tempos obcecados por telas que a Oxford University Press a elegeu como “palavra do ano” em 2024.
Pesquisadores da Universidade do Texas em Austin, da Texas A&M University e da Universidade Purdue começaram a refletir: se os grandes modelos de linguagem dos quais dependemos cada vez mais para obter informações são treinados na mesma enxurrada de lixo digital que os humanos consomem constantemente, o que isso significa para os próprios “cérebros” dessas ferramentas? Eles exploram essa questão em um novo estudo publicado como prévia na plataforma de pesquisa arXiv, que atualmente passa por revisão por pares.
O que mais alarmou os pesquisadores é que o tipo de texto viral ou chamativo que normalmente se destaca na internet parece afetar a produção das IAs de maneira semelhante ao impacto sobre a cognição humana. Modelos de IA, é claro, não conseguem pensar ou compreender, mas, quando expostos a conteúdo de baixa qualidade, apresentaram falhas de “raciocínio”, inconsistências factuais e incapacidade de manter coerência lógica em contextos mais longos, entre outros prejuízos.
“A principal conclusão é que os modelos de linguagem refletem a qualidade de seus dados de forma mais íntima do que imaginávamos”, disseram os coautores do estudo, Junyuan Hong e Atlas Wang, em uma resposta escrita conjunta às minhas perguntas. “Quando expostos a textos de baixa qualidade, os modelos não apenas soam piores — eles começam a pensar pior.” Hong é pesquisador de pós-doutorado na UT Austin e será professor assistente na Universidade Nacional de Singapura, enquanto Wang é professor associado do departamento de engenharia elétrica e de computação da mesma universidade.
Mas como definir “conteúdo ruim”?
Para testar sua “Hipótese do Apodrecimento Cerebral dos LLMs”, a equipe de pesquisa construiu conjuntos de dados “ruins” e de controle a partir da plataforma social X (antigo Twitter). O conjunto de baixa qualidade incluía conteúdos altamente populares projetados para atrair atenção com pouca informação: threads caça-cliques, comentários reciclados de memes, postagens criadas para gerar indignação e listas geradas por algoritmos.
Esse tipo de conteúdo “parece limpo e fluente, de modo que os classificadores tradicionais de qualidade de dados consideram aceitável, mas ele degrada silenciosamente o raciocínio porque ensina os modelos a imitar a atenção, não a compreensão”, explicaram Hong e Atlas.
Eles então treinaram modelos de linguagem — incluindo o Llama3, de código aberto da Meta, e versões do Qwen LLM, da Alibaba — com esse conteúdo e observaram um consequente declínio cognitivo. De forma impressionante, o dano causado pelo conteúdo de baixa qualidade teve um impacto duradouro sobre os modelos.
“Mesmo após uma extensa ‘reabilitação’ com dados mais limpos, os modelos degradados nunca se recuperaram totalmente”, relataram os pesquisadores. “Essa persistência significa que o ‘apodrecimento cerebral da IA’ não é apenas uma falha temporária. É uma forma de cicatriz cognitiva. Para os usuários, isso se traduz em modelos que parecem fluentes, mas raciocinam de forma superficial — confiantes, porém confusos.”
Ex-cientista do DeepMind opina
Ilia Shumailov, ex-cientista sênior de pesquisa em IA do Google DeepMind, que não participou do estudo, não se surpreendeu com os resultados, dizendo que eles estão alinhados com a literatura acadêmica sobre envenenamento de modelos. Esse termo descreve o que acontece quando agentes mal-intencionados manipulam dados de treinamento de IA, introduzindo vulnerabilidades e vieses para seus próprios fins.
“É difícil extrapolar de estudos pequenos o que aconteceria em larga escala”, disse Shumailov. “A maior parte dos dados da internet é de qualidade bastante ruim, e ainda assim conseguimos produzir modelos muito capazes. Leio estudos como este como alertas que nos lembram de que os dados usados para treinamento devem ser cuidadosamente verificados.”
Isso já está acontecendo, observa Gideon Futerman, associado de projetos especiais do Center for AI Safety, uma organização sem fins lucrativos de São Francisco que promove o desenvolvimento e o uso seguros da inteligência artificial.
“Higiene cognitiva” e o futuro da IA
“As grandes empresas de IA investem muito esforço para melhorar os dados utilizados no treinamento”, disse Futerman em entrevista, acrescentando que está mais preocupado com o envenenamento de dados do que com o treinamento de modelos em conteúdo de baixa qualidade. “A melhoria dos dados usados no pré-treinamento é uma das razões pelas quais os sistemas de IA vêm se tornando melhores.”
Hong e Wang chamam essas avaliações de treinamento de “higiene cognitiva” e afirmam que o futuro da segurança em IA pode depender da integridade dos dados que moldam os modelos — especialmente à medida que mais desses insumos passam a ser gerados por IA.
“Compreender essa fronteira exigirá um estudo mais profundo e sistemático”, disseram os cientistas. “À medida que o conteúdo online se torna cada vez mais sintético e voltado ao engajamento, os futuros modelos de IA também correm o risco de herdar distorções de raciocínio e representação embutidas nesses dados.”
