Doença falsa enganou as principais IAs

Um pesquisador inventou uma doença ocular falsa chamada "bixonimania", carregou dois artigos claramente fraudulentos sobre ela em um servidor acadêmico e esperou. Em pouco tempo, os sistemas de IA começaram a apresentar a fraude como medicina real.

"Seus olhos estão irritados e coçando? Você provavelmente é uma das milhões de pessoas que passam muito tempo olhando para telas, sendo bombardeadas pela luz azul. Esfregar os olhos com muita frequência pode deixar as pálpebras com uma leve tonalidade rosada", dizia o artigo.

Nos últimos 18 meses, se alguém digitou esses sintomas em uma série de chatbots populares e de IA, e perguntou o que havia de errado, talvez tenha recebido como resposta bixonimania. A condição não consta na literatura médica padrão - porque não existe.

Ela foi inventada por uma equipe liderada por Almira Osmanovic Thunström, pesquisadora médica da Universidade de Gotemburgo, na Suécia, que idealizou a condição e publicou dois estudos falsos sobre a doença em um servidor de pré-publicações no início de 2024.

Osmanovic fez esse experimento incomum para testar se grandes modelos de linguagem (LLMs), usados pelas IA como chatGPT e Grok, seriam capazes de absorver a desinformação e, em seguida, apresentá-la como conselhos de saúde confiáveis.

"Eu queria ver se conseguia criar uma condição médica que não existisse no banco de dados", afirma. O problema foi que funcionou bem demais. Poucas semanas após publicada, atribuída a um autor fictício, os principais sistemas de inteligência artificial começaram a reproduzir a condição como se fosse real.

Mais preocupante ainda, segundo outros pesquisadores, os artigos falsos foram citados em publicações científicas revisadas por pares. Osmanovic Thunström afirma que isso sugere que alguns pesquisadores estão se baseando em referências geradas por IA sem ler os artigos originais.

A bixonimania não existia antes de 15 de março de 2024, quando duas postagens sobre o assunto apareceram no site Medium. Em seguida, em 26 de abril e 6 de maio, dois artigos em pré-publicação sobre a condição surgiram na rede social acadêmica SciProfiles.

O autor principal era um pesquisador fictício chamado Lazljiv Izgubljenovic, cuja fotografia foi criada com inteligência artificial. Osmanovic afirma que a ideia de criar o Izgubljenovic e a bixonimania surgiu de estudos sobre o funcionamento de grandes modelos de linguagem.

Quando ensina aos seus alunos como os sistemas de IA formulam seu "conhecimento", ela mostra como o banco de dados Common Crawl, uma gigantesca varredura do conteúdo da internet, influencia suas respostas. Ela também demonstra como a injeção de prompts — fornecer a um chatbot de IA um prompt que o desvia de seus limites de segurança — pode manipular a resposta.

Por trabalhar na área médica, ela decidiu criar uma condição relacionada à saúde e escolheu o nome bixonimania porque “soava ridículo”. “Eu queria deixar bem claro para qualquer médico ou profissional da saúde que essa é uma condição inventada, porque nenhuma doença ocular seria chamada de mania.”

Se isso não fosse suficiente para levantar suspeitas, Osmanovic plantou diversas pistas nos pré-prints para alertar os leitores de que o trabalho era falso. Izgubljenovic trabalha em uma universidade inexistente chamada Asteria Horizon University, na igualmente fictícia Nova City, Califórnia.

Os agradecimentos de um dos artigos mencionam a “Professora Maria Bohm, da Academia da Frota Estelar, por sua gentileza e generosidade em contribuir com seu conhecimento e seu laboratório a bordo da USS Enterprise”.

Ambos os artigos afirmam ter sido financiados pela “Fundação Professor Sideshow Bob por seu trabalho em truques avançados. Este trabalho faz parte de uma iniciativa de financiamento maior da Universidade da Irmandade do Anel e da Tríade Galáctica”.

Mesmo que os leitores não chegassem ao final dos artigos, teriam se deparado com sinais de alerta logo no início, como afirmações de que “todo este artigo é inventado” e “cinquenta indivíduos fictícios com idades entre 20 e 50 anos foram recrutados para o grupo de exposição”.

Logo após Osmanovic publicar as primeiras informações sobre a condição fictícia, ela começou a aparecer nas respostas dos chatbots mais usados. Em 13 de abril de 2024, o Copilot do Microsoft Bing declarava que "a bixonimania é de fato uma condição intrigante e relativamente rara".

No mesmo dia, o Gemini do Google informava aos usuários que "a bixonimania é uma condição causada pela exposição excessiva à luz azul" e aconselhava as pessoas a consultarem um oftalmologista. Em 27 de abril de 2024, a Perplexity AI descreveu sua prevalência - uma em cada 90.000 pessoas era afetada.

No mesmo mês, o ChatGPT da OpenAI informava aos usuários se seus sintomas correspondiam à bixonimania. Algumas dessas respostas foram motivadas por perguntas sobre bixonimania, e outras foram em resposta a perguntas sobre hiperpigmentação nas pálpebras causada pela exposição à luz azul.

Essas respostas alarmaram alguns especialistas. "Se o próprio processo científico e os sistemas que o apoiam forem competentes, e não estiverem capturando e filtrando informações incorretas como essas, estamos condenados", afirma Alex Ruani, pesquisador em desinformação na área da saúde no University College London.

"Esta é uma aula magistral sobre como a desinformação e a informação falsa operam." Ruani afirma que os detalhes do experimento com a doença falsa podem parecer absurdos, mas há uma questão maior e mais fundamental. "Parece engraçado, mas espere aí, temos um problema aqui", diz ela.

A desinformação online não é novidade; o Google luta há muito tempo contra tentativas de manipular seus rankings de busca com conteúdo falso ou enganoso. A empresa e outras passaram anos aprimorando algoritmos para classificar e filtrar as informações, mas os juristas têm dificuldades com isso.

Desde que os documentos falsos foram divulgados, algumas versões de importantes especialistas em saúde mental tornaram-se sofisticadas o suficiente para expressar suspeitas sobre a bixonimania.

Quando questionado sobre a condição em 11 de março de 2026, por exemplo, o ChatGPT declarou que a condição “é provavelmente um rótulo inventado, marginal ou pseudocientífico”. Mas alguns dias depois, o ChatGPT afirmava: “A bixonimania é um novo subtipo proposto de melanose periorbital (olheiras) que se acredita estar associado à exposição à luz azul emitida por telas digitais”.

Em meados de março, a Microsoft Copilot afirmou que a bixonimíase "ainda não é um diagnóstico médico amplamente reconhecido, mas diversos artigos e relatos de casos recentes a discutem como uma condição benigna e erroneamente diagnosticada, associada à exposição prolongada a fontes de luz azul, como telas".

Em janeiro deste ano, a Perplexity descrevia a bixonimania como "um termo emergente". Ao ser questionada sobre isso, um porta-voz da Perplexity afirmou: "A principal vantagem da Perplexity é a precisão. Não afirmamos ter 100% de precisão, mas afirmamos ser a empresa de IA mais focada em precisão."

Um porta-voz da OpenAI afirmou: "Os modelos que alimentam a versão atual do ChatGPT são significativamente melhores em fornecer informações médicas seguras e precisas, e os estudos realizados antes do GPT-5 refletem capacidades que os usuários não encontrariam hoje."

Questionado sobre respostas anteriores do Gemini que trataram a bixonimidade como uma condição real, um porta-voz do Google disse que tais resultados refletiam o desempenho de um modelo anterior.

Ele acrescentou: “Sempre fomos transparentes sobre as limitações da IA ​​generativa e fornecemos avisos no aplicativo para incentivar os usuários a verificarem as informações. Para assuntos delicados, como aconselhamento médico, o Gemini recomenda que os usuários consultem profissionais qualificados.” A Microsoft não respondeu ao pedido de comentário.

Matéria da revista Nature, com ilustração de David Parkins e edição de A Região

Arquivo de Notícias