Post diz que IA médica perde pouco ao remover imagens de teste baseado no NEJM
Um pesquisador de IA relatou em rede social que a precisão do GPT-5 caiu pouco ao retirar as imagens de um teste médico. A afirmação é preliminar e não passou por revisão de pares.
Fonte: Claim: LLM scores barely fall on a medical benchmark without images (x.com). Resumo escrito com IA a partir da fonte e conferido por regras; leia o original.
O que a pesquisa mostra
Segundo o post de um pesquisador de inteligência artificial em rede social, a precisão do GPT-5 em um teste multimodal baseado em casos do New England Journal of Medicine caiu de 86,59 para 82,91 quando as imagens médicas foram removidas. A diferença é de cerca de 3,7 pontos percentuais. O autor sugere que alguns testes de IA médica podem não estar medindo a capacidade de interpretar imagens, o que poderia exagerar o desempenho real desses sistemas.
Esse tipo de afirmação é preliminar. Trata-se de uma publicação em rede social, não de um estudo revisado por outros especialistas, e os números não podem ser conferidos a partir do texto. Testes de inteligência artificial para medicina costumam misturar texto e imagens, e identificar o que realmente está sendo medido exige análise detalhada da metodologia. Ainda assim, a discussão é relevante para quem acompanha como esses sistemas são avaliados antes de serem comparados com profissionais de saúde.
O que isso significa
A afirmação sugere que parte da pontuação de alguns testes de IA médica pode não depender da leitura de imagens. Ainda não se sabe se a queda observada se repete em outros testes, em outros modelos ou sob uma análise independente.
Como ler com cuidado
Este resultado não substitui uma consulta médica e não deve ser lido como indicação de confiança ou desconfiança em ferramentas de IA para diagnóstico. Quem estiver pensando em usar essas ferramentas, ou em mudar hábitos, alimentação, suplementos ou tratamentos, deve conversar com um médico ou outro profissional qualificado.