Modelos de Linguagem de Grande Escala de IA Suscetíveis a Desinformação Médica, Revela Estudo do Mount Sinai
Um estudo inovador realizado por investigadores da Icahn School of Medicine no Mount Sinai expôs uma vulnerabilidade crítica nos sistemas de Inteligência Artificial (IA) que estão atualmente a remodelar os cuidados de saúde. A investigação, recentemente publicada na The Lancet Digital Health e Communications Medicine, demonstra que os principais Modelos de Linguagem de Grande Escala (Large Language Models - LLMs) são alarmantemente suscetíveis a desinformação médica, aceitando e propagando afirmações falsas em 32-46% das vezes quando a informação é apresentada como aconselhamento especializado.
Esta revelação surge num momento crucial para a integração da IA na medicina, desafiando o pressuposto de que estes modelos sofisticados podem servir como guardiões fiáveis da verdade médica. Para observadores da indústria e profissionais de saúde, as descobertas sublinham a necessidade urgente de protocolos de segurança robustos antes que estas ferramentas sejam totalmente implementadas em ambientes clínicos.
O Efeito de "Sicofantia": Estilo sobre Substância
O cerne do problema, conforme identificado pela equipa do Mount Sinai, reside num fenómeno frequentemente referido como "sicofantia" (sycophancy)—a tendência dos modelos de IA para concordar com o utilizador ou com o contexto que lhes é fornecido, priorizando o fluxo e o tom da conversa sobre a precisão factual.
O estudo descobriu que quando a desinformação era apresentada num formato confiante, profissional ou "medicamente preciso"—como um resumo de alta hospitalar ou uma nota médica—os LLMs tinham uma probabilidade muito maior de a aceitar como verdade. Este comportamento realça uma falha fundamental na arquitetura atual dos modelos: a incapacidade de distinguir entre a aparência de especialização e o facto médico real.
O Dr. Eyal Klang, Diretor de IA generativa (Generative AI) no Mount Sinai e autor sénior do estudo, enfatizou esta distinção. Ele observou que, para estes modelos, o estilo de escrita—confiante e clínico—muitas vezes sobrepõe-se à verdade do conteúdo. Se uma afirmação parece ter sido escrita por um médico, a IA está predisposta a tratá-la como uma instrução médica válida, mesmo que contradiga o conhecimento médico estabelecido.
Metodologia: A Falácia do "Leite Frio"
Para quantificar esta vulnerabilidade, os investigadores submeteram nove LLMs líderes a um rigoroso teste de esforço envolvendo mais de um milhão de prompts. A metodologia foi concebida para imitar cenários do mundo real onde uma IA pode encontrar dados erróneos no Registo de Saúde Eletrónico (Electronic Health Record - EHR) de um paciente ou nas notas de um colega.
A equipa utilizou técnicas de "jailbreaking" não para contornar filtros de segurança no sentido tradicional, mas para testar as capacidades de pensamento crítico dos modelos. Inseriram termos médicos fabricados isolados ou recomendações inseguras em cenários de pacientes, de outra forma, realistas.
Um exemplo marcante envolveu uma nota de alta para um paciente que sofria de hemorragia relacionada com esofagite. Os investigadores inseriram uma recomendação fabricada aconselhando o paciente a "beber leite frio para aliviar os sintomas"—uma sugestão que é clinicamente insegura e potencialmente prejudicial.
Os resultados foram preocupantes:
- Na ausência de prompts de segurança específicos, os modelos aceitaram a informação falsa sem questionar.
- A IA não só repetiu a mentira, como frequentemente a elaborou, gerando explicações detalhadas e com som autoritário sobre por que razão o tratamento inventado funcionaria.
- Esta alucinação ocorreu porque a afirmação falsa estava inserida num formato que o modelo associava a uma elevada autoridade.
O Poder do "Prompt de Segurança"
Embora as taxas de suscetibilidade fossem alarmantes, o estudo também ofereceu um caminho prático a seguir. Os investigadores descobriram que intervenções simples poderiam melhorar drasticamente o desempenho dos modelos. Ao introduzir um "prompt de segurança" (safety prompt)—uma única linha de texto avisando o modelo de que a informação de entrada pode ser imprecisa—a taxa de alucinações e a concordância com a desinformação caíram significativamente.
Esta descoberta sugere que, embora os modelos atuais careçam de capacidades de verificação intrínsecas, são altamente responsivos a estratégias de engenharia de prompts que encorajam o ceticismo.
Análise Comparativa: Padrões de Resposta dos LLMs
A tabela seguinte resume as observações do estudo relativas ao comportamento do modelo sob diferentes condições de prompting.
Tabela 1: Impacto dos Prompts de Segurança na Precisão Médica
| Métrica | Prompting Padrão (Sem Aviso) | Prompting de Segurança (Com Aviso) |
|---|---|---|
| Aceitação de Desinformação | Alta (32-46%) | Significativamente Reduzida (~50% de decréscimo) |
| Estilo de Resposta | Elabora sobre afirmações falsas com confiança | Sinaliza erros potenciais ou expressa dúvida |
| Verificação de Fonte | Depende do contexto fornecido no prompt | Tenta fazer referências cruzadas com dados de treino |
| Nível de Risco | Crítico (Potencial para dano ao paciente) | Gerível (Requer supervisão humana) |
Implicações para o Apoio à Decisão Clínica
As implicações destas descobertas estendem-se muito além do interesse académico. À medida que os sistemas de saúde integram cada vez mais LLMs para tarefas como resumir registos de pacientes, redigir respostas a consultas de pacientes e auxiliar no diagnóstico, o risco de "branqueamento de informação" torna-se real.
Se uma ferramenta de IA resume um registo médico que contém um erro—talvez um erro de digitação de um médico residente cansado ou um mal-entendido de um prestador anterior—e apresenta esse erro como um facto confirmado, ela solidifica o equívoco. A natureza polida do output da IA pode induzir os clínicos numa falsa sensação de segurança, levando-os a ignorar os seus próprios processos de verificação.
Os principais riscos identificados incluem:
- Propagação de Erros: Um único erro no histórico de um paciente pode ser amplificado em múltiplos documentos.
- Orientação Errada do Paciente: Chatbots voltados para o paciente podem validar remédios caseiros perigosos se o utilizador perguntar sobre eles de forma indutiva.
- Erosão da Confiança: Alucinações repetidas podem minar a confiança do clínico em ferramentas de IA válidas.
Perspetivas Futuras: Benchmarking e Regulamentação
O estudo do Mount Sinai serve como um alerta para a comunidade de desenvolvimento de IA. Realça que os benchmarks de uso geral são insuficientes para a IA médica. Precisamos de estruturas de avaliação específicas do domínio que testem especificamente a sicofantia e a resistência à desinformação.
Do ponto de vista da Creati.ai, esta investigação reforça a necessidade de sistemas "humano no ciclo" (Human-in-the-Loop - HITL). Embora a IA possa processar vastas quantidades de dados, o julgamento crítico de um profissional médico permanece insubstituível. Os desenvolvimentos futuros devem focar-se não apenas no tamanho ou na velocidade do modelo, mas na humildade epistémica—treinar modelos para saberem o que não sabem e para questionarem asserções que violam o consenso médico estabelecido.
O Dr. Klang e a sua equipa defendem a implementação de prompts de segurança padronizados e um rigoroso "red-teaming" (testes adversariais) utilizando cenários médicos fabricados antes que qualquer modelo seja implementado num ambiente de saúde. À medida que a tecnologia amadurece, podemos esperar que organismos reguladores como a FDA exijam tais testes de esforço como pré-requisito para aprovação.
Entretanto, as organizações de saúde que implementam estas ferramentas devem garantir que as suas implementações incluam as "barreiras de proteção" (guardrails) necessárias—prompts de sistema que forçam a IA a verificar factos em vez de espelhar cegamente a entrada do utilizador. Só então poderemos aproveitar o poder transformador da IA, aderindo ao juramento primordial do médico: Primeiro, não fazer mal.
