Confiabilidade dos Chatbots em Saúde em Questão
Um novo estudo, publicado na revista Nature Medicine, levanta preocupações sobre a eficácia dos chatbots de inteligência artificial (IA) na orientação em saúde. A pesquisa indicou que esses sistemas não são mais confiáveis do que buscas simples no Google, uma fonte que já é conhecida por fornecer informações dúbias. Os pesquisadores descobriram que, em muitos casos, os chatbots não conseguiram oferecer diagnósticos corretos ou sugerir os passos adequados a seguir diante de sintomas apresentados pelos usuários.
O estudo, que envolveu a participação de mais de 1.200 britânicos sem formação médica, teve como objetivo entender como esses chatbots lidam com questões de saúde. Os participantes foram expostos a cenários médicos fictícios e orientados a interagir com programas como o ChatGPT da OpenAI e o Llama da Meta. O resultado foi alarmante: os usuários acertaram a conduta correta em menos da metade das vezes, enquanto a identificação das condições de saúde corretas, como cálculos biliares ou hemorragia subaracnóidea, foi alcançada apenas em 34% das tentativas.
Desafios e Limitações dos Chatbots de Saúde
Os pesquisadores notaram que a interação com chatbots não superou a busca tradicional por informações online, destacando que, mesmo o grupo de controle que usou métodos como o Google teve desempenho semelhante. Adam Mahdi, professor do Instituto de Internet de Oxford e autor do estudo, ressalta que a medicina é uma disciplina complexa, que exige conhecimento e interpretação de dados. Ele acredita que a simplificação do processo de diagnósticos feita pelos chatbots pode ser enganosa e não refletir a realidade do atendimento médico.
Entre os erros cometidos pelos chatbots, os pesquisadores identificaram que muitos surgiram devido à falta de informações precisas fornecidas pelos usuários. Por exemplo, um participante relatou dores de estômago sem incluir detalhes cruciais como intensidade ou localização da dor, levando o bot a sugerir um diagnóstico inadequado. Quando os pesquisadores forneceram informações completas diretamente aos chatbots, a taxa de acerto no diagnóstico subiu para impressionantes 94%.
O Futuro da Interação entre Pacientes e IAs
O estudo também levanta uma questão importante: até que ponto é responsabilidade do usuário fornecer informações precisas e relevantes? Andrew Bean, principal autor do artigo, argumenta que os chatbots deveriam ser projetados para fazer perguntas complementares, assim como médicos fazem em consultas. Isso poderia melhorar a interação e, consequentemente, a qualidade das informações fornecidas nas consultas virtuais.
Além disso, mesmo quando foram inseridos detalhes completos, os chatbots mostraram dificuldade em determinar a urgência de uma situação. Danielle Bitterman, pesquisadora no Mass General Brigham, sugere que isso se deve ao treinamento dos modelos, que muitas vezes se baseiam em literatura médica e relatos de casos, mas não são expostos à tomada de decisões práticas que os médicos desenvolvem através da experiência.
Erros Freqüentes e Informações Falsas
Outro problema significativo constatado foi a tendência de alguns chatbots fornecerem informações completamente inventadas. Em uma situação, um modelo indicou que um participante ligasse para uma linha de emergência que, na verdade, não existia. Além disso, variações na forma de descrever os sintomas resultaram em conselhos drasticamente diferentes por parte dos chatbots. Isso levanta ainda mais dúvidas sobre a fiabilidade das interações, evidenciando que pequenos detalhes podem alterar o diagnóstico e a orientação recebida.
Enquanto as empresas de tecnologia, como OpenAI e Meta, continuam a aprimorar esses sistemas, é crucial que os usuários permaneçam vigilantes. Embora os chatbots tenham se mostrado promissores em testes controlados, a realidade do atendimento médico demanda uma abordagem mais cautelosa e informada. A primeira opinião sobre saúde nunca deve substituir a consulta com um profissional qualificado, que pode avaliar de forma holística cada caso.