Ability of ChatGPT, Gemini Pro and Copilot in Diagnosing Benign, Potentially Malignant, and Malignant Oral Lesions using Clinical Images

Abstract

Introdução: A inteligência artificial (IA) desempenhará um papel cada vez mais importante na medicina e na medicina dentária. A capacidade de diagnóstico da IA foi testada em diversas áreas da medicina e demonstrou ser precisa no diagnóstico de determinadas condições. No entanto, existe pouca investigação sobre o uso da IA no diagnóstico de condições da medicina oral através de imagens clínicas. Objetivos: O objetivo deste estudo foi avaliar a precisão diagnóstica do ChatGPT, do Gemini Pro e Copilot na identificação de lesões orais benignas, potencialmente malignas e malignas. Materiais e Métodos: Foi realizado um estudo transversal, utilizando imagens clínicas de três categorias. As categorias foram: condições oromucosas benignas, OPMD e lesões orais malignas. Resultados: O ChatGPT demonstrou maior precisão diagnóstica (53%) na classificação das lesões orais, com um desempenho forte na identificação de perturbações potencialmente malignas (80%). O Gemini Pro apresentou melhor desempenho na deteção de lesões suspeitas de malignidade (78%), mas menor precisão nos diagnósticos primários (30%). O Copilot forneceu os diagnósticos diferenciais e as sugestões de exames complementares mais abrangentes (93% e 95%, respetivamente), mas apresentou menor precisão no diagnóstico final, principalmente para o cancro oral (0%). Discussão: Os resultados destacam uma variabilidade substancial no desempenho da IA entre plataformas, com o ChatGPT a emergir como a ferramenta geral mais fiável para a assistência diagnóstica em patologia oral. Embora o Copilot e o Gemini tenham oferecido informações clínicas úteis, não conseguiram fornecer diagnósticos primários precisos de forma consistente. Conclusão: Embora estas ferramentas baseadas em IA mostrem potencial para auxiliar na avaliação de lesões orais, ainda não podem substituir a experiência humana, especialmente em casos de alto risco que envolvem malignidade.

Introduction: Artificial intelligence (AI) will play an increasingly important role in medicine and dentistry. The diagnostic capability of AI has been tested in various medical fields and has been found to be accurate in diagnosing certain conditions. However, there has been little investigation into the use of AI in diagnosing oral medicine conditions using clinical images. Objectives: The purpose of this study was to evaluate the diagnostic ability of ChatGPT, Gemini Pro and Copilot, in identifying benign, potentially malignant, and malignant oral lesions. Materials and Methods: A cross sectional study was conducted utilizing clinical images from three categories. The categories were: benign oromucosal conditions, OPMD and malignant oral lesions. Results: ChatGPT demonstrated the highest diagnostic ability (53%) in classifying oral lesions, with strong performance in identifying potentially malignant disorders (80%). Gemini Pro showed the best performance in detecting lesions suspicious for malignancy (78%) but lower ability in primary diagnoses (30%). Copilot provided the most extensive differential diagnoses and complementary exam suggestions (93% and 95%, respectively) but had the lowest ability in final diagnosis, particularly for oral cancer (0%). Discussion: The findings highlight substantial variability in AI performance across platforms, with ChatGPT emerging as the most reliable overall tool for diagnostic assistance in oral pathology. While Copilot and Gemini offered useful clinical insights, they fell short in consistently providing accurate primary diagnoses. Conclusion: While these AI-based tools show potential for aiding in oral lesion assessment, they cannot yet replace human expertise, particularly in high-risk cases involving malignancy.