Um estudo realizado por pesquisadores revelou que quatro algoritmos de IA previamente testados para diagnóstico de câncer de pele demonstraram menor sensibilidade e especificidade ao serem testados em um conjunto de dados mais diversificado, público e multimodal.

A IA poderia potencialmente melhorar o diagnóstico de doenças de pele; no entanto, a maioria dos algoritmos não reflete o fluxo de trabalho do mundo real dos dermatologistas, que geralmente combina exames clínicos, dermatoscopia e dados do paciente, conforme relatado por Roberto Novoa, MD, dermatopatologista e professor clínico de dermatologia na Universidade de Stanford, e colegas.

Os autores observaram que os modelos de IA em dermatologia têm se concentrado exclusivamente em imagens clínicas ou dermatoscópicas.

Para construir o Conjunto de Dados de Imagens Multimodais para Câncer de Pele Baseado em IA da Aliança de Pesquisa de Melanoma (MIDAS), os pesquisadores inscreveram prospectivamente 796 participantes de clínicas de dermatologia geral e melanoma com 1.290 lesões únicas e 3.830 imagens no total, incluindo imagens dermatoscópicas e clínicas tiradas a distâncias de 15 cm e 30 cm.

Os pesquisadores então avaliaram o desempenho do modelo nos casos do MIDAS usando quatro modelos de ponta previamente publicados: modelo All Data Are External (ADAE); o Modelo de Interação Humano-Computador; ModelDerm; e DeepDerm.

Como referência, usando o diagnóstico principal, os dermatologistas alcançaram 79,4% de precisão na diferenciação de lesões malignas de lesões benignas.

Após a avaliação, os pesquisadores observaram uma queda no desempenho de todos os modelos em comparação com suas métricas iniciais, especialmente com a sensibilidade para malignidade e a precisão geral.

O modelo ADAE mostrou uma diminuição na área sob a curva de operação do receptor para 0,82 em comparação com o original de 0,857, com uma sensibilidade de 96,9% em comparação com a original de 96,8%. No entanto, ele mostrou uma especificidade significativamente menor de 13,1% e uma precisão de 20,8% no MIDAS.

Para o modelo DeepDerm, a precisão média para a tarefa de classificação de três vias caiu para 60,4%, uma diminuição em relação aos 72,1% iniciais. A sensibilidade à malignidade foi de 28%, com uma especificidade de 84,1%.

Os pesquisadores observaram que os padrões de classificação incorreta revelaram que as lesões malignas foram mais comumente classificadas incorretamente como não neoplásicas (inflamatórias).

Os pesquisadores destacaram a importância de melhorar a compreensão e o desenvolvimento de algoritmos de IA para diagnóstico de câncer de pele, considerando a necessidade de conjuntos de dados de alta qualidade e diversificados para avaliação e aprimoramento contínuo das tecnologias.