Análise comparativa de Inteligências Artificiais Generativas na intepretação de projetos pedagógicos de cursos de engenharias vinculados ao BICT: um estudo quantitativo e qualitativo

Abstract

O crescimento das inteligências artificiais generativas tem ampliado as possibilidades de análise e interpretação de documentos complexos no contexto da educação superior. Neste trabalho, foi realizada uma comparação entre os modelos Gemini 2.5 Flash, LlaMA-3.3 70B versatile e mistral-small-latest quanto à capacidade de interpretar Projetos Pedagógicos de Curso (PPCs) de cinco cursos de Engenharia vinculados ao Bacharelado Interdisciplinar em Ciência e Tecnologia (BICT) da Universidade Federal do Maranhão. A pesquisa adotou uma abordagem qualitativa, utilizando uma arquitetura baseada em Retrieval-Augmented Generation (RAG), um protótipo web desenvolvido para envio padronizado de perguntas aos modelos e uma rubrica analítica composta pelos critérios de clareza, aderência ao documento, coerência, profundidade e fidelidade das informações. Ao todo, foram avaliadas 150 respostas geradas pelos modelos. Os resultados indicaram que o Gemini 2.5 Flash apresentou o desempenho mais consistente, seguido pelo mistral-small-latest, enquanto o LlaMA-3.3 70b versatile obteve menor desempenho, principalmente nos critérios de profundidade e aderência ao conteúdo dos PPCs. Também foi observado que todos os modelos produziram respostas claras e coerentes, mas ainda apresentaram limitações na interpretação de informações implícitas e na elaboração de análises mais aprofundadas. A análise realizada evidencia a potência que as inteligências artificiais generativas possuem para apoiar a interpretação de documentos acadêmicos, desde que seus resultados sejam utilizados com supervisão humana, contribuindo para aplicações mais seguras e eficientes no ambiente educacional.