Riscos e limites da inteligência artificial na educação

Você já usa ou vai contratar inteligência artificial em alguma parte do seu curso, seja pra responder aluno, corrigir atividade ou recomendar o próximo conteúdo. Este post organiza seis riscos, cada um com uma fonte que você pode conferir e uma pergunta pra levar à reunião. O tom é de checklist de avaliação, sem alarme.

Privacidade dos dados do aluno

Se a sua escola tem aluno menor de 18 anos, a LGPD trata esse dado com regra própria. O artigo 14 diz que o tratamento de dados de crianças e adolescentes deve ser feito no melhor interesse deles e, no caso de crianças, com consentimento específico de pelo menos um dos pais ou responsável. A ANPD publicou em 2023 um enunciado esclarecendo que outras bases legais também servem, desde que o melhor interesse seja demonstrado.

O ponto mais sensível é o treinamento. Alguns fornecedores usam a conversa dos seus alunos pra melhorar o modelo que também atende os concorrentes. Uma instituição de ensino superior, que lida com histórico acadêmico e documento pessoal, precisa de resposta escrita em contrato sobre isso.

Pergunta pro fornecedor: onde o dado do aluno fica guardado, e ele entra no treinamento de algum modelo que atende outras empresas? Peça também o procedimento de exclusão quando o aluno pedir.

Viés em correção e recomendação

Ferramenta de correção automática e de recomendação aprende com o que já viu. Se o material de treino tem um perfil de aluno dominante, o aluno fora desse perfil é avaliado pior. Um estudo de Stanford publicado em 2023 na revista Patterns, liderado por Weixin Liang, testou sete detectores de texto gerado por IA e viu que eles classificavam como IA mais da metade das redações escritas por estudantes não nativos de inglês, enquanto acertavam quase sempre com nativos.

Em correção e em recomendação de trilha o efeito é o mesmo. O aluno que escreve de um jeito diferente do padrão recebe nota menor ou conteúdo mais básico do que deveria. Nos posts sobre personalização do ensino e sobre trilha adaptativa esse ponto ocupa um parágrafo. Aqui ele é o risco inteiro.

Pergunta pro fornecedor: em que base o modelo foi treinado e com que frequência ele é auditado por grupo de aluno? Peça um exemplo de correção que um professor possa revisar antes de virar nota.

Alucinação em resposta a aluno e a lead

Modelo de linguagem inventa resposta com a mesma segurança com que acerta. Com aluno, isso vira explicação errada de conteúdo, entregue com tom de professor. Com lead, vira promessa que a sua escola nunca fez. Em 2024, o tribunal de resolução de disputas civis da Colúmbia Britânica, no Canadá, condenou a Air Canada a honrar um desconto que o chatbot da empresa havia inventado. Se a IA promete certificado reconhecido pelo MEC num curso livre, ou parcelamento que o seu checkout não oferece, a promessa é sua.

Pergunta pro fornecedor: o agente responde só a partir de uma base que eu aprovo, e o que ele faz quando a pergunta está fora dela?

Opacidade da decisão

Quando a IA decide que um aluno vai pra trilha de reforço, ou dá nota 6 numa atividade, alguém precisa conseguir explicar por quê. A LGPD, no artigo 20, garante ao titular o direito de pedir revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem seus interesses, e obriga o controlador a informar com clareza os critérios usados. Aluno que contesta nota tem direito a saber o critério, e o seu professor precisa conseguir defender ou reverter a decisão.

Pergunta pro fornecedor: cada decisão automatizada gera um registro que o professor consegue ler e alterar?

Dependência do aluno e o papel do tutor

O documento Guidance for generative AI in education and research, publicado pela UNESCO em 2023, pede uma abordagem centrada no humano e alerta pro risco de a IA generativa reduzir a autonomia do aluno. A OCDE, no relatório de 2023 sobre diretrizes e salvaguardas pro uso de IA na educação, defende a IA como apoio ao professor, com as decisões pedagógicas sob responsabilidade de pessoas.

Pra quem vende curso o risco tem uma face comercial. Aluno que só conversa com robô o curso inteiro não cria vínculo com a escola, e vínculo é o que sustenta a recompra do próximo produto. O tutor não precisa estar em toda interação, mas precisa aparecer nos momentos que definem a experiência, como o primeiro resultado e a semana em que o aluno parou.

Pergunta pro fornecedor: em quais momentos do curso a ferramenta prevê a intervenção de uma pessoa, e como ela sinaliza isso pro tutor?

O limite operacional: quando a IA devolve a conversa

Os riscos acima convergem pra uma decisão de desenho. Em que ponto a IA para e passa a conversa pra uma pessoa?

Um exemplo de limite bem desenhado é o agente de IA de vendas da EngagED. Ele se identifica como IA na primeira mensagem, e a documentação da empresa descreve essa escolha como uma prática dentro da LGPD. Vale a ressalva de que a lei não escreve esse dever com essas palavras. O que ela exige é transparência sobre o tratamento do dado, e avisar que a conversa é com uma IA é o jeito mais direto de cumprir isso num atendimento. O mesmo agente tem handoff humano, então quando a conversa precisa de uma pessoa ela é passada com o contexto completo do que já foi dito.

Pergunta pro fornecedor: quais situações fazem a IA devolver a conversa pra uma pessoa, e o que essa pessoa vê quando assume?

A única IA que a EngagED opera hoje é esse agente de atendimento e vendas. As outras aplicações citadas aqui, como correção automática e recomendação de trilha, são ferramentas de mercado que você contrata à parte e liga na plataforma que escolher. Por isso as seis perguntas deste post cabem no roteiro do guia de como escolher plataforma de cursos, que já traz a pergunta exata pro fornecedor em cada um dos oito critérios.

O que fazer com essa lista

Esses seis riscos não impedem o uso de IA no seu curso. A pergunta que resume as seis é simples. Se a IA errar com um aluno hoje, quanto tempo a sua equipe leva pra descobrir e corrigir? Se a resposta do fornecedor for só que o modelo é muito preciso, a pergunta ainda não foi respondida.