Caso · Um resumo de uma página para a diretoria
Passo a passo do teste:
- Pedido simples, sem regras ("faça um resumo de uma página desta síntese para a diretoria").
- O mesmo pedido, com estrutura fixa e regras.
- Uma terceira conversa conferindo a versão sem regras frase por frase.
Resultado: Na versão sem regras, 38 afirmações: 30 sustentadas, 5 afirmam mais do que a fonte, 3 mudam o contexto, nenhuma fora da fonte. Os números estavam todos certos. O que mudou foi o grau de certeza: sumiram cinco limitações do método, duas listas viraram "quatro condições" e a conclusão da fonte, uma pergunta em aberto, virou "uma oportunidade".
Com as regras: estrutura mantida, limites presentes e 32 citações, todas literais e na página certa.
Na conferência: 80 citações, todas literais (7 com a página trocada), mas 7 classificações erradas, 6 delas com o problema descrito na própria avaliação.
Lição: A IA não errou os números; errou o grau de certeza. E a IA que confere acerta as citações mais do que o veredito.
A frase e a fonte
| Frase do pré-teste | O que a síntese diz |
|---|---|
| "Priorizar tecnologias que fortaleçam o professor, especialmente ferramentas de planejamento, correção automatizada, ensino adaptativo e feedback pedagógico." | p. 10 · "Tratar a IA generativa para planejamento como aposta a testar." E a prioridade da síntese é outra lista: "Priorizar ferramentas que chegam ao aluno pelas mãos do professor: conteúdo estruturado e planos de aula, vídeos para uso em sala, relatórios de desempenho que o professor usa para ajustar a instrução, software adaptativo integrado à aula." |
| "A literatura destaca quatro condições recorrentes: mediação ativa do professor, formação e acompanhamento durante a implementação, infraestrutura adequada e integração das ferramentas às necessidades pedagógicas." | p. 7 · "Cinco características se repetem nos casos de melhor resultado". p. 9 · "Quase nenhum estudo analisado acompanha os programas depois do fim da intervenção [...] Com essa ressalva, quatro elementos aparecem associados a ganhos mais duradouros: um apoio humano que cobra e acompanha; apoio à implementação nos primeiros meses; um patamar mínimo de infraestrutura; formação desenhada com os professores." |
| "Para [a organização], existe uma oportunidade de combinar apoio à implementação com avaliações rigorosas, produzindo evidências que orientem decisões de expansão nas redes públicas brasileiras." | p. 10 · "Para [a organização], a pergunta em aberto é se o tempo liberado vira orientação individual, como no ensaio brasileiro. Uma expansão deveria vir com avaliação que meça custo por aluno e uso do tempo." |
Ver todos os prints do teste (48)
