Verificar antes de confiar

IA para quem trabalha com evidências

Curso prático para gestão pública, avaliação e investigação. Curso online de dois dias para técnicos de Angola, Cabo Verde, Guiné-Bissau, Moçambique e São Tomé e Príncipe.

Apresentação

A regra é uma: verificar antes de confiar.

Instrutor: Caio de Souza Castro (FGV EESP e FGV CLEAR).

Objetivo geral

Os participantes usam IA generativa em tarefas reais do seu trabalho e verificam sistematicamente o que ela produz antes de usar ou fazer circular o resultado.

Para quem

Técnicos de governo, de monitoria e avaliação e de investigação de Angola, Cabo Verde, Guiné-Bissau, Moçambique e São Tomé e Príncipe, numa turma de 15 a 30 pessoas. Não é preciso experiência com IA. O curso é em português, em linguagem simples, com um glossário dos termos técnicos.

Como funciona

Duração. Cada dia tem 2h30. Se a turma tiver 2h por dia: no Dia 1, a classificação das oito respostas passa a exercício para casa e a abertura e o fecho ficam com 5 min cada; no Dia 2, o bloco «Comunicar evidências» passa a tarefa depois do curso. Se tiver 3h: no Dia 1, uma segunda ronda de verificação cruzada; no Dia 2, um exercício extra sobre um estudo publicado em três documentos e uma segunda passagem na codificação.

Ferramentas

Ferramenta Papel Conta
Gemini e Gemini Notebook (notebook.google.com, antigo NotebookLM) Principal Conta Google pessoal, gratuita
ChatGPT Reserva, com os mesmos pedidos Conta pessoal com e-mail, gratuita

As ferramentas estão disponíveis nos cinco países. Os planos gratuitos têm limites diários de uso e de carregamento de ficheiros; as atividades foram desenhadas para caber nesses limites.

As respostas da IA publicadas aqui foram gravadas antes do curso e não foram corrigidas: servem para verificar, não para citar.

Preparação

Uma semana antes do Dia 1. Descarregue tudo com boa ligação; os PDF leem-se no telemóvel.

Programa do curso

Teste de acesso

Demora cerca de 10 minutos. Faça-o no aparelho e na rede que vai usar no curso.

  1. Contas: crie uma conta Google e uma conta ChatGPT, com e-mail pessoal. São gratuitas.
  2. Gemini: abra gemini.google.com (ou a app) e escreva «Explica em duas frases o que é um policy brief.».
  3. Gemini Notebook: abra notebook.google.com, crie um caderno, carregue o PDF de teste e escreva «Em que página está a palavra "atraso"? Cita a frase.».
  4. ChatGPT: abra chatgpt.com e faça a mesma pergunta do Gemini.
  5. Formulário: responda ao formulário cujo link vem no e-mail do convite. As respostas decidem a ferramenta principal da turma.

Se alguma coisa não funcionar: anote a mensagem de erro e experimente noutra rede. Se não funciona na rede do trabalho e funciona na do telemóvel, a ferramenta pode estar bloqueada na rede do trabalho. Responda ao formulário na mesma.

O que fazer e de que precisa

Uma semana antes do Dia 1, cada participante:

  1. Cria uma conta Google e uma conta ChatGPT, com e-mail pessoal.
  2. Faz o teste de acesso de 10 minutos, com o guião passo a passo: abrir o Gemini e fazer uma pergunta; abrir o Gemini Notebook, carregar um PDF de teste de 2 páginas e pedir uma frase com citação; abrir o ChatGPT.
  3. Responde ao formulário curto do teste (país, aparelho, rede, o que funcionou e o que foi bloqueado). As respostas decidem a ferramenta principal da turma.
  4. Descarrega o pacote de preparação e, antes de cada dia, o pacote desse dia (menos de 10 MB cada).
  5. Escolhe uma tarefa real do seu trabalho para o Dia 1, sem dados pessoais nem confidenciais.

Requisitos:

Glossário

Termos do curso, com o nome em inglês que aparece nas ferramentas.

Termo (inglês) O que é
IA generativa (generative AI) IA que produz texto, imagens ou som novos a partir de um pedido
Modelo de linguagem (large language model, LLM) Programa treinado com muito texto para prever a palavra seguinte. É o motor do Gemini, do ChatGPT e de outros
Pedido (prompt) O que escreve à IA: a tarefa, para quem, o formato, os limites e a fonte
Token (token) Pedaço de texto que o modelo processa; em média, um pouco menos do que uma palavra. Os limites das ferramentas contam-se em tokens
Janela de contexto (context window) Quanto texto o modelo consegue ter em conta de uma vez: o pedido, os documentos e a conversa. O que passa do limite fica de fora sem aviso
Alucinação (hallucination) Resposta que parece certa mas é inventada: um número, uma referência, uma citação
Inferência (inference) Conclusão que não está escrita no documento. Pode estar certa, mas tem de ser marcada
Conjunto fechado de documentos (grounding, sources) Trabalhar só com os documentos que carregou, sem a IA ir buscar informação a outro lado
Carregar ficheiro (upload) Enviar um PDF ou outro ficheiro para a ferramenta ler
Citação, fonte (citation, source) A indicação de onde vem cada informação. Confira sempre: pode apontar para o sítio errado
RAG (retrieval-augmented generation) Técnica em que a ferramenta procura trechos nos documentos e responde a partir deles. É o que faz o Gemini Notebook
Pesquisa na web (web search) A ferramenta procura na internet antes de responder. Útil para orientar; a fonte tem de ser aberta e conferida
Modo de raciocínio (thinking, reasoning) A ferramenta demora mais e mostra passos antes de responder. Não garante que a resposta esteja certa
Chat novo (new chat) Conversa sem o histórico anterior. Use-o para verificar o que outra conversa produziu
Instruções personalizadas (custom instructions, system prompt) Texto com regras que a ferramenta segue em todas as respostas
Projeto (project, notebook) Espaço na ferramenta que junta documentos e instruções para um trabalho
Agente (agent) IA que faz várias etapas sozinha (abrir ficheiros, procurar, escrever, verificar) até terminar uma tarefa
Skill (skill) Conjunto de instruções e ficheiros que ensina a ferramenta a fazer uma tarefa sempre da mesma forma
Dados sintéticos (synthetic data) Dados ou textos criados para um exercício. Têm de estar declarados como tal
Anonimizar (anonymize) Tirar nomes e outros dados que identificam pessoas antes de usar uma ferramenta

Termos de avaliação usados nos exercícios

Termo (inglês) O que é
Grupo de comparação (comparison, control group) Pessoas que não receberam o programa, usadas para comparar
Diferença nas diferenças (difference-in-differences) Compara a mudança ao longo do tempo no grupo que recebeu com a mudança no grupo de comparação
Regressão descontínua (regression discontinuity) Compara quem está logo acima e logo abaixo de um limite (uma idade, uma fronteira)
Linha de base (baseline) Recolha de dados antes do programa ou no seu início
Atrito (attrition) Pessoas ou agregados que não foram encontrados na recolha seguinte
Ponto percentual (percentage point) Diferença entre duas percentagens: de 20% para 25% são 5 pontos percentuais, ou 25% mais

Pacote de preparação

Pacote de preparaçãoTudo o que está acima, num só ficheiro, com um LEIA-ME.preparacao.zip · 308 KB

Dia 1. Introdução

Objetivos e blocos

No fim do dia, o participante:

Bloco Min Atividade prática
Abertura 10 Acordos da sessão; cada pessoa indica a tarefa que trouxe e a ferramenta que conseguiu abrir
Como a IA funciona 30 Três perguntas à IA sobre indicadores do próprio país, comparadas com a tabela oficial do país
Pedir bem 25 Reescrever um pedido fraco para resumir um policy brief de 2 páginas e conferir três frases no documento
Intervalo 5
O que a IA faz bem e mal 30 Classificar oito respostas reais da IA em «pode usar», «usar depois de conferir» e «não usar»
A sua tarefa, com verificação 40 Em duplas: uma tarefa real do trabalho (relatório, nota técnica, termo de referência, ofício), verificada com o checklist. Há uma tarefa de reserva para quem não trouxer
Fecho 10 Partilha de casos e preparação do Dia 2

Slides

Folhas das atividades

Demonstrações

Respostas da IA gravadas antes do curso, sem correções. Servem para as atividades e para quem ficar sem ligação.

Fontes do dia

Nos sites oficiais, pela ordem dos blocos. Cada folha indica as páginas a abrir.

Como a IA funciona

Pedir bem

A sua tarefa (tarefa de reserva)

Pacote completo

Pacote completo do Dia 1Slides, folhas, checklist e respostas gravadas. Descarregue antes do Dia 1.dia1.zip · 3,7 MB

Dia 2. Avançado

Objetivos e blocos

No fim do dia, o participante:

Bloco Min Atividade prática
Abertura 10 Retomar o fio condutor e confirmar o acesso ao material do dia
Documentos fechados, revisão e síntese 65 Em duplas, com quatro avaliações de transferências monetárias em Angola e Moçambique: triagem, extração, síntese de cinco frases com página e verificação
Intervalo 5
Análise de dados 30 Quantitativo: conferir números da IA sobre vacinação em Moçambique com o quadro oficial. Qualitativo: codificar oito trechos e conferir cada citação no texto
Comunicar evidências 30 Transformar o resumo de uma avaliação numa página para a direção; revisão cruzada entre duplas
Fecho 10 Juntar os pedidos do curso num texto de instruções reutilizável; demonstração de um agente sobre uma pasta de PDF

Slides

Folhas das atividades

Demonstrações

Respostas da IA gravadas antes do curso, sem correções. Servem para as demonstrações e para quem ficar sem ligação.

Fontes do dia

Nos sites oficiais, pela ordem dos blocos. Só o A1 e o A4 têm extrato; o A2 e o A3 abrem-se pelo link oficial, nas páginas que a folha indica.

Documentos fechados, revisão e síntese

Análise de dados

Comunicar evidências

Pacote completo

Pacote completo do Dia 2Slides, folhas, checklists, extratos do A1 e do A4 e respostas gravadas. Descarregue no fim do Dia 1.dia2.zip · 5,7 MB

Extensão: pré-escola em Gaza

Só quando o Dia 2 tiver 3 horas: 20 minutos, em duplas, dentro do bloco de documentos fechados. Três documentos em inglês sobre a pré-escola comunitária em Gaza, Moçambique. Quantos estudos há?

Folha e resposta gravada

A folha e a resposta gravada também estão no pacote do Dia 2.

Fontes

A resposta gravada cita trechos curtos destes documentos, em inglês. Os documentos abrem-se nos sites oficiais.

Checklists e pedidos que funcionaram

Checklist de verificação

Use antes de qualquer resposta da IA sair da sua mão.

Fonte

Afirmações

Efeito

Números

Critérios e sentido

Revisão humana

Dados

Checklist de simplificação

Use quando um texto longo passa a texto curto: resumo, nota para a direção, mensagem, apresentação. Compare cada frase do texto curto com o documento original.

Sentido

Números

Fonte e limites

Leitor

Pedidos que funcionaram

Pedidos do curso, testados no Gemini e no Gemini Notebook a 17/10/2026. Servem em qualquer ferramenta. Troque o que está entre parênteses retos. Depois de cada resposta, confira com o checklist.

Perguntar e exigir a fonte

[A sua pergunta sobre um número.]

De que fonte e de que ano é esse número? Indique a página ou o link.

Um pedido com as cinco partes

Tarefa: resume este documento em 5 frases.
Para quem: [quem vai ler, por exemplo um diretor provincial que não leu o documento].
Formato: frases curtas, cada uma terminada com a página entre parênteses.
Limites: usa só este documento; não acrescentes informação de fora; copia os números como estão; se uma frase for conclusão tua, marca-a com [inferência].
Fonte: o documento carregado.

Um texto a partir de um documento

Tarefa: escreve [um ofício, uma nota técnica, um e-mail] de uma página sobre [o assunto].
Para quem: [o destinatário]; tom formal e direto.
Formato: [as partes do texto]. Depois de cada número, indica a página do documento entre parênteses.
Limites: usa só o documento carregado; copia os números como estão; não inventes nomes, datas nem números de ofício; deixa [a completar] onde faltar informação.
Fonte: o documento em PDF.

Triagem de estudos

Trabalha só com os documentos carregados. Para cada documento, aplica os critérios de inclusão abaixo e responde: entra, não entra ou dúvida. Para cada decisão, indica o critério que decidiu, o trecho literal que a justifica e a página do PDF. Se um critério for ambíguo para um documento, responde «dúvida» e explica porquê; não decidas por mim. Não cites nada que não esteja nos documentos.
Critérios: [os seus critérios].

Extração

Para o documento [nome], preenche os campos abaixo só com o que está no documento, com a página do PDF em cada campo. Se a informação não estiver no documento, escreve [não encontrado]. Copia os números como estão. Se o documento der dois números diferentes para a mesma coisa, mostra os dois com as páginas.
Campos: desenho do estudo; país e província; amostra (no início e no fim, por grupo); intervenção; desfechos medidos e quando; efeito encontrado (houve, não houve ou inconclusivo), com o número; se o número é de todos ou de um grupo ou distrito; limitações declaradas pelos autores.

Síntese a partir das fichas

Com base só nas fichas de extração abaixo, escreve uma síntese de 5 frases que responda à pergunta: [a sua pergunta]. Cada frase termina com o documento e a página entre parênteses. Diz quando um achado vem de um único estudo e quando é de um só distrito ou de um grupo. Marca com [inferência] o que não estiver nas fichas.
Fichas: [cole as fichas]

No Gemini Notebook, o chat aceita pedidos até cerca de 3.900 caracteres. Fichas mais longas vão para uma conversa nova do Gemini ou do ChatGPT.

Verificação numa conversa sem histórico

Abaixo está uma síntese. Os documentos em que se baseia estão carregados. Confere a síntese frase a frase. Para cada frase, mostra o trecho literal que a sustenta e a página do PDF, e classifica: sustentada; sustentada em parte (diz o que falta); não sustentada; inferência não marcada. Aponta também números que não aparecem nos documentos e resultados de um distrito ou de um grupo apresentados como gerais. Diz também que resultado importante dos documentos ficou de fora. Não reescrevas a síntese.
Síntese: [cole]

Codificar trechos qualitativos

Codifica cada trecho com um ou mais códigos do livro de códigos abaixo. Para cada código, justifica com uma citação literal do trecho, entre aspas. Não alteres as palavras das citações. Se nenhum código servir, usa C0. No fim, resume em três frases o que os trechos dizem.
Livro de códigos: [cole]
Trechos: [cole]

Depois, pesquise cada citação no texto, palavra por palavra.

Uma página para a direção

Com base só nas páginas [indique] do documento carregado, escreve uma página para a direção sobre [o assunto]. Inclui: o que o programa fez, onde, três resultados com números, o que não melhorou e duas recomendações. Cada número leva a página entre parênteses. Não acrescentes nada que não esteja nessas páginas.

Conferir uma página com o original

Abaixo está uma página escrita a partir do documento carregado. Confere-a frase a frase. Para cada frase, mostra o trecho literal do documento que a sustenta e a página do PDF, e classifica: sustentada; diz mais do que o original; diz menos do que o original; não sustentada. Se a sua avaliação apontar qualquer diferença entre a frase e o original, a frase não pode ser classificada como sustentada.
Página: [cole]

A IA marca também diferenças sem importância. Decida em cada uma se muda o sentido ou só a forma.

Instruções reutilizáveis

Cole no início de uma conversa, ou nas instruções de um projeto:

És um assistente de trabalho com evidências. Segue sempre estas regras:
1. Trabalha só com os documentos ou o texto que eu te der. Se não tiveres a informação, diz que não tens.
2. Indica a página do PDF de cada informação que tirares de um documento.
3. Copia os números como estão. Não arredondes, não convertas, não completes.
4. Diz de que fonte e de que ano é cada número.
5. Marca com [inferência] tudo o que for conclusão tua.
6. Aplica os critérios que eu te der como estão escritos. Se um critério for ambíguo, pergunta.
7. Diz quando um resultado é de um grupo, de um distrito ou de um único estudo.
8. No fim de cada resposta, lista o que eu devo conferir.
9. Se eu colar dados pessoais, avisa-me e sugere que os retire.