17 Proveniência e Qualidade dos Dados
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Para cada número, base de dados e fonte em que o seu projeto se apoia, decida se aquilo é sólido o bastante para construir em cima. Você toma essa decisão duas vezes: uma sobre de onde o valor veio e por quais mãos ele passou, a proveniência dele, e outra sobre se ele foi produzido bem o bastante, sob a definição certa, para o uso específico que você tem em mente, a qualidade dele.
17.1 Por que essa decisão importa
A decisão em jogo: se um número que você não produziu é sólido o bastante para carregar o peso do seu projeto.
Imagine quem orienta a sua pesquisa, a pessoa que um dia vai assinar embaixo do seu projeto, lendo o primeiro rascunho da sua seção de contexto:
“Você escreveu que o comparecimento neste município foi de 72 por cento. De onde saiu isso? Não qual site você copiou. Quem contou os votos, e 72 por cento de quê? De eleitores registrados, de adultos, de adultos de fato aptos a votar? Me traga o órgão que certificou a apuração, ou tire o número.”
Um valor sem origem rastreável é um boato com casa decimal. Precisão não é a mesma coisa que confiança. Este capítulo treina você a parar de tratar um número ou uma citação como verdadeiros só porque chegaram bem arrumados, e a fazer duas perguntas a tudo que você toma emprestado: de onde isso veio, e isso presta para o que eu preciso?
17.2 O conceito
Proveniência de dados é a origem documentada de um valor e cada mão pela qual ele passou antes de chegar até você. Exemplo: um número de comparecimento em uma reportagem, rastreado de volta por uma tabela-resumo estadual até o cartório eleitoral do município que certificou a apuração.
Essa cadeia tem dois tipos de elo. Uma fonte primária é o registro original em que um valor foi produzido pela primeira vez. Exemplo: a apuração certificada do município, o documento oficial que reporta os totais finais de votos. Uma fonte secundária repete um valor que ela não produziu. Exemplo: uma tabela de jornal, um verbete de enciclopédia ou um agregador de dados que copia o número do município. Um valor é apenas tão confiável quanto a fonte primária no fim da cadeia dele.
Qualidade dos dados é se um valor serve ao seu uso específico: é real, foi produzido por um método que você consegue nomear e está definido do jeito que a sua pergunta precisa. Exemplo: uma taxa de comparecimento calculada sobre eleitores registrados é de alta qualidade para uma pergunta sobre se as pessoas registradas apareceram, e é o número errado para uma pergunta sobre quanto da população adulta participa. Um valor mal caracterizado é um número real grudado na definição ou no método errados. Exemplo: o comparecimento autodeclarado de um survey apresentado como contagem oficial, ou uma taxa sobre eleitores registrados citada como se cobrisse todo mundo apto a votar.
Bases de dados inteiras carregam as mesmas duas perguntas, coluna por coluna. Quem produziu esta variável, quem a limpou, o que essa pessoa descartou, e a definição por trás da coluna combina com a da sua pergunta? Um arquivo que cai na sua pasta sem resposta para essas perguntas ainda não é dado. É um boato em planilha.
Você resolve tudo isso com um hábito, o loop de recuperação e verificação: Pergunte a uma ferramenta por um valor e pela fonte dele, Recupere você mesmo a fonte primária, Verifique que ela existe e reporta aquele valor sob aquela definição, e Documente onde você encontrou. Uma citação que você não abriu é uma pista, não uma fonte, por mais confiante que fosse a ferramenta que a entregou.
17.3 Um exemplo trabalhado
Suponha que você esteja estudando se uma reforma eleitoral local mudou a participação, e precise de um número para ancorar a sua seção de contexto: o comparecimento em um município específico em uma eleição presidencial recente. Você pergunta a uma assistente de IA e recebe a resposta em cerca de um segundo. Setenta e dois por cento, com uma fonte de aparência totalmente real.
Em vez de copiar o número, você roda o loop. Primeiro, a proveniência. Você busca o título exato da fonte. Se ele não leva a lugar nenhum, o valor está órfão e você o descarta. Se a página for real, você pergunta se ela produziu aquele número ou apenas o republicou. Essa pergunta em geral manda você um link mais para trás, até o resumo oficial de resultados do estado e, atrás dele, até a apuração certificada do cartório eleitoral do município, que é onde os totais foram de fato definidos.
Depois, a qualidade. Você abre a apuração e lê sobre o que aquele percentual é calculado. O denominador são eleitores registrados, todos os adultos ou os adultos aptos a votar, o que exclui não cidadãos e, em alguns estados, pessoas com certas condenações criminais? Esses três denominadores produzem três números de comparecimento diferentes para a mesma eleição, e as distâncias entre eles não são pequenas. Você também pergunta se a cifra foi contada ou estimada. Votos depositados são contados. Denominadores de população apta são estimados a partir de dados do censo. O comparecimento de survey é autodeclarado, e as pessoas costumam exagerar se votaram, então ele é um terceiro tipo de número.
Você faz uma checagem cruzada com uma fonte independente que documenta os próprios métodos. Duas que vale conhecer: o United States Elections Project, que publica estimativas de comparecimento sobre a população apta a votar e explica exatamente como constrói o denominador, e o Current Population Survey Voting and Registration Supplement, do Census Bureau, o escritório do censo dos Estados Unidos, que reporta comparecimento autodeclarado a partir de um grande survey nacional. Quando a apuração certificada e uma referência independente concordam tanto na contagem quanto na definição, o número conquistou um lugar no seu projeto. Quando elas discordam, a discordância é o achado. Você relata as duas, nomeia a definição por trás de cada uma e diz de qual a sua pergunta precisa e por quê.
17.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb03 — Research builds on research: verified evidence + real gaps (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. No laboratório você roda o loop de recuperação e verificação em uma alegação do seu próprio projeto, vê uma pilha bem arrumada de citações sugeridas por IA desabar até as poucas que sobrevivem à recuperação, e segue cadeias de citação para trás e para frente até formar um mapa de evidências cujo único quadrado vazio é uma lacuna que você consegue defender, porque cada fonte em volta dele é uma fonte que você mesmo abriu.
17.5 Prompts de IA recomendados
Cada prompt é comprometa-se primeiro: anote o valor ou a fonte em que você já acredita, e só então deixe a ferramenta discordar de algo seu. Trate cada um deles como o começo de um loop, e não como um pedido único. A primeira resposta lhe dá pistas; a sua segunda mensagem nomeia a pista que não sobreviveu à recuperação e pergunta de novo. Ferramentas que rodam o loop de busca sozinhas vão lhe entregar uma lista de fontes mais longa e mais arrumada. Mais longa e mais arrumada não quer dizer aberta, e abrir cada uma continua sendo trabalho seu.
Localize a fonte primária (delegável).
Act as a research-data assistant. I have this figure: [paste the value, the place,
the year, and how it is expressed]. Name the primary source that FIRST reported it,
with the issuing body, the exact document title, the year, and the definition used,
including what the denominator is. Only list sources you are confident exist, mark
anything uncertain, and say for each whether it is the original record or a
re-report.Depois de rodar, verifique (enfrenta a fabricação confiante): abra você mesmo cada fonte antes de confiar nela; uma fonte que você não consegue recuperar é inventada até que abra.
Transforme números emprestados em uma tabela de proveniência (delegável).
Here are five numbers my project borrows: [paste them]. For each, return a row with
the value, its exact definition (which population, which time window, which
denominator), the primary source, and whether the value was counted, estimated, or
self-reported. Return it as a table so I can audit each row on its own.Depois de rodar, verifique (enfrenta a mudança silenciosa de escopo): leia a definição de cada linha contra a definição de que a sua pergunta realmente precisa; um número construído sobre outra população pode lhe ser entregue como se fosse o seu.
Faça red team no número de que você gostou (delegável).
I plan to build on this figure: [paste value and source]. Act as a hostile reviewer
and argue it is unreliable for a claim about [your population and time window]:
wrong denominator, self-reported rather than counted, or copied through a chain of
summaries. Do not reassure me.Depois de rodar, verifique (enfrenta a concordância bajuladora): se a revisão só elogiar o seu número, insista e depois leve a objeção mais forte dela à fonte primária ou a alguém que conheça os dados melhor que você, em vez de confiar em uma aprovação fácil.
Três decisões continuam sendo suas. Se um valor conta como verificado é resolvido por uma fonte que você abriu, não pela confiança da ferramenta. Se a definição dele serve ao seu uso é um julgamento sobre a sua pergunta específica, e nenhuma consulta faz isso por você. E quanta incerteza você relata quando as suas fontes discordam é sua para enunciar e defender, porque é o seu nome que vai na alegação que o número sustenta.
17.6 Um caso de falha da IA
Você pede o comparecimento do município e a ferramenta devolve “72 por cento”, com uma citação a uma página eleitoral estadual real. Sete detalhes parecem certos, então é tentador colar direto. Em vez disso, você abre a página, e o cabeçalho da tabela diz percentual de eleitores registrados, não percentual de todo mundo apto a votar. O número é real. O denominador é o errado para a sua pergunta, e a ferramenta o trocou em silêncio. Você pega isso de dois jeitos. Você tinha escrito a sua própria expectativa antes, então uma cifra bem acima do que você sabia sobre a participação naquele município já parecia suspeita. Depois, você leu o cabeçalho real da coluna em vez do resumo que a ferramenta fez dele, e o descasamento fica evidente. O valor entra nas suas anotações como taxa sobre eleitores registrados, e a sua pergunta original continua aberta.
17.7 Agora é a sua vez
O seu desenho está resolvido e as suas mensurações vêm a seguir. Antes que qualquer um dos dois possa ser confiável, este passo crava de onde os seus dados realmente vieram.
- Liste cada base de dados, tabela e número emprestado que o seu projeto usa. Inclua os que alguém da equipe lhe passou e os que você baixou meses atrás e parou de pensar a respeito.
- Para cada um, escreva quatro coisas: quem produziu, quando, a partir de qual registro original e cada mão pela qual passou no caminho até você. Onde um elo dessa cadeia estiver faltando, escreva “desconhecido” em vez de chutar. Desconhecido é um achado.
- Abra a fonte primária por trás da entrada em que a sua alegação principal mais se apoia. Leia a linha que reporta o valor e a linha que o define, não um resumo de nenhuma das duas.
- Ao lado de cada entrada, escreva a definição dela com as suas palavras e marque se ela combina com a definição de que a sua pergunta precisa. Tudo que for marcado como “não” é descartado ou é relatado com o descasamento dito em voz alta.
- Salve o registro como um arquivo que viaja junto com o seu projeto, e anote a data em que você recuperou cada fonte. Fontes são revisadas, e a data de recuperação é o que permite a quem lê saber se está olhando para a sua versão.
- Registre o passo no seu AI Research Ledger (registro de pesquisa com IA), e verifique pelo menos uma entrada com um método nomeado do Guia de Verificação. A leitura da fonte primária é o método sobre o qual este capítulo é construído, e todo número emprestado que vai chegar ao seu texto final merece um segundo: uma comparação com uma referência independente. Um revisor de IA pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.