16 Desenhos Híbridos e Complexos
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Quando a sua resposta precisa ser costurada a partir de várias mensurações ou etapas, decida se o desenho combinado ainda é uma coisa só, alinhada, que você consegue diagnosticar antes de rodar. Empilhar peças cuidadosas não produz automaticamente um resultado cuidadoso, e decidir cortar uma peça que você não consegue caracterizar é tanto uma decisão de desenho quanto acrescentar outra.
16.1 Por que essa decisão importa
A decisão em jogo: se a peça móvel a mais do seu desenho merece o lugar dela ou só acrescenta um erro que você não consegue prestar contas.
“Não me entregue o número de manchete. Me entregue o orçamento de erro: cada quantidade que você mediu, como você mediu e como a incerteza de cada uma fluiu para a resposta final. Um resultado preciso construído sobre uma etapa não caracterizada é uma resposta errada e precisa.” — um economista antitruste revisando um relatório que alega ter medido o quanto um mercado é concentrado
Um desenho complexo falha de um jeito silencioso. Cada peça parece cuidadosa por conta própria, então o conjunto também parece. Mas uma resposta montada a partir de várias mensurações é tão confiável quanto a sua peça pior caracterizada, e a montagem pode amplificar um erro pequeno até virar um erro grande. Este capítulo dá a disciplina de desmontar um desenho desses e diagnosticar o todo antes de confiar no número dele.
16.2 O conceito
Todo desenho de pesquisa tem quatro partes, e este livro as chama de MIDA (Model, Inquiry, Data strategy, Answer strategy): o Modelo (a sua imagem escrita de como o mundo poderia funcionar), a Indagação (a única quantidade exata que você quer dele), a Estratégia de dados (como os dados passam a existir) e a Estratégia de resposta (como você transforma esses dados em uma estimativa). O laboratório em Colab constrói as quatro do zero. Este capítulo as leva a um terreno mais difícil.
Um desenho complexo, ou híbrido, é um desenho de pesquisa cujas quatro partes MIDA têm mais de uma peça móvel: várias mensurações, etapas ou subperguntas costuradas em uma única resposta. Exemplo: calcular o escore de concentração de um mercado a partir de duas mensurações separadas, cada uma vinda da sua própria fonte e carregando o seu próprio erro.
Duas ideias decidem se um desenho desses se sustenta. A primeira é o alinhamento, ou seja, todas as quatro partes apontam para a mesma quantidade única. A complexidade o quebra de um jeito novo: duas submensurações construídas com cuidado podem estar cada uma bem e ainda assim mirar, em silêncio, quantidades ligeiramente diferentes, que nunca se combinam naquela que você nomeou. A segunda é a propagação de erro, ou seja, a incerteza de cada insumo medido flui para a resposta final, às vezes amplificada. Exemplo: se a sua resposta depende do quadrado de uma fatia medida, um erro de 1% nessa fatia vira mais ou menos um erro de 2% no resultado.
Mantenha por perto as duas palavras de falha do laboratório. Viés é uma inclinação sistemática que mais dados não reduzem; variância é a oscilação de rodada para rodada que mais dados reduzem. A complexidade deixa um erro sistemático pequeno se esconder atrás de um erro aleatório impressionantemente pequeno.
16.3 Um exemplo trabalhado
Você quer saber o quanto o mercado de supermercados da sua cidade é concentrado: um punhado de redes domina, ou ele está repartido entre muitos vendedores? A resposta padrão é um índice de concentração, um escore único que sobe conforme as vendas de um mercado se acumulam em menos mãos. Você o calcula elevando ao quadrado a fatia de mercado de cada vendedor e somando os quadrados, sendo que a fatia de um vendedor é share = its revenue / total market revenue. Essa fórmula sozinha já é um desenho complexo em miniatura. Ela costura duas submensurações em uma resposta: a revenue de cada rede, que você tira de uma pesquisa setorial mensal, e a total market revenue do denominador, que você precisa medir separadamente.
Repare na anatomia. Um único mês de receita reportada é ruidoso, porque uma semana de feriado ou uma declaração atrasada empurra o número de qualquer rede para cima ou para baixo. Então você faz um movimento esperto de estratégia de dados: tirar a média de doze meses de receita de cada rede antes de calcular as fatias. Essa média esmaga a variância, e o seu índice fica lindamente repetível, mexendo um ou dois pontos no máximo quando você troca quais meses usa.
Aqui está a armadilha que o laboratório treina você a enxergar. Repetição não faz nada contra o viés. A sua pesquisa setorial cobre as redes, mas não as mercearias de esquina independentes nem as entregas de supermercado on-line, então a total market revenue pela qual você divide é sistematicamente pequena demais. Toda fatia é, portanto, sistematicamente grande demais e, como as fatias são elevadas ao quadrado, essa inclinação é amplificada direto para dentro do índice. A sua estratégia de dados e o seu modelo se afastaram. Um índice que marca 2.850 e nunca oscila não é um índice correto, apenas um índice confiantemente errado, e ele pode empurrar um mercado para o outro lado da linha que as autoridades de defesa da concorrência tratam como altamente concentrado. A correção é um redesenho da estratégia de dados, tirando o denominador de uma fonte construída para cobrir todos os vendedores, como um censo econômico do governo, e não mais um ano da mesma pesquisa.
16.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb04 — The anatomy of a research design: MIDA + declare → diagnose → redesign (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você constrói um pequeno mundo simulado, declara um desenho como algo que um computador consegue rodar, diagnostica esse desenho simulando-o milhares de vezes para ler o viés, a variância e o poder dele, e depois redesenha a parte que mais o melhora. O laboratório roda esse loop em uma pergunta social causal; este capítulo mostra que a mesma anatomia vale quando o desenho é complexo.
16.5 Prompts de IA recomendados
Comprometa-se com a sua própria resposta primeiro, depois delegue. Cada prompt é uma tarefa conferível, não um pedido de veredito. Rode-os como um loop, e não como tiro único: a segunda passagem, em que você devolve a peça que a ferramenta pulou e pergunta de novo, costuma ser a que encontra a etapa não caracterizada. Ferramentas agênticas que encadeiam essas passagens sozinhas vão montar, de uma vez, um orçamento de erro com cara de completo. Cara de completo é justamente o modo de falha de que este capítulo trata.
Localize a regra real.
Act as an industrial-organization research assistant. For a market concentration index
computed as the sum of every seller's squared market share, name two things and cite a
real, retrievable source for each: (1) the index thresholds competition authorities use
to call a market moderately or highly concentrated, and (2) the standard rule for
propagating the uncertainty in the measured revenues and the market total into the
index. Only state values you are confident exist.Depois de rodar, verifique: abra a fonte citada e confirme que os limiares e a regra de propagação aparecem mesmo lá. Enfrenta a fabricação confiante (um limiar inventado chega com a mesma confiança de um real).
Decomponha o desenho em peças que você consiga conferir.
Here is my combined design: [paste your model, inquiry, and how you measure each
seller's revenue and the total market revenue]. Break it into sub-designs. For each
sub-measurement, name which MIDA part it lives in, the one assumption it depends on,
and how its error enters the final index. Return a table.Depois de rodar, verifique: ponha a tabela ao lado da sua própria decomposição. Qualquer subdesenho ou suposição que ela tenha pulado é exatamente a lacuna a perseguir. Enfrenta a ilusão de completude (uma tabela bem arrumada que omite a única etapa não caracterizada).
Faça red team no resultado combinado.
Act as a hostile antitrust economist. Here is my measured concentration index and its
stated uncertainty: [paste]. Name the single systematic error that more months of data
can never fix and the place my four MIDA parts fail to point at the same quantity. Do
not fix it for me.Depois de rodar, verifique: se a ferramenta só elogiar a sua precisão, insista e exija o único pior erro sistemático. Enfrenta a concordância bajuladora (elogio que revisa o seu ego, não o seu orçamento de erro).
Três decisões continuam sendo suas. Você decide qual quantidade única a sua indagação nomeia (qual mercado, em que geografia e em que janela de tempo), se cada subdesenho de fato mira essa mesma quantidade, de modo que as partes se alinhem, e se vale confiar em um número combinado que o seu diagnóstico diz ser dominado por um erro sistemático. Uma ferramenta pode propagar a aritmética, mas não pode decidir que um número preciso é um número correto. Esse julgamento é o ponto inteiro do capítulo, e ele é seu.
16.6 Um caso de falha da IA
Você cola a sua tabela de receitas em uma ferramenta de IA e pede o índice de concentração. Ela devolve, com total confiança, index = 2,850 ± 18. O número parece plausível para um mercado com algumas redes grandes, o intervalo é minúsculo e o código rodou sem erro. Está errado. A ferramenta propagou apenas a variância de mês a mês da receita, a parte que você já esmagou tirando a média de doze meses, e nunca modelou o viés sistemático de um denominador que deixa de fora todo vendedor que a sua pesquisa não alcança. Esse ± 18 apertado descreve a oscilação que ela conseguia ver e se cala sobre a inclinação que ela não conseguia.
Você pega isso em dois movimentos. Primeiro, confira a suposição sobre a qual o número se apoia: o total pelo qual as suas fatias são divididas cobre mesmo o mercado inteiro? Segundo, rode um movimento de falsificação: recalcule o índice a partir de uma pesquisa deliberadamente mais estreita, derrubando também as redes menores, e veja o índice “preciso” derivar sistematicamente para cima. Uma quantidade que se desloca bem para fora do próprio intervalo declarado tinha uma incerteza que nunca foi honesta. Verifique o número, não o intervalo bem arrumado ao lado dele.
16.7 Agora é a sua vez
Você já percorreu as quatro trilhas. Este passo decide se o seu próprio projeto precisa de mais de uma peça móvel, e faz você justificar a resposta nos dois casos.
- Escreva o seu desenho como uma lista ordenada das mensurações e etapas necessárias para ir dos dados brutos até a sua resposta. Uma linha significa um desenho simples. Duas ou mais significam que você está rodando um híbrido, tendo você pretendido isso ou não.
- Para cada linha, nomeie em qual parte MIDA ela mora e a única quantidade que ela mira. Depois confronte a lista com a sua indagação. Todas as peças apontam para a mesma quantidade, ou uma delas derivou em silêncio para uma quantidade vizinha?
- Escolha a peça cujo erro mais doeria e rastreie como a incerteza dela chega à sua resposta final. Sinalize toda etapa que eleva ao quadrado, divide ou faz razão de um valor medido, porque é exatamente ali que uma inclinação pequena é amplificada.
- Decida e escreva a justificativa em uma frase. Ou “esta peça me dá algo que uma mensuração única não dá, e eu consigo caracterizar o erro dela”, ou “esta peça acrescenta uma etapa que eu não consigo caracterizar, então estou cortando ela e estreitando a minha alegação na mesma medida”.
- Nomeie o erro sistemático do que sobrou, aquele que mais dados nunca vão reduzir, e o que você teria que mudar no lugar: uma fonte diferente, um marco amostral mais amplo, um instrumento melhor.
- Registre o passo no seu AI Research Ledger (registro de pesquisa com IA), e verifique pelo menos uma saída com um método nomeado do Guia de Verificação. A simulação é a checagem natural para um desenho costurado: plante um viés conhecido em uma peça, rode a coisa inteira muitas vezes e veja a variância encolher enquanto o viés fica exatamente onde você o colocou. Um revisor de IA pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.