9 Modelo, Indagação, Estratégia de Dados e Estratégia de Resposta
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. As quatro partes do seu próprio desenho de pesquisa, escritas antes de existir qualquer dado: um modelo do mundo, a única quantidade nomeada que você quer extrair dele, um plano de como os dados chegam e um plano para transformar esses dados na sua quantidade. Depois, a decisão mais difícil: se essas quatro partes de fato apontam para a mesma coisa.
9.1 Por que essa decisão importa
A decisão em jogo: as quatro partes do seu desenho de pesquisa, e se as quatro apontam para a mesma quantidade.
Imagine uma líder de analytics lendo o seu desenho de uma página antes de você passar meses nele. A preocupação dela é simples: “Me mostre o número exato que você quer, depois me mostre que o jeito como você coleta e processa os dados consegue chegar nesse número. Se essas duas coisas se afastarem, todo resultado que você me trouxer responde a uma pergunta que eu nunca fiz.” Um desenho que pula esse passo não é rigoroso. É uma esperança bem formatada. Fazer as quatro partes concordarem, no papel, antes de existir qualquer dado, é a checagem de qualidade mais barata que você vai rodar na vida.
9.2 O conceito
Todo desenho de pesquisa tem as mesmas quatro partes. Este livro as chama de MIDA (Model, Inquiry, Data strategy, Answer strategy: modelo, indagação, estratégia de dados, estratégia de resposta), uma letra para cada.
- Modelo (Model): a sua imagem escrita de como o mundo poderia funcionar, ou seja, quais coisas existem e o que poderia afetar o quê. Exemplo: “a chance de um ouvinte aceitar uma música recomendada vai de 0 a 1, e um novo recomendador poderia empurrá-la para cima.”
- Indagação (Inquiry): a única quantidade exata que você quer daquele mundo, nomeada antes de qualquer dado chegar. Exemplo: “o aumento médio na taxa de aceitação que o novo recomendador causa entre os ouvintes.”
- Estratégia de dados (Data strategy): o seu plano de como os dados passam a existir, ou seja, quem é amostrado e quem recebe qual condição. Exemplo: “mandar cada sessão, ao acaso, para o recomendador antigo ou para o novo, e depois registrar cada aceite.”
- Estratégia de resposta (Answer strategy): o seu plano para transformar os dados em uma estimativa da indagação. Exemplo: “taxa de aceitação no grupo novo menos taxa de aceitação no grupo antigo.”
As quatro não são uma lista de checagem que você preenche em qualquer ordem. Elas precisam se alinhar, ou seja, as suas estratégias de dados e de resposta precisam de fato alcançar a indagação que o seu modelo torna perguntável. Exemplo de desalinhamento: uma indagação causal (“o aumento que o recomendador causa”) servida por uma estratégia de dados em que quem vê a versão nova difere sistematicamente de quem não vê. O que essa comparação entrega é uma associação, ou seja, duas coisas que se movem juntas sem prova de que uma causou a outra.
Leia isso com cuidado, porque é fácil tirar a lição errada. Alinhamento não significa que os seus dados podem reescrever a sua pergunta. A indagação continua causal; este desenho apenas não a alcança. E a ausência de sorteio tampouco encerra o assunto: desenhos observacionais podem sustentar respostas causais quando trazem um argumento de identificação defendido e adequado ao desenho, que é o assunto inteiro de um capítulo mais adiante. O diagnóstico honesto nomeia a lacuna: indagação causal, atualmente não identificada sob esta estratégia de dados e de resposta. Nomear isso no papel é o trabalho inteiro aqui.
9.3 Um exemplo trabalhado
Pegue uma empresa de streaming de música testando se um novo recomendador de reprodução automática aumenta a frequência com que os ouvintes mantêm a faixa sugerida. Percorra as quatro partes.
O modelo diz que cada ouvinte tem duas taxas de aceitação possíveis, uma sob o recomendador antigo e uma sob o novo, e a nova pode ser maior, menor ou igual. A indagação é a diferença média entre essas duas taxas entre todos os ouvintes, um número, de tipo causal. A estratégia de dados joga cada sessão que chega, ao acaso, no balde do antigo ou no do novo, de modo que nada sobre o ouvinte decide qual versão ele recebe. A estratégia de resposta calcula a taxa de aceitação em cada balde e subtrai.
Agora audite o alinhamento. A indagação pede uma diferença causada. O sorteio dos baldes é o que autoriza essa palavra, porque quebra qualquer ligação entre quem é o ouvinte e qual versão ele vê. Então as quatro partes concordam. Compare com um atalho tentador: lançar o novo recomendador para usuários novos e compará-los com usuários antigos que continuam no velho. Essa estratégia de dados deixa de se alinhar com uma indagação causal, porque usuários novos e antigos diferem de maneiras que também mexem na taxa de aceitação. A indagação continua exatamente o que era: o aumento causado. O que muda é a alegação que esta evidência sustenta, que cai de “causa” para “está associado a”, deixando a indagação em si causal e atualmente não identificada. Mesma pergunta, alinhamento quebrado.
9.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb04 — The anatomy of a research design: MIDA + declare → diagnose → redesign (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você constrói um pequeno mundo simulado, escreve as quatro partes MIDA dele e vê o que acontece com a sua resposta quando uma estratégia de dados silenciosamente deixa de combinar com a indagação.
9.5 Prompts de IA recomendados
Escreva o seu próprio rascunho de cada parte primeiro, depois pergunte. Comprometer-se antes dá à saída da IA algo de que discordar. E espere ir e voltar mais de uma vez: rascunhe, leia a resposta, corrija a parte que ela errou, cole a sua correção de volta, pergunte de novo. Cada rodada deve afiar a indagação até menos palavras, não mais.
Act as a research-design tutor. Here is my research question: [paste it].
Draft the four MIDA parts as a labeled list — Model, Inquiry, Data strategy,
Answer strategy. State the Inquiry as one exact quantity. Mark each part
"confident" or "guessing." Do not smooth over gaps.Depois de rodar, verifique: leia as palavras da indagação rascunhada ao lado das palavras da sua pergunta. O tipo e o alcance combinam? Isso enfrenta a mudança silenciosa de escopo, em que a ferramenta responde a uma pergunta vizinha e mais fácil do que a que você fez.
Act as a hostile methodologist. Here are my four MIDA parts: [paste them].
Name the single worst misalignment — a place where my data or answer strategy
cannot reach my stated inquiry. Give one concrete way my design fails, not
praise.Depois de rodar, verifique: confronte a objeção com a sua própria nota de alinhamento. Isso enfrenta a concordância bajuladora, em que a ferramenta chama um desenho de sólido porque foi você que o propôs.
Find one real, published study that used a design like mine to answer a similar
question. Give title, authors, year, and venue. If you are not confident it
exists, say so instead of inventing one.Depois de rodar, verifique: abra uma base de dados de biblioteca e localize o estudo exato antes de citá-lo. Isso enfrenta a fabricação confiante, em que a ferramenta devolve uma citação plausível para um artigo que não existe.
Três escolhas continuam sendo suas. Qual mundo a sua pergunta pressupõe (o modelo, e portanto o que pode confundi-lo). Qual quantidade única você quer (a indagação, nomeada com as suas palavras, não com a paráfrase da IA). E se as suas quatro partes se alinham, e portanto se a fronteira da sua alegação é causa, apenas está associado a, ou causal, mas ainda não identificada por este desenho. Esse terceiro estado é uma resposta de verdade, e manter a sua pergunta admitindo que o desenho não a alcança é mais honesto do que encolher a pergunta para caber nos dados. Uma IA pode rascunhar partes candidatas. Decidir que elas concordam, e assumir a alegação que decorre disso, é julgamento de pesquisa que você não pode repassar.
9.6 Um caso de falha da IA
Você cola a sua pergunta sobre streaming e pede o MIDA. A ferramenta devolve quatro partes confiantes e bem formatadas e chama o desenho de “rigoroso”. Leia com atenção: ela escreveu a estratégia de dados como “comparar usuários novos no recomendador novo com usuários antigos no velho”, e manteve a indagação redigida como um aumento causado. São duas falhas ao mesmo tempo. A estratégia de dados é um método plausível, porém errado, porque o tempo de casa do usuário mexe na taxa de aceitação por conta própria. E o rascunho apresenta essa comparação como se ela respondesse à indagação do aumento causado, uma mudança silenciosa de escopo entre o que a evidência sustenta (uma associação) e o que o texto alega (uma causa). A indagação pode manter a redação causal; o que ela não pode é tomar esta comparação emprestada como resposta. Você pega isso de dois jeitos: ponha as palavras da indagação ao lado da estratégia de dados e pergunte se houve mesmo aleatorização, depois desenhe o modelo como um diagrama e procure uma seta saindo de “tempo de casa” para a versão vista e para a taxa de aceitação. Essa seta aberta é o confundidor que o rascunho fluente nunca mencionou.
9.7 Agora é a sua vez
Você tem uma pergunta e uma lacuna que consegue defender. Este passo transforma as duas em um desenho de pesquisa, em uma página, em quatro partes que precisam concordar entre si.
- Escreva o seu modelo em três ou quatro frases de linguagem simples. Quais unidades existem, o que poderia afetar o quê e o que pode variar. Não precisa de equações. Depois desenhe isso como caixas e setas, mesmo que malfeito.
- Escreva a sua indagação como uma frase nomeando uma quantidade: uma média, uma diferença, uma taxa, uma proporção. Se você precisa da palavra “e” para enunciá-la, você tem duas indagações. Escolha a que defenderia primeiro.
- Escreva a sua estratégia de dados: quem ou o que é amostrado, a partir de qual lista, e quem recebe qual condição, se houver. Diga honestamente se algo é sorteado, ou se foi o mundo que atribuiu as condições por você.
- Escreva a sua estratégia de resposta: a aritmética que transforma os seus dados na sua indagação. Uma subtração de duas médias vale. Simples é qualidade aqui.
- Audite o alinhamento você mesmo e escreva a frase que importa: “Como a minha estratégia de dados é , a redação honesta mais forte do meu resultado é .” Se essa frase cair em está associado a em vez de causa, você não fracassou; você encontrou cedo a fronteira da sua alegação, que é justamente o objetivo.
- Registre o rascunho no seu AI Research Ledger (registro de pesquisa com IA), depois verifique a alegação de alinhamento com um método nomeado do Guia de Verificação; raciocínio com pares ou um diagrama causal servem. Um revisor de IA pode discutir o desalinhamento com você; a decisão de aceitar ou rejeitar a objeção continua sendo sua.