13 Pesquisa Descritiva Experimental
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Um cara ou coroa não decide que tipo de pergunta você fez. Quem decide se o seu estudo randomizado está medindo uma propriedade que o mundo já tem ou testando uma intervenção que você implantaria é você, e é você quem nomeia os artefatos que a sua mensuração ainda precisa descartar antes que o número signifique alguma coisa.
13.1 Por que essa decisão importa
A decisão em jogo: se o número que o seu estudo randomizado relata é uma propriedade que o mundo já tem ou um efeito que você sairia por aí causando.
Imagine quem orienta a sua pesquisa parando em uma única linha da sua página de métodos. “Você randomizou”, essa pessoa diz, “então escreveu causa. Me mostre a pergunta primeiro.” A atribuição aleatória parece causal por reflexo, e esse reflexo é a armadilha que este capítulo desarma. O que fixa o tipo de uma pergunta é a pergunta, não o procedimento. Aponte um cara ou coroa para “o que mudaria se implantássemos isto?” e você tem um estudo causal. Aponte o mesmo cara ou coroa para “quanto dessa propriedade existe no mundo agora?” e você tem uma mensuração. Rotule a segunda como se fosse a primeira e você exagera. Você promete uma alavanca que a sua evidência nunca testou, e quem lê com atenção para de confiar no resto do seu trabalho.
13.2 O conceito
Três termos sustentam a ideia. Conheça um de cada vez.
- Característica latente: uma propriedade real que você não consegue ler diretamente, então um desenho precisa revelá-la. Exemplo: quanto a posição em uma interface de busca atrai cliques, à parte de quão bom é cada resultado.
- Estímulo controlado: uma versão de um prompt, item ou configuração que você fixa de propósito e atribui ao acaso, de modo que qualquer diferença na resposta se prenda à versão, e não a quem a recebeu. Exemplo: o mesmo resultado exibido na posição 1 em algumas sessões e na posição 5 em outras, escolhidas ao acaso.
- O experimento como instrumento de mensuração: usar estímulos controlados atribuídos ao acaso para expor uma característica latente e relatá-la como uma descrição simples. O número que você relata é o estimando (estimand), a quantidade exata que o desenho foi construído para declarar, e aqui ela descreve o mundo como ele está.
Uma mensuração pode ser confiante e ainda assim estar errada, porque o próprio arranjo é um dos ingredientes. Dois artefatos fazem a maior parte do estrago. Um efeito de demanda acontece quando as pessoas medidas adivinham o que você procura e se deslocam nessa direção; exemplo: usuários que percebem estar em um estudo clicam com mais cuidado do que clicariam em casa. Um efeito de instrumento acontece quando o próprio dispositivo de medida ou a redação move a leitura sozinho; exemplo: a posição 1 exibe uma miniatura maior, então o registrador credita à posição a atenção que a imagem conquistou. Os dois ameaçam a validade de constructo, o grau em que o seu número estima o conceito que você pretendia e não algo adjacente. Randomizar quem vê o quê não faz nada contra um viés que atinge todas as unidades por igual, e é por isso que você desenha esses problemas para fora separadamente.
13.3 Um exemplo trabalhado
Uma equipe de streaming de música quer cravar uma propriedade latente da prateleira “Recomendados para você”: quanto das reproduções de uma faixa vem de onde ela está posicionada e quanto vem de quão bem ela combina com quem ouve. Ninguém publica esse número em lugar nenhum, então a equipe constrói um instrumento. Em uma fatia aleatória de sessões ela insere uma faixa-sonda fixa, com o mesmo áudio e a mesma capa, atribui a posição dela ao acaso entre seis lugares e registra a taxa de reprodução por posição. Como a faixa nunca muda e a posição é sorteada, a diferença na taxa de reprodução entre as posições isola só a atração da posição. O estimando é a curva de atenção da prateleira: quanto cada lugar comanda, descrito para essas sessões.
É aqui que a decisão morde. Dentro do estudo existe, sim, um efeito causal da posição sobre os cliques, mas a pergunta da equipe era descritiva, e o relato honesto diz isso: “nessas sessões, a posição 1 atraiu cerca de três vezes mais reproduções que a posição 5, com qualidade igual”. A frase proibida é “promover faixas para a posição 1 vai triplicar as reproduções delas”, porque essa é uma alegação causal e implementável que o desenho nunca testou. E, antes de confiar até no número descritivo, a equipe descarta dois artefatos: um efeito de demanda, se a sonda parecer um anúncio, e um efeito de instrumento, se a arte maior da posição 1 ou um registrador atrelado à posição inflar a contagem. O redesenho exibe todas as posições de forma idêntica e registra as exibições no servidor.
13.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb07 — Experimental descriptive research (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Nele você lê um experimento de survey real como a mensuração de uma atitude já consolidada, recupera uma prevalência escondida com um experimento de lista que uma pergunta direta não alcança e depois declara, diagnostica e redesenha um experimento de mensuração, até que um número feito quase só de artefatos de demanda e de instrumento volte a pousar sobre o constructo que ele deveria relatar.
13.5 Prompts de IA recomendados
Comprometa-se com a sua própria resposta primeiro, depois delegue. Cada prompt abaixo termina com uma checagem que você mesmo roda. E trate cada um deles como a jogada de abertura de um loop, não como um pedido de uma rodada só: leia a saída, conteste a parte mais fraca, afie o prompt, rode de novo. Ferramentas agênticas hoje rodam várias voltas desse loop por conta própria, o que não aposenta a sua checagem. Só significa que chega mais saída entre uma checagem e outra.
Act as a literature scout. List three real, published experiments used to MEASURE
a latent characteristic (position bias in a ranking interface, a hidden prevalence,
a preference weight) rather than to test a deployable intervention. For each give
authors, year, venue, and the single quantity measured, in a table. Only include
work you are confident exists; mark any row you are unsure about.Depois de rodar, verifique: abra uma base de dados e recupere você mesmo cada estudo; qualquer linha que você não achar em um minuto é uma fabricação confiante, então corte.
Here is code that estimates an interface's attention curve as the difference in
play rate across randomly assigned slots: [paste]. Name every assumption this
estimator needs to be valid, and for each, one concrete way it could fail in my
logs.Depois de rodar, verifique: confronte cada suposição com o seu pipeline de verdade; um estimador que soa padrão mas supõe algo que os seus dados quebram é um método plausível, porém errado.
Act as a hostile measurement reviewer. Here is my construct and how I measure it:
[plan]. List every demand effect and instrument effect that could produce my number
even if the true value were different, and the redesign that rules each one out.Depois de rodar, verifique: compare a lista com o artefato que você anotou primeiro; se o seu não estiver ali, a saída bem arrumada acabou de falhar no teste da ilusão de completude, então recoloque-o.
Três decisões continuam sendo suas. Se a sua indagação é descritiva ou causal, porque o tipo mora nas palavras da sua pergunta e nenhuma ferramenta lê a sua intenção. Se o desenho mede mesmo o seu constructo, e não algo adjacente, o que é um julgamento sobre significado, não sobre código. E quais artefatos você aceita assinar embaixo como descartados. Uma parceria de IA pode rascunhar, localizar e atacar. Declarar e defender é com você.
13.6 Um caso de falha da IA
Você cola o resultado da sua curva de atenção em uma ferramenta de IA e pede que ela escreva a frase dos achados. Volta algo fluente: “Mover faixas para a primeira posição causa um aumento de 3x nas reproduções, então a equipe deveria promover para a posição 1 as músicas que melhor combinam.” Parece uma vitória, mas é uma mudança silenciosa de escopo: você perguntou como a atenção se distribui, e a ferramenta respondeu, sem avisar, a uma pergunta causal e implementável sobre o que promover faria. Você pega isso pondo a frase dela ao lado da sua, palavra por palavra. A sua perguntava quanto a posição atrai; a resposta dela perguntava o que fazer. Os sinais são “causa”, “deveria” e o “aumento” imaginado de uma intervenção que você nunca rodou. Rejeite e reescreva a alegação limitada às unidades que você observou.
13.7 Agora é a sua vez
O seu desenho está declarado e diagnosticado. Este passo faz uma pergunta mais estreita a ele: o seu estudo está medindo uma propriedade que o mundo já tem e, se estiver, ele consegue fazer isso com honestidade?
- Leia a sua pergunta principal em voz alta e sublinhe o verbo. Ela pergunta quanto de algo já existe lá fora, ou o que mudaria se você interviesse? Escreva a resposta em uma linha. Essa linha decide se esta trilha é a sua.
- Se for a sua, nomeie a característica latente que o seu projeto precisa revelar, a propriedade que ninguém publica em lugar nenhum, e o estímulo controlado que você vai atribuir ao acaso para revelá-la.
- Escreva o seu estimando em uma frase: a quantidade exata, para quais unidades, descrita como ela está. Embaixo, escreva a frase causal que você se proíbe de dizer, aquela que começa com “se nós”.
- Nomeie o efeito de demanda e o efeito de instrumento que você mais teme, cada um com o redesenho que o descarta.
- Se esta trilha não for a sua, rode os passos 2 a 4 como exercício mesmo assim, tratando a sua pergunta como se você tivesse que medi-la em vez de intervir. O que quebrar é a sua evidência de que a trilha escolhida encaixa melhor. Escreva isso em duas linhas.
- Registre o passo no seu AI Research Ledger (registro de pesquisa com IA), e verifique pelo menos uma saída com um método nomeado do Guia de Verificação. Um teste de falsificação cai bem neste capítulo: coloque o efeito verdadeiro em exatamente zero em uma versão de brinquedo do seu desenho e confirme que o seu instrumento relata mais ou menos zero. Um revisor de IA pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.