18 Mensuração e Operacionalização
Este capítulo faz parte de um livro em desenvolvimento ativo e ainda não passou pela revisão do autor. O conteúdo pode mudar conforme a revisão avança.
A decisão de pesquisa. Decida como transformar a ideia abstrata de que a sua pergunta trata em um número concreto que você consegue registrar, repetir e defender. Nomeie o conceito, nomeie o constructo mais estreito que vai representá-lo, nomeie o indicador que você vai de fato medir e depois diga com todas as letras o que esse indicador captura e o que ele deixa de fora sem avisar.
18.1 Por que essa decisão importa
A decisão em jogo: qual número específico você vai deixar representar a ideia grande de que a sua pergunta trata.
“Antes de me dizer que o piloto deixou as pessoas mais engajadas, me diga exatamente em que você colocou um número. ‘Engajado’ é uma palavra. Eu preciso saber qual pergunta você fez, em que escala, e o que aquele número ignora sem avisar.” — uma líder de people analytics lendo o primeiro rascunho de um estudo sobre o ambiente de trabalho
Todo resultado que você relata responde a uma pergunta sobre alguma ideia: engajamento, poder de mercado, bem-estar, participação. Mas você nunca mede a ideia. Você mede um número que a representa, e o seu achado é apenas tão confiável quanto essa troca. Se você não consegue dizer qual número registrou e o que ele deixa passar, a analista acima não tem motivo para acreditar na sua manchete. Este capítulo dá o movimento que torna a troca honesta.
18.2 O conceito
Operacionalização é o ato de transformar uma ideia abstrata em um procedimento de mensuração específico e repetível. Exemplo: transformar “engajamento no trabalho” na “média das respostas a um item de concordância em uma escala de sete pontos”. Você faz isso descendo uma escada de três degraus, e cada degrau tem um nome.
- Conceito: a ideia abstrata de que a sua pergunta realmente trata. Exemplo: engajamento no trabalho. Um conceito é rico e difuso, e você não consegue medi-lo diretamente.
- Constructo: a faceta específica e nomeada do conceito que você decide medir. Exemplo: a disposição de recomendar o local de trabalho, ou seja, com que força alguém diria a um amigo para trabalhar ali. Você escolhe um constructo porque ele é concreto o bastante para prender um procedimento nele.
- Indicador: o número exato que um procedimento produz. Exemplo: a média das respostas ao item “eu recomendaria esta empresa como um lugar para trabalhar”, avaliado de 1 (discordo totalmente) a 7 (concordo totalmente), calculada entre todo mundo que respondeu.
Duas perguntas decidem se a troca se sustenta, e as duas são perguntas sobre uma alegação que você pretende fazer, não selos que um instrumento ganha de uma vez.
A validade de mensuração pergunta se a evidência acumulada sustenta o sentido específico que você atribui ao seu número, para o uso específico que você tem em mente. Exemplo: a média de “recomendaria a um amigo” de uma unidade pode bem sustentar “os funcionários que responderam expressaram mais disposição de recomendar este local de trabalho”. Esse mesmo número não sustenta sozinho “aqui as pessoas estão mais engajadas”, porque engajamento inclui esgotamento e a sensação de que o trabalho importa; um argumento mais amplo, com mais evidência, poderia um dia chegar mais longe. Validade não é um carimbo que a nota carrega consigo. Ela pertence a uma alegação: este número, lido deste jeito, usado para este fim, com evidência por trás. Mude a leitura ou o uso e você precisa de evidência de novo.
A confiabilidade de mensuração pergunta se o seu número fica parado quando você repete a medição, e ela não significa nada até você dizer o que se repete. Repita a ocasião: repergunte às mesmas pessoas duas semanas depois e veja se as respostas caem mais ou menos no mesmo lugar. Essa checagem só quer dizer algo se a coisa medida deveria ter ficado parada nessas duas semanas, e se a primeira pergunta não mudou a segunda resposta; para um humor que muda rápido, uma resposta diferente é notícia, não erro. Repita quem avalia: dois codificadores treinados pontuam o mesmo material e você compara. Repita os itens: em um questionário com muitas perguntas sobre um constructo, divida essas perguntas em duas metades comparáveis, pontue cada metade para cada respondente e veja se as duas concordam. Essa última é a confiabilidade das metades, a concordância entre duas metades dos itens nas mesmas pessoas. Duas ressalvas vêm junto. As metades precisam ser comparáveis, não apenas ímpares e pares por acaso de ordem. E cada metade tem só metade do tamanho da escala real, então a concordância crua entre elas subestima a confiabilidade da escala inteira; estatísticos aplicam uma correção padrão de comprimento para ir de uma à outra.
Um aviso poupa uma tarde perdida comum. Você divide itens, nunca pessoas. Comparar a média de metade dos seus respondentes com a outra metade diz o quanto uma média de grupo balança entre amostras de pessoas, o que é real e é outra pergunta. Não diz nada sobre se o seu instrumento lê de forma consistente.
A confiabilidade alimenta a validade sem resolvê-la. Um indicador pode ser perfeitamente confiável e ainda sustentar a alegação errada: uma balança marca o seu peso do mesmo jeito cinco vezes seguidas, e o peso continua sendo um substituto ruim para “condicionamento físico”.
18.3 Um exemplo trabalhado
Você quer responder a uma pergunta real de negócio: as unidades que rodaram o piloto de horário flexível estão mais engajadas que as que mantiveram turnos fixos? Veja a escada trabalhar.
Você começa no conceito, engajamento no trabalho, e admite de saída que nenhum instrumento lê “engajamento”. Então desce até um constructo. Entre as várias facetas honestas do engajamento, você escolhe a disposição de recomendar o local de trabalho, porque quem recomendaria a um amigo trabalhar ali está lhe dizendo algo real sobre o próprio vínculo com o emprego. Agora você nomeia o indicador: a média das respostas a um único item de concordância, de um a sete, coletado de todos os funcionários das oito unidades do piloto e das oito unidades de comparação.
Antes de confiar em uma única leitura, você checa a confiabilidade. Você repergunta a um décimo aleatório dos respondentes duas semanas depois e compara as duas respostas deles. Elas caem perto, então o item é repetível, e não um cara ou coroa fantasiado de dado. Depois você checa a validade nomeando o que o indicador ignora. Uma nota de “recomendaria a um amigo” não diz nada sobre esgotamento, sobre a sensação de que o salário é justo ou sobre a crença de que o trabalho importa. E ela também não consegue ouvir quem já pediu demissão, que é justamente o grupo que uma pergunta sobre engajamento mais gostaria de alcançar. É uma faceta verdadeira, não o engajamento inteiro.
Essa honestidade fixa a fronteira da sua alegação. Você consegue defender isto: “as unidades do piloto tiveram, em média, maior disposição de recomendar a empresa que as unidades de comparação, uma faceta do engajamento, medida com um item único e repetível”. Você não consegue defender “o piloto deixou os funcionários mais engajados”, porque você nunca mediu as facetas que o seu indicador pula, e nunca ouviu quem foi embora. O número é real, e o significado dele para exatamente onde o constructo para.
18.4 O laboratório em Colab
Este capítulo tem o seu próprio notebook companheiro — abra-o no Colab pelo selo acima. O notebook reúne os prompts e o código do capítulo e termina com o espaço de trabalho Agora é a sua vez, para você completar a etapa do capítulo no seu projeto sem sair do Colab. O laboratório completo de sala de aula por trás deste capítulo é o notebook do curso nb05 — Observational descriptive research (abrir no Colab), parte do curso companheiro apresentado no apêndice Para instrutores. Lá você constrói uma escada conceito → constructo → indicador para a sua própria medida principal, e vê na prática um indicador único achatar a realidade: a média de 4,43 de um survey cai em um vale entre dois picos, então a média não descreve quase nenhum respondente real. Um índice é uma operacionalização, e toda operacionalização esconde aquilo sobre o que ela tira média.
18.5 Prompts de IA recomendados
Comprometa-se com o seu próprio rascunho primeiro, depois delegue. Cada prompt é uma tarefa conferível, não um veredito para acreditar. Rode-os como um loop: a primeira resposta nomeia os instrumentos óbvios, e a passagem útil é a segunda, em que você diz qual faceta a ferramenta pulou e pede que ela tente de novo. Ferramentas agênticas vão alegremente dar três ou quatro voltas e devolver um plano de mensuração polido. Polido não é válido, e a frase que nomeia o que o seu número deixa de fora continua tendo que ser escrita por você.
Localize os indicadores padrão.
Act as a survey-methods assistant. I want to measure the construct "willingness to
recommend one's workplace" in an organizational study. Name the standard, published
instruments researchers use for this construct, with the instrument name, how it is
scored, and a real source I can open. Only list instruments you are confident
exist; mark anything uncertain.Depois de rodar, verifique: abra uma das fontes nomeadas e confirme que o instrumento existe e mede o que a ferramenta diz que ele mede. Enfrenta a fabricação confiante (o nome de uma escala inventada chega tão fluente quanto o de uma real).
Liste os limites, para você poder verificá-los.
Here is my operationalization: concept = employee engagement, construct =
willingness to recommend the workplace, indicator = mean of a single 1-7 agreement
item. Return a table of every facet of engagement this indicator does NOT capture,
one row each, with why it matters and who it fails to hear from.Depois de rodar, verifique: confronte a tabela com um modelo publicado de engajamento que você mesmo recupere. Enfrenta a ilusão de completude (uma lista bem arrumada que mesmo assim omite a faceta que mais ameaça a sua alegação).
Faça red team na troca.
Act as a hostile reviewer. Here is my claim: "the pilot sites are more engaged,
because more people there would recommend the company." Name every place my
indicator fails to support the word "engaged." Do not rewrite the claim for me.Depois de rodar, verifique: se a ferramenta só elogiar o desenho, insista e exija a única pior lacuna. Enfrenta a concordância bajuladora (elogio que revisa o seu ego, não a sua mensuração).
De qual conceito a sua pergunta trata, qual constructo o representa com honestidade e onde o significado do seu indicador precisa parar são decisões só suas. A ferramenta pode listar instrumentos e nomear limitações, mas só você decide que uma nota de “recomendaria a um amigo” é um substituto justo para a faceta do engajamento com que você de fato se importa, e só você escreve a frase que se recusa a chamar uma faceta de conceito inteiro. Nomear o que o seu número deixa de fora é trabalho de quem pesquisa, não do modelo.
18.6 Um caso de falha da IA
Você pergunta “operacionalize engajamento no trabalho para o meu estudo piloto” e a ferramenta responde com total confiança: “Pergunte se as pessoas recomendariam a empresa em uma escala de 0 a 10 e pegue a fatia que responde 9 ou 10. Isso é engajamento.” A receita é limpa, soa correta e é fácil de aplicar em campo. Aqui está a armadilha. Engajamento é um conceito amplo, com várias facetas independentes, e a ferramenta o estreitou em silêncio até um constructo, e então entregou o indicador como se ele fosse a ideia inteira. Isso é uma mudança de escopo fantasiada de resposta completa.
Você pega isso lendo a alegação da resposta ao lado da sua pergunta, palavra por palavra. A sua pergunta era sobre “engajamento”; a resposta é sobre “recomendaria”, e essas duas coisas não são a mesma caixa. Depois você confirma com uma fonte real: abra um modelo publicado de engajamento e encontre as várias facetas que a receita nunca mencionou. Uma receita confiante não é uma operacionalização válida. Você verifica o constructo, não a fluência do parágrafo que o propôs.
18.7 Agora é a sua vez
Você sabe de onde vêm os seus dados. Este passo crava o que os seus números significam de verdade, e o que eles não significam.
- Liste cada conceito que a sua pergunta contém e circule os abstratos, as palavras que nenhum instrumento lê: engajamento, saúde, participação, qualidade, competitividade. São esses que precisam de uma escada.
- Sob cada conceito circulado, escreva o constructo que você vai realmente medir, mais uma linha sobre por que essa faceta e não uma vizinha. Escolher uma faceta não é trapaça. Fingir que você mediu o conceito inteiro é.
- Sob cada constructo, escreva o indicador: o procedimento exato e o número exato que ele produz, específico o bastante para que uma pessoa estranha consiga repetir e chegar a um valor comparável.
- Sob cada indicador, complete esta frase com as suas palavras: “este número não captura ___.” Use a faceta que mais lhe preocupa e acrescente quem a sua mensuração nunca alcança.
- Escreva uma frase dizendo o que o seu número significa e uma dizendo o que você vai fazer com ele. Depois nomeie a leitura rival mais forte: o que mais poderia produzir o mesmo número?
- Planeje uma checagem de confiabilidade que combine com uma fonte de erro que você de fato teme, e rode: as mesmas unidades medidas duas vezes (ocasiões), duas pessoas codificando o mesmo material (avaliadores), ou duas metades dos seus itens pontuadas para as mesmas pessoas (metades). Não compare duas metades dos seus respondentes e chame isso de confiabilidade. Se o seu indicador é um item único medido uma vez, a checagem de metades não existe e as outras duas podem não existir também; “nenhuma checagem de confiabilidade defensável está disponível para esta medida e este uso” é um achado honesto. Escreva isso e então estreite o que você alega ou escolha outro instrumento.
- Registre o passo no seu AI Research Ledger (registro de pesquisa com IA), e verifique pelo menos uma medida com um método nomeado do Guia de Verificação. A leitura da fonte primária cai bem neste capítulo: encontre o instrumento ou o método publicado por trás do seu indicador e abra. O que você encontra ali é evidência, não veredito. A validação publicada foi feita com alguma população, para algum uso; confira o quanto essas coisas se parecem com as suas, e trate a distância como parte da sua fronteira de alegação. Um revisor de IA pode rodar a checagem com você; a decisão de aceitar ou rejeitar continua sendo sua.