16 Diseños híbridos y complejos
Este capítulo forma parte de un libro en desarrollo activo y todavía no ha pasado por la revisión del autor. El contenido puede cambiar a medida que avanza la revisión.
La decisión de investigación. Cuando tu respuesta tiene que coserse a partir de varias mediciones o etapas, decide si el diseño combinado sigue siendo una sola cosa alineada que puedes diagnosticar antes de correrla. Apilar piezas cuidadosas no produce automáticamente un resultado cuidadoso, y decidir cortar una pieza que no puedes caracterizar es tan decisión de diseño como agregar otra.
16.1 Por qué importa esta decisión
La decisión sobre la mesa: si la pieza móvil extra de tu diseño se gana su lugar o solo agrega un error del que no puedes dar cuenta.
“No me entregues el número del titular. Entrégame el presupuesto de error: cada cantidad que mediste, cómo la mediste y cómo fluyó la incertidumbre de cada una hacia la respuesta final. Un resultado preciso construido sobre un paso sin caracterizar es una respuesta equivocada precisa.” — una economista de competencia revisando un informe que dice haber medido qué tan concentrado está un mercado
Un diseño complejo falla de manera silenciosa. Cada pieza se ve cuidadosa por su cuenta, así que el conjunto también se ve cuidadoso. Pero una respuesta ensamblada a partir de varias mediciones es tan confiable como su pieza peor caracterizada, y el ensamblado puede amplificar un error pequeño hasta volverlo grande. Este capítulo te da la disciplina para desarmar un diseño así y diagnosticar el conjunto antes de confiar en su número.
16.2 El concepto
Todo diseño de investigación tiene cuatro partes, y este libro las llama MIDA (Model, Inquiry, Data strategy, Answer strategy): el Modelo (tu descripción escrita de cómo podría funcionar el mundo), la Indagación (la única cantidad exacta que quieres obtener de él), la estrategia de Datos (cómo llegan a existir los datos) y la estrategia de respuesta (cómo conviertes esos datos en una estimación). El laboratorio en Colab construye las cuatro desde cero. Este capítulo las lleva a un terreno más difícil.
Un diseño complejo, o híbrido, es un diseño de investigación cuyas cuatro partes MIDA tienen más de una pieza móvil: varias mediciones, etapas o subpreguntas cosidas en una sola respuesta. Ejemplo: calcular el puntaje de concentración de un mercado a partir de dos mediciones separadas, cada una tomada de su propia fuente y cargando su propio error.
Dos ideas deciden si un diseño así se sostiene. La primera es la alineación, que significa que las cuatro partes apuntan a la misma cantidad única. La complejidad la rompe de una forma nueva: dos submediciones construidas con cuidado pueden estar bien cada una y aun así apuntar en silencio a cantidades algo distintas que nunca se combinan en la que nombraste. La segunda es la propagación de errores, que significa que la incertidumbre de cada insumo medido fluye hacia la respuesta final, a veces amplificada. Ejemplo: si tu respuesta depende del cuadrado de una participación medida, un error de 1% en esa participación se vuelve un error de alrededor de 2% en el resultado.
Ten a la mano las dos palabras de falla del laboratorio. El sesgo es una inclinación sistemática que más datos no reducen; la varianza es el temblor de una corrida a otra que más datos sí reducen. La complejidad deja que un error sistemático pequeño se esconda detrás de uno aleatorio impresionantemente chico.
16.3 Un ejemplo resuelto
Quieres saber qué tan concentrado está el mercado de supermercados de tu ciudad: ¿lo domina un puñado de cadenas, o está repartido entre muchos vendedores? La respuesta estándar es un índice de concentración, un puntaje único que sube a medida que las ventas de un mercado se acumulan en menos manos. Lo calculas elevando al cuadrado la participación de mercado de cada vendedor y sumando los cuadrados, donde para un vendedor share = its revenue / total market revenue. Esa sola fórmula es un diseño complejo en miniatura. Cose dos submediciones en una respuesta: los ingresos de cada cadena, su revenue, que tomas de una encuesta mensual de la industria, y el total market revenue del denominador, que tienes que medir por separado.
Mira la anatomía. Un solo mes de ingresos reportados es ruidoso, porque una semana de feriados o una declaración tardía empujan la cifra de cualquier cadena hacia arriba o hacia abajo. Así que haces un movimiento inteligente de estrategia de datos: promedias doce meses de ingresos por cadena antes de calcular las participaciones. Ese promedio aplasta la varianza, y tu índice se ve bellamente repetible: se mueve uno o dos puntos a lo mucho cuando cambias qué meses usas.
Aquí está la trampa que el laboratorio te entrena a ver. La repetición no hace nada contra el sesgo. Tu encuesta de la industria cubre las cadenas, pero no las tiendas independientes de barrio ni las entregas de supermercado en línea, así que el total market revenue por el que divides es sistemáticamente demasiado pequeño. Por lo tanto cada participación es sistemáticamente demasiado grande y, como las participaciones se elevan al cuadrado, esa inclinación se amplifica directo hacia el índice. Tu estrategia de datos y tu modelo se separaron. Un índice que marca 2,850 y nunca tiembla no es un índice correcto, solo uno equivocado con seguridad, y puede empujar a un mercado más allá de la línea que las autoridades de competencia tratan como alta concentración. El arreglo es rediseñar la estrategia de datos: tomar el denominador de una fuente construida para cubrir a todos los vendedores, como un censo económico oficial, y no un año más de la misma encuesta.
16.4 El laboratorio en Colab
Este capítulo tiene su propio cuaderno de acompañamiento: ábrelo en Colab con la insignia de arriba. El cuaderno reúne los prompts y el código del capítulo y termina con el espacio de trabajo Ahora te toca a ti, para que completes el paso del capítulo en tu proyecto sin salir de Colab. El laboratorio de aula completo detrás de este capítulo es el cuaderno del curso nb04 — The anatomy of a research design: MIDA + declare → diagnose → redesign (la anatomía de un diseño de investigación: MIDA + declarar → diagnosticar → rediseñar) (abrir en Colab), parte del curso de acompañamiento presentado en el apéndice Para docentes. Ahí construyes un mundo simulado pequeño, declaras un diseño como algo que una computadora puede correr, lo diagnosticas simulándolo miles de veces para leer su sesgo, su varianza y su potencia, y luego rediseñas la parte que más lo mejora. El laboratorio corre ese bucle sobre una pregunta social causal; este capítulo muestra que la misma anatomía se sostiene cuando el diseño es complejo.
16.5 Prompts de IA recomendados
Comprométete primero con tu propia respuesta y luego delega. Cada prompt es una tarea verificable, no un pedido de veredicto. Córrelos como un bucle de IA, el ciclo prompt → respuesta → interrogación → refinamiento → nueva ejecución, en vez de un solo tiro: la segunda pasada, donde le devuelves la pieza que la herramienta se saltó y vuelves a preguntar, suele ser la que encuentra el paso sin caracterizar. Las herramientas agénticas que encadenan esas pasadas por su cuenta arman un presupuesto de error de apariencia completa en una sola ida. Esa apariencia de completo es el modo de falla del que trata este capítulo.
Localiza la regla real.
Act as an industrial-organization research assistant. For a market concentration index
computed as the sum of every seller's squared market share, name two things and cite a
real, retrievable source for each: (1) the index thresholds competition authorities use
to call a market moderately or highly concentrated, and (2) the standard rule for
propagating the uncertainty in the measured revenues and the market total into the
index. Only state values you are confident exist.Después de ejecutarlo, verifica: abre la fuente citada y confirma que los umbrales y la regla de propagación aparecen ahí de verdad. Contrarresta la fabricación confiada (confident fabrication): un umbral inventado llega con la misma seguridad que uno real.
Descompón el diseño en piezas que puedas revisar.
Here is my combined design: [paste your model, inquiry, and how you measure each
seller's revenue and the total market revenue]. Break it into sub-designs. For each
sub-measurement, name which MIDA part it lives in, the one assumption it depends on,
and how its error enters the final index. Return a table.Después de ejecutarlo, verifica: pon la tabla junto a tu propia descomposición. Cualquier subdiseño o supuesto que se haya saltado es exactamente el hueco a perseguir. Contrarresta la ilusión de exhaustividad: una tabla ordenada que omite el único paso sin caracterizar.
Haz red team al resultado combinado.
Act as a hostile antitrust economist. Here is my measured concentration index and its
stated uncertainty: [paste]. Name the single systematic error that more months of data
can never fix and the place my four MIDA parts fail to point at the same quantity. Do
not fix it for me.Después de ejecutarlo, verifica: si solo elogia tu precisión, insiste y exige el peor error sistemático. Contrarresta el acuerdo complaciente: elogios que revisan tu ego, no tu presupuesto de error.
Tres decisiones siguen siendo tuyas. Tú decides qué cantidad única nombra tu indagación (qué mercado, en qué territorio y en qué ventana de tiempo), si cada subdiseño apunta de verdad a esa misma cantidad para que las partes queden alineadas, y si confiar en un número combinado cuando tu diagnóstico dice que lo domina un error sistemático. Una herramienta puede propagar la aritmética, pero no puede decidir que un número preciso es un número correcto. Ese juicio es el punto entero del capítulo, y es tuyo.
16.6 Un caso de falla de la IA
Pegas tu tabla de ingresos en una herramienta de IA y pides el índice de concentración. Devuelve, con total seguridad, index = 2,850 ± 18. El número se ve plausible para un mercado con unas pocas cadenas grandes, el intervalo es diminuto y el código corrió sin error. Está equivocado. La herramienta propagó solo la varianza de los ingresos de mes a mes, la parte que ya aplastaste promediando doce meses, y nunca modeló el sesgo sistemático de un denominador que deja fuera a cada vendedor que tu encuesta no alcanza. Ese ± 18 tan apretado describe el temblor que pudo ver y calla sobre la inclinación que no pudo.
Lo detectas en dos movimientos. Primero, revisa el supuesto sobre el que descansa el número: ¿el total por el que dividen tus participaciones cubre de verdad todo el mercado? Segundo, corre un movimiento de falsación: recalcula el índice a partir de una encuesta deliberadamente más estrecha, dejando fuera también a las cadenas más chicas, y mira cómo el índice “preciso” se desplaza de manera sistemática hacia arriba. Una cantidad que se mueve bastante más allá de su propio intervalo declarado tenía una incertidumbre que nunca fue honesta. Verifica el número, no el intervalo ordenado que está a su lado.
16.7 Ahora te toca a ti
Ya recorriste las cuatro rutas. Este paso decide si tu propio proyecto necesita más de una pieza móvil, y te hace justificar la respuesta en cualquiera de los dos sentidos.
- Escribe tu diseño como una lista ordenada de las mediciones y etapas que toma ir de los datos crudos a tu respuesta. Una sola línea significa un diseño simple. Dos o más significa que estás corriendo un híbrido, lo hayas querido o no.
- Para cada línea, nombra en qué parte de MIDA vive y la única cantidad a la que apunta. Luego contrasta la lista con tu indagación. ¿Todas las piezas apuntan a la misma cantidad, o alguna se desplazó en silencio hacia una vecina?
- Elige la pieza cuyo error dolería más y traza cómo su incertidumbre llega a tu respuesta final. Marca cualquier paso que eleve al cuadrado, divida o forme una razón con un valor medido, porque una inclinación pequeña se amplifica justo ahí.
- Decide, y escribe la justificación en una oración. O bien “esta pieza me compra algo que una sola medición no puede, y puedo caracterizar su error”, o bien “esta pieza agrega un paso que no puedo caracterizar, así que la corto y acoto mi afirmación para que corresponda”.
- Nombra el error sistemático que queda en lo que sobrevive y que más datos nunca reducirán, y qué tendrías que cambiar en su lugar: otra fuente, un marco muestral más amplio, un mejor instrumento.
- Registra el paso en tu AI Research Ledger (registro de investigación con IA) y verifica al menos una salida con un método nombrado de la Guía de Verificación. La simulación es la comprobación natural para un diseño cosido: siembra un sesgo conocido en una pieza, corre el conjunto muchas veces y mira cómo la varianza se encoge mientras el sesgo se queda exactamente donde lo pusiste. Una IA revisora puede hacer la comprobación contigo; la decisión de aceptar o rechazar es tuya.