20 La IA como asistente analítico
Este capítulo forma parte de un libro en desarrollo activo y todavía no ha pasado por la revisión del autor. El contenido puede cambiar a medida que avanza la revisión.
La decisión de investigación. Tú decides qué tareas analíticas corre el asistente y qué números vuelves a derivar por tu cuenta antes de que cualquiera de ellos llegue a una afirmación. El asistente aporta trabajo a granel. Qué verificaciones cuentan, qué alertas son reales y qué significa el número que sobrevive: eso se queda de tu lado del escritorio.
20.1 Por qué importa esta decisión
La decisión sobre la mesa: qué trabajo analítico delegas y qué números vuelves a derivar personalmente antes de creerles.
“No me importa que un modelo haya corrido tus verificaciones de robustez. Me importa cuáles elegiste, qué números volviste a derivar por tu cuenta y qué alertas confirmaste contra los datos. Muéstrame ese rastro y confío en tu criterio. Muéstrame la transcripción del modelo y no confío en ninguno de los dos.” — un comentarista en un seminario de economía laboral, leyendo tu sección de resultados
Una IA puede escribir tu código de análisis, correr una docena de verificaciones de robustez y entregarte una tabla limpia en segundos. Esa velocidad es justamente lo que vuelve peligroso un hábito flojo. Pega la tabla en tu artículo y habrás firmado con tu nombre números que nunca revisaste. El comentarista de arriba quiere la lista corta de decisiones que siguieron siendo tuyas. Este capítulo te da el hábito que sobrevive a esa pregunta.
20.2 El concepto
Un asistente analítico de IA es una IA a la que le entregas una tarea analítica bien especificada, nunca tu criterio. Ejemplo: le dices “recalcula esta brecha después de eliminar a las tres personas que se inscribieron con una oferta ya en mano”, y escribe y corre esa única verificación. La tarea es comprobable. El veredicto no es su trabajo.
La unidad que atacas es tu estimación principal, el único número que representa todo tu hallazgo. Ejemplo: “quienes pasaron por el programa recibieron una primera oferta alrededor de 0.7 desviaciones estándar antes”. Antes de defender ese número, intentas romperlo, y romperlo es el trabajo que delegas.
Dos ataques hacen la mayor parte del trabajo. Una verificación de robustez vuelve a correr el mismo hallazgo bajo una decisión distinta pero igual de defendible, y pregunta si la respuesta se sostiene. Ejemplo: reportaste un promedio de semanas hasta la primera oferta, así que también calculas la mediana y revisas si la historia sobrevive. Una prueba de placebo corre tu análisis exacto donde el efecto no puede existir y confirma que vuelve cerca de cero. Ejemplo: barajas al azar las etiquetas de “programa” y “sin programa” y revisas que la brecha falsa se desplome a nada.
20.2.1 El asistente trabaja en bucle, y el bucle necesita una bitácora
No vas a obtener tu análisis con un solo prompt. Escribes un prompt, lees la salida, la interrogas, refinas y vuelves a correr, y las herramientas agénticas ya corren esos ciclos solas: escriben, ejecutan y parchan hasta que algo se ve terminado. La verificación se engancha a cada ciclo, no al último. Un número que sobrevivió a la vuelta cuatro no dice nada sobre el código que lo produjo en la vuelta siete.
Hay una segunda razón para preocuparse, y es la que muerde. Cada nuevo prompt es una bifurcación de tu análisis. Si sigues volviendo a preguntar hasta que la estimación se vea mejor, corriste una búsqueda de especificaciones con cara amable, y la corriste sin contárselo a nadie, ni siquiera a ti. El remedio es barato: lleva una bitácora corrida, una línea por ciclo, que diga qué pediste, qué volvió, y qué cambiaste y por qué. Un asistente que corrió diez variantes silenciosas y reportó la más bonita no es un asistente. Es una búsqueda sin registrar.
Entonces la división del trabajo es esta. El asistente propone verificaciones, escribe código e imprime números, ciclo tras ciclo. Tú decides qué verificaciones cuentan, registras los ciclos y verificas cada número antes de que llegue a tu afirmación. Una herramienta que corrió sin error no ha demostrado que su resultado sea correcto. Verificas el número, no el párrafo sobre el número.
20.3 Un ejemplo resuelto
Estudias si un programa gratuito de asistencia para la búsqueda de empleo, un servicio de cuatro semanas que ayuda a enfocar postulaciones y a ensayar entrevistas, lleva a las personas participantes más rápido a una primera oferta de trabajo. Tu resultado son las semanas desde la inscripción hasta la primera oferta. Tu estimación principal: quienes participaron llegaron a una oferta alrededor de 0.7 desviaciones estándar antes. Usas un asistente analítico para atacarla.
Delegar. Le pides al asistente que recalcule la brecha en una rejilla pequeña: todas las personas inscritas frente a eliminar a las tres que ya tenían una oferta en mano cuando se anotaron (la muestra), promedio frente a mediana de semanas hasta la oferta (la medición), y la brecha cruda frente a una ajustada por la experiencia laboral previa de cada persona (la especificación).
Inspeccionar y verificar. El asistente devuelve ocho números. Todavía no confías en ellos. Recalculas dos filas a mano con una segunda expresión más simple, y coinciden. La dirección se sostiene en las ocho, y la magnitud va de alrededor de 0.5 a 0.9 desviaciones estándar. Tu titular honesto es una dirección más un rango, no un único número halagador. Tres ciclos hicieron falta para que esa rejilla corriera, y los tres están en tu bitácora.
Placebo y red team (revisión adversaria). Le pides al asistente que baraje las etiquetas del programa y vuelva a correr. La brecha falsa vuelve cerca de cero, así que la maquinaria no está fabricando tu efecto. Después le pides, como revisor hostil, la peor falla, una sola. Dice con total confianza que el resultado lo empujan las personas con más experiencia. Tú ya eliminaste al grupo que ya estaba empleado en la verificación de muestra y la brecha se sostuvo, así que los datos refutan esa alerta. La falla que se le escapó es la que importa: las semanas hasta una oferta no son la calidad de la oferta, así que tu afirmación debe quedarse en la velocidad de colocación, no en salarios ni en ajuste al puesto.
El asistente hizo la aritmética. Tú decidiste qué verificaciones contaban y qué alertas confirmaban los datos.
20.4 El laboratorio en Colab
Este capítulo tiene su propio cuaderno de acompañamiento: ábrelo en Colab con la insignia de arriba. El cuaderno reúne los prompts y el código del capítulo y termina con el espacio de trabajo Ahora te toca a ti, para que completes el paso del capítulo en tu proyecto sin salir de Colab. El laboratorio de aula completo detrás de este capítulo es el cuaderno del curso nb10 — Comparte la investigación y ataca el análisis (abrir en Colab), parte del curso de acompañamiento presentado en el apéndice Para docentes. Ahí le delegas a un asistente una rejilla de robustez real, una prueba de placebo y una verificación de influencia, y después arbitras a tres revisores de IA muy seguros de sí mismos contra los datos, y ves cómo dos de sus tres alertas se disuelven apenas una verificación las toca.
20.5 Prompts de IA recomendados
Comprométete primero con tu propia expectativa, y luego delega. Cada prompt es un trabajo verificable, no una solicitud de veredicto.
Propón las verificaciones que se me pudieron escapar.
Here is my robustness grid for one estimate: I vary the sample (all enrollees /
drop those who enrolled with an offer in hand), the measurement (mean / median
weeks to first offer), and the specification (raw gap / adjusted for prior work
experience). Act as a hostile reviewer. Name up to three additional, equally
defensible checks I did NOT list, and for each say which direction you expect it
to move the estimate.Después de ejecutarlo, verifica: contrasta cada propuesta con tus cuatro palancas y confirma que efectivamente puedes calcularla en tus datos. Contrarresta la ilusión de exhaustividad (una rejilla ordenada que aun así omite la única verificación que rompería la afirmación).
Delega el cálculo, mantén los números comprobables.
Recompute my time-to-offer gap under each row of this grid and return a table:
row label, the gap, and the exact columns and filter used for that row.
Do not summarize; show one number and its code path per row.Después de ejecutarlo, verifica: recalcula dos filas a mano con una segunda expresión y confirma que coinciden con la tabla. Contrarresta el método plausible pero equivocado (una fila cuya etiqueta y cuyo código se contradicen en silencio).
Haz que el bucle confiese.
Before I accept this table: list every version of this analysis you ran while
producing it, in order, with what changed each time and why. If you tried a
variant and set it aside, it goes on the list too.Después de ejecutarlo, verifica: compara su lista con tu propia bitácora de ciclos y vuelve a correr cualquier variante que mencione y que tú nunca viste. Contrarresta una búsqueda de especificaciones sin registrar (el bucle probando opciones calladamente hasta que una se ve bien).
Haz red team (revisión adversaria) a la afirmación que sobrevive.
Here is my claim: "the program gets people to a first offer about 0.7 SD sooner."
Act as a hostile reviewer of labor-market program evaluations. Name the single
worst way this result could mislead, and the exact data check that would confirm
or kill it. Do not rewrite my claim.Después de ejecutarlo, verifica: corre la verificación que nombre, y trata la falla como real solo si tu propia salida la confirma. Contrarresta el acuerdo complaciente (elogios que revisan tu ego, no tu evidencia).
Tres decisiones nunca salen de tus manos. Tú decides qué verificaciones cuentan para la afirmación que quieres hacer, qué problemas señalados confirman de verdad los datos y la afirmación final que defiendes, con su límite y su rango. El asistente propone y calcula. La evidencia decide, y tú eres quien lee la evidencia.
20.6 Un caso de falla de la IA
Le entregas tu rejilla a un asistente y devuelve una tabla pulida de ocho filas, cada una cerca de 0.7, y declara que el resultado es “completamente robusto”. La corrida no lanzó ningún error. Aquí está la trampa: sus filas de “mediana” llaman calladamente a la misma función de promedio que las filas de “promedio”, así que cuatro de los ocho números son duplicados con etiquetas distintas. La tabla concuerda consigo misma porque nunca varió la palanca que dice variar. Esto es la ilusión de exhaustividad, una salida de aspecto minucioso a la que le falta lo único que importa, y que se desliza hacia la fabricación confiada, un número enunciado con certeza que nunca salió de la ruta de código que nombra.
Lo detectas recalculando a mano una fila de “mediana”. La verdadera brecha mediana es 0.55, no 0.70. La rejilla exageró cuánto concordaban tus decisiones. Una marca verde no es un resultado correcto.
20.7 Ahora te toca a ti
Tu proyecto tiene código verificado y un primer número. Este paso corre el análisis de verdad con un asistente al lado, y guarda los recibos de cada vuelta del bucle para que tu análisis siga siendo un análisis y no una búsqueda silenciosa.
- Antes de que el asistente toque nada, escribe tu estimación principal en una oración y la respuesta que esperas. Te estás comprometiendo por escrito para que un resultado sorprendente de verdad te sorprenda.
- Entrega una sola tarea bien especificada por vez. Pide el número, las columnas exactas y el filtro detrás de él, nunca un veredicto sobre lo que significa.
- Lleva una bitácora de ciclos sobre la marcha: una línea por vuelta con qué pediste, qué volvió, y qué cambiaste y por qué. Si una herramienta agéntica corrió vueltas que no viste, oblígala a listarlas y agrégalas a tu bitácora.
- Vuelve a derivar por tu cuenta al menos dos números, a mano o con una segunda expresión simple, antes de que ninguno entre en una afirmación.
- Corre un placebo: baraja las etiquetas de tus grupos, vuelve a correr el mismo código sin cambios y confirma que la brecha falsa se desploma cerca de cero.
- Registra el análisis en tu AI Research Ledger (registro de investigación con IA), con la bitácora de ciclos adjunta, y verifica al menos una salida con un método nombrado de la Guía de Verificación. El código alternativo le queda bien a una brecha calculada. Una IA revisora puede hacer la comprobación contigo; la decisión de aceptar o rechazar es tuya.