24 Reconocer la falsa confianza
Este capítulo forma parte de un libro en desarrollo activo y todavía no ha pasado por la revisión del autor. El contenido puede cambiar a medida que avanza la revisión.
La decisión de investigación. Cuando una herramienta te entrega un hallazgo fluido y seguro, tú decides si su confianza cuenta como evidencia (nunca cuenta) y qué verificación independiente corres sobre el número que hay debajo antes de repetir esa afirmación como tuya. Nada de lo segura que suene la oración te dice si es verdadera.
24.1 Por qué importa esta decisión
La decisión sobre la mesa: qué le exiges a un resultado que suena seguro antes de ponerle tu nombre.
Imagina a la bióloga pesquera que revisa informes de restauración de arroyos para una agencia estatal. Cada año lee resúmenes que anuncian éxitos en prosa pulida y segura. Su estándar es directo: “Yo no actúo sobre la oración. Actúo sobre el número que hay detrás. Muéstrame la medición, cómo calculaste el cambio, y por qué el crédito se lo lleva el proyecto.” Un párrafo seguro no mueve a nadie que haya leído cien párrafos seguros. Lo que sí mueve es un número que recalculaste y puedes defender. Una IA como socia te va a escribir un hallazgo hermoso y de tono seguro en segundos. Tu trabajo es tratar esa confianza como si no valiera nada hasta que hayas revisado lo que hay debajo.
24.2 El concepto
La trampa tiene nombre. La falsa confianza es cuando una salida fluida y detallada te hace sentir seguridad sobre algo que en realidad nunca verificaste. Ejemplo: un resumen de IA reporta que una limpieza de arroyo “redujo el nitrato en aproximadamente 40 por ciento”, y la cifra nítida y la redacción suave hacen que la afirmación se sienta resuelta antes de que hayas mirado una sola medición.
Dos hábitos vuelven peligrosa la trampa. El sesgo de automatización es la tendencia a confiar de más en un sistema automatizado y dejar de revisar, precisamente porque la respuesta la produjo una máquina. Ejemplo: revisarías dos veces la aritmética de un compañero de laboratorio, pero pegas el porcentaje de la IA directo en tu informe porque “lo calculó la herramienta”. La ilusión de comprensión es confundir una explicación suave con comprensión real. Ejemplo: asientes mientras la IA te lleva línea por línea por su cálculo, y después te das cuenta de que no podrías defender el número ante la revisora de la agencia sin volver a correrlo por tu cuenta.
El bucle empeora esto, no lo mejora. Hoy rara vez te detienes en una primera respuesta. Escribes un prompt, lees, refinas y vuelves a correr, y las herramientas agénticas giran esos ciclos solas. Cada pasada vuelve más limpia y más segura que la anterior, y ese pulido se siente como convergencia hacia la verdad. No es nada de eso. Un número que estaba mal en la vuelta uno suele seguir mal en la vuelta seis, solo que mejor vestido. La confianza crece a lo largo del bucle, con o sin exactitud, así que revisa el número en la vuelta que de verdad piensas usar.
La regla que le gana a todo esto es corta: verifica el número, no el párrafo. La verificación es una comprobación independiente, hecha por un método fuera del modelo, de que un resultado es efectivamente verdadero. Ejemplo: en vez de confiar en el “40 por ciento” de la IA, recalculas el promedio de nitrato antes y después de la limpieza a partir de las lecturas crudas y ves qué muestran de verdad los datos. Código que corre sin errores no es lo mismo que código correcto, y un resumen que se lee precioso no es lo mismo que un resumen correcto.
24.3 Un ejemplo resuelto
Estudias un arroyo pequeño donde el año pasado se instaló una franja ribereña (una banda de árboles y pastos plantada a lo largo de la orilla para filtrar la escorrentía). Tienes lecturas semanales de nitrato (el nitrato es un nutriente proveniente de los fertilizantes que, en exceso, alimenta floraciones de algas y le quita oxígeno al agua), medidas en miligramos por litro, del año anterior a la plantación y del año posterior. A la agencia le importa porque el oxígeno bajo mata las truchas que la restauración quería traer de vuelta.
Le pides a una IA que resuma el conjunto de datos. Devuelve: “La franja ribereña redujo el nitrato promedio en cerca de 40 por ciento, un claro éxito ambiental.” La oración es fluida y segura. Aquí es donde ganaría la falsa confianza: sientes el alivio de un resultado limpio y estiras la mano para citarlo.
En vez de eso, verificas el número. Calculas el nitrato promedio de las semanas “antes” y el de las semanas “después”, y restas. Supón que el promedio de antes es 8.1 mg/L y el de después es 6.9 mg/L. La caída real es de 1.2 mg/L, alrededor de 15 por ciento, no 40. El resumen seguro exageró el cambio en más del doble. Detrás del pulido se escondía además un segundo problema: las lecturas vienen de un solo sitio sin arroyo de comparación, así que ni siquiera el 15 por ciento verdadero puede atribuirse solo a la franja. Una primavera lluviosa o un cambio en las prácticas de fertilización río arriba podrían mover el nitrato otro tanto. Te quedas con el hallazgo que puedes defender, “el nitrato bajó alrededor de 15 por ciento en este sitio a lo largo de un año”, y descartas tanto la cifra inflada como la palabra “éxito”.
24.4 El laboratorio en Colab
Este capítulo tiene su propio cuaderno de acompañamiento: ábrelo en Colab con la insignia de arriba. El cuaderno reúne los prompts y el código del capítulo y termina con el espacio de trabajo Ahora te toca a ti, para que completes el paso del capítulo en tu proyecto sin salir de Colab. El laboratorio de aula completo detrás de este capítulo es el cuaderno del curso nb01, Investigar en la era de la IA: tu brazo, tu asistente, no tu cerebro (abrir en Colab), parte del curso de acompañamiento presentado en el apéndice Para docentes. En el laboratorio corres un pequeño estudio aleatorizado, te encuentras con un resumen seguro de una línea que afirma un efecto grande, y recalculas la brecha real en los datos para ver cómo el resumen la exagera. Después le haces red team (revisión adversaria) a un hallazgo que escribiste y atrapas a una IA que elogia tu oración en vez de ponerla a prueba.
24.5 Prompts de IA recomendados
Comprométete primero con tu propia expectativa, y luego delega. Cada prompt entrega una tarea que puedes verificar, con una nota de verificación que nombra la falla contra la que te protege.
Apunta al número real (tú lo recalculas).
Here is a cell that computes average nitrate before and after a buffer was
installed and prints both means: [paste it]. Tell me which single printed number
is the actual change, and state plainly whether a "40 percent reduction" summary
is or is not that number. Do not rerun it; I will read my own output and compare.Después de ejecutarlo, verifica (contrarresta la fabricación confiada): un resumen fluido puede enunciar un número que los datos nunca produjeron. Lee los dos promedios que imprimió tu celda y calcula el cambio por tu cuenta. Si no coincide con la cifra de la IA, confía en tu impresión.
Saca a la fuerza la incertidumbre (tú revisas la cota).
For the before/after nitrate change in my data, rate how firm the estimate is.
Give a plausible range, and name what drives the uncertainty: the sample size, the
week-to-week scatter, and the lack of a comparison stream.Después de ejecutarlo, verifica (contrarresta la incertidumbre faltante): si un resultado llega como un hecho limpio y sin cota, supón que la incertidumbre se cayó por el camino, no que no había. Confirma el rango contra la dispersión que puedes ver en tus propias lecturas.
Haz red team (revisión adversaria) a tu hallazgo (tú te quedas con la afirmación).
Here is my finding: "[paste your sentence]." Act as a hostile reviewer for a state
fisheries agency. Name every place it reaches past one site and one year of data.
Do not rewrite it for me; list the weaknesses.Después de ejecutarlo, verifica (contrarresta el acuerdo complaciente): si todas las objeciones son suaves, o si califica tu oración de “bien equilibrada”, insiste y pide la peor falla, una sola.
Estas siguen siendo tuyas, por segura que suene la herramienta. Decidir qué afirmación sostiene de verdad el número verificado, y hasta dónde llega esa afirmación. Juzgar si tu diseño te permite darle el crédito del cambio a la franja ribereña, o solo te permite reportar que el nitrato bajó. Enunciar la incertidumbre y los límites con tus propias palabras. La herramienta puede redactar un resumen; decidir si ese resumen es verdadero, y responder por él, es trabajo de quien investiga.
24.6 Un caso de falla de la IA
Le pides a la IA que “resuma lo que muestra este conjunto de datos de calidad del agua”, y devuelve un párrafo seguro que termina en “una reducción del 40 por ciento, un claro éxito”. Cada parte se lee como un hallazgo citable: una cifra redonda, un veredicto firme, sin matices.
Así es exactamente como lo detectas. No repites el párrafo. Calculas los dos promedios de grupo a partir de las lecturas crudas y restas, y el cambio real es de alrededor de 15 por ciento y no de 40. Después preguntas qué autoriza el diseño: un solo sitio, sin arroyo de control, un solo año, así que incluso el honesto 15 por ciento podría venir del clima y no de la franja. El resumen seguro falló dos veces, una en el número y otra en el alcance causal, y ambas fallas fueron invisibles hasta que verificaste fuera del modelo.
24.7 Ahora te toca a ti
Tu proyecto tiene una estimación, un rango, pruebas negativas y una revisión adversaria detrás. Este paso vuelve la auditoría hacia ti y produce la única oración que tu evidencia puede sostener de verdad.
- Lista cada número que hay ahora en tu proyecto y que no hayas recalculado personalmente. La lista suele ser más larga de lo que esperas. Recalcula cada uno o sácalo.
- Para tu número principal, escribe de dónde viene realmente tu confianza en él: de tu propio recálculo, del resumen fluido de una herramienta, o del hecho de que coincidió con lo que esperabas. Solo lo primero cuenta como razón.
- Escribe tu oración de límite, la afirmación que tu diseño autoriza y nada más allá. Nombra la unidad, el escenario, el período de tiempo, y si puedes atribuir una causa o solo puedes reportar que algo cambió.
- Nombra el lugar donde es más probable que dejes pasar sin revisar una respuesta segura, y escríbelo. Esa admisión es donde se gestiona el sesgo de automatización.
- Adopta una regla permanente para el resto del proyecto: ningún número reportado por una IA llega a tu artículo, tu nota o tu póster hasta que lo hayas recalculado por un segundo método.
- Registra la auditoría en tu AI Research Ledger (registro de investigación con IA), y verifica tu número principal con un método nombrado de la Guía de Verificación. El cálculo directo es aquel sobre el que está construido este capítulo: recalcula los promedios a mano, resta, y mira si la cifra segura sobrevive. Una IA revisora puede hacer la comprobación contigo; la decisión de aceptar o rechazar es tuya.