30 Preguntas difíciles e incertidumbre
Este capítulo forma parte de un libro en desarrollo activo y todavía no ha pasado por la revisión del autor. El contenido puede cambiar a medida que avanza la revisión.
La decisión de investigación. Decide, antes de que alguien pregunte, cómo vas a decir lo que tu estudio no puede mostrar. Escribes por adelantado la incertidumbre, los límites y las respuestas a las preguntas justas más difíciles, para que la versión que sale de tu boca bajo presión sea la que elegiste y no la que escribió la adrenalina. Esa respuesta la preparas; nunca la improvisas.
30.1 Por qué importa esta decisión
La decisión en juego: cómo vas a decir en voz alta la incertidumbre y los límites de tu estudio, antes de que un desconocido te obligue a la pregunta.
“Cuando alguien me dice, sin que se lo pida, exactamente qué no puede mostrar su estudio, confío más en todo lo demás que dijo. Cuando insiste en que es impecable, empiezo a buscar la grieta por mi cuenta.” — una responsable de políticas públicas que ha escuchado mil pitches de póster
Tu póster está terminado y es honesto. El peligro ahora es tu propia boca. Bajo presión, quien presenta con nervios hace una de dos cosas, y ambas tergiversan la evidencia. Una entierra un hallazgo real bajo disculpas. La otra, atrapada en el momento, asciende un cuidadoso “iban juntos” a un confiado “causó”. La responsable de arriba no está evaluando tu seguridad. Está evaluando si sabes dónde se detiene tu afirmación. Este capítulo te da la respuesta que sobrevive a su pregunta más dura.
30.2 El concepto
La jugada que convierte un límite en una fortaleza tiene nombre: el movimiento ULN, una manera de decir un límite en tres tiempos. Corre incertidumbre, después limitación, después paso siguiente, y cada tiempo es un término que vale la pena definir una vez.
Una declaración de incertidumbre es una frase que dice cuánto podría oscilar tu número, y por qué. Ejemplo: “con 812 personas, mi estimación podría quedar unos puntos más arriba o más abajo”. Una limitación es una frase verdadera sobre lo que tu diseño no puede mostrar. Ejemplo: “medí que dos cosas iban juntas, así que no puedo decir que una haya causado la otra”. Un paso siguiente es el estudio que resolvería esa limitación. Entregado en conjunto, ULN suena a experticia, porque estás nombrando a propósito el borde de tu evidencia.
La falla que ULN previene es la espiral de disculpas: enterrar un hallazgo real y defendible bajo un borrarse a sí mismo del tipo “la verdad esto probablemente esté todo mal, mi muestra es diminuta”. El arreglo es elegir la precisión, nombrar el límite exacto, por encima del vaguedeo, esa autoprotección difusa que borronea dónde se detiene la afirmación. “Esta es una muestra de un solo campus” es precisión. “Más o menos, tómalo con pinzas” es vaguedeo. La precisión informa a quien escucha; el vaguedeo solo te protege a ti.
El segundo instrumento es el banco de preguntas: una lista breve y escrita de las preguntas justas más difíciles que alguien podría hacerte, cada una con una respuesta preparada. Con cinco alcanza para cubrir el espacio, una por tipo recurrente (método, explicación alternativa, y-esto-para-qué, generalización, uso de IA). Cuando no puedas responder una del todo, entregas un no-sé honesto: una admisión con contenido, que nombra lo que no puedes decir, aquello en lo que sí puedes pararte y el método que lo resolvería.
30.3 Un ejemplo resuelto
Trabajas con registros de uso de la aplicación de una pequeña empresa de software. Comparando a la clientela que eligió la barra de herramientas compacta con la que se quedó con la expandida, quienes usan la compacta encontraron la página objetivo una mediana de seis segundos más rápido. En el póster, alguien te hace la pregunta que temías: “¿entonces la barra compacta causa una navegación más rápida?”.
Tu estudio no puede decir eso. Cada persona eligió su propia barra, así que quizá quienes ya eran usuarios avanzados eligieron la compacta y habrían sido rápidos con cualquier diseño. Esa autoselección es un factor de confusión, un tercer factor que moldea tanto la elección como el resultado. Así que entregas la respuesta de dos tiempos. Primero la verdad: “No puedo decir que cause la velocidad, porque quienes usan la compacta quizá ya son usuarios avanzados”. Después el interés: “El estudio que respondería tu pregunta es asignar la barra al azar a usuarios nuevos, y eso es lo que correría después”. Te negaste a la palabra “causa” y le entregaste a esa persona una pregunta de investigación real en lugar de un muro.
30.4 El laboratorio en Colab
Este capítulo tiene su propio cuaderno de acompañamiento: ábrelo en Colab con la insignia de arriba. El cuaderno reúne los prompts y el código del capítulo y termina con el espacio de trabajo Ahora te toca a ti, para que completes el paso del capítulo en tu proyecto sin salir de Colab. El laboratorio de aula completo detrás de este capítulo es el cuaderno del curso nb12 — Poster delivery: pitches, uncertainty, and the questions you fear (entrega del póster: pitches, incertidumbre y las preguntas que temes) (abrir en Colab), parte del curso de acompañamiento presentado en el apéndice Para docentes. Ahí corres un detector de espiral de disculpas que cuenta las palabras que se borran a sí mismas en tres entregas de muestra, y después pegas tu propia frase de incertidumbre y limitaciones y llevas su conteo de señales a cero. También construyes tu banco de cinco preguntas y ensayas la respuesta causal contra tu propio proyecto.
30.5 Prompts de IA recomendados
Comprométete primero con tu propia respuesta y después delega. Cada prompt de abajo es una tarea verificable, no una petición de aprobación.
Estos funcionan mejor como conversación. Pregunta, lee, después nombra lo que la respuesta evitó y pregunta de nuevo. Un banco de preguntas construido en tres rondas es notablemente más duro que uno construido de una sola pasada. Cuando una herramienta corre esas rondas por su cuenta, las preguntas llegan ya pulidas, y por eso contrastas la lista con la pregunta que de verdad temes, y no al revés.
Enumera tus preguntas más difíciles, para contrastarlas con tu propio miedo.
Play a skeptical but fair conference visitor. My project: "[one-paragraph summary
of question, design, and headline finding]". Write the single hardest FAIR question
for each type: method, alternative explanation, why-it-matters, generalization,
AI-use. For each, flag whether an honest two-sentence answer exists.Después de ejecutarlo, verifica: compara las cinco con la única pregunta que escribiste y que más temes. Si falta, el conjunto no está completo. Contrarresta la ilusión de exhaustividad (unas cinco muy ordenadas que omiten justo la pregunta que temes).
Fuerza a que la incertidumbre salga a la luz.
Here is my headline number and how I got it: "[paste]". Do not restate it.
List what is missing before I can state its uncertainty honestly: the sample
size, the source of wobble, and the one limitation a reviewer would raise first.Después de ejecutarlo, verifica: confirma cada punto contra tus propios datos antes de decirlo en voz alta. Contrarresta la incertidumbre ausente (un número limpio reportado sin ningún margen).
Haz red team (revisión adversaria) a tu respuesta.
Here is my two-sentence reply to "does it cause it?": "[paste]". Act as a hostile
reviewer. Name every word that still claims more than an association supports.
Do not rewrite it for me.Después de ejecutarlo, verifica: si solo elogia la respuesta, insiste y exige la única peor palabra. Contrarresta la adulación complaciente (el elogio revisa tu ego, no tu evidencia).
Tres decisiones nunca salen de tus manos: qué afirmación respalda realmente tu evidencia, dónde tiene que detenerse esa afirmación y cómo reconoces su incertidumbre y sus limitaciones. La herramienta puede redactar una pregunta o señalar una palabra, pero solo tú decides la posición en la brújula que tu diseño puede sostener y la única palabra que debes rechazar en voz alta. Tu no-sé honesto es tuyo para sostenerlo, no para recitarlo.
30.6 Un caso de falla de la IA
Pegas tu limitación en una herramienta de IA y le pides que la “haga sonar más segura para el póster”. Devuelve una frase fluida y pulida: “La barra de herramientas compacta mejora la velocidad de navegación, con resultados sólidos entre usuarios”. Corre limpia, se lee bien y está mal. La herramienta cambió en silencio “se asoció con tiempos más rápidos” por “mejora”, y “mejora” es un verbo causal que tus registros observacionales no pueden sostener. Este es un cambio silencioso de alcance disfrazado de edición útil.
Lo detectas leyendo el verbo de la IA contra el titular de tu póster, palabra por palabra. Tu titular dice “se asoció con”. La reescritura dice “mejora”. El tipo de afirmación se movió mientras la frase se ponía más bonita. Te quedas con tu propio verbo y registras que el pulido infló la afirmación.
30.7 Ahora te toca a ti
Ya puedes decir tu afirmación en dos longitudes; este paso prepara la parte de la conversación que no controlas.
- Escribe las cinco preguntas justas más difíciles que alguien podría hacerte, una por cada tipo: método, explicación alternativa, y-esto-para-qué, generalización, uso de IA.
- Redacta una respuesta de dos frases para cada una y márcala como defender o conceder. Una respuesta de conceder nombra la afirmación más angosta a la que te replegarías en el momento.
- Escribe tu declaración de incertidumbre y limitaciones en forma ULN: cuánto podría oscilar tu número y por qué, la única cosa que tu diseño no puede mostrar y el estudio que lo resolvería.
- Léela en voz alta y corta cada palabra que te borra, reemplazándola por el límite exacto que estaba escondiendo. Después escribe completo un no-sé honesto, para la pregunta que más temes.
- Regístralo en tu AI Research Ledger (registro de investigación con IA) y verifica al menos una respuesta preparada con un método nombrado de la Guía de Verificación, por ejemplo el razonamiento con pares. Un revisor de IA puede hacer la comprobación contigo; la decisión de aceptar o rechazar sigue siendo tuya.