Temperature y Top P: por qué el mismo prompt da resultados distintos
Dos ajustes ocultos explican por qué un mismo prompt no siempre responde igual. Aprende qué hacen temperature y Top P y cuándo subirlos o bajarlos.
¿Te ha pasado que haces la misma receta de café y cada día sale distinto? Con los LLM pasa algo parecido: el mismo prompt puede producir resultados diferentes por culpa de dos ajustes ocultos, temperature y Top P. Ambos regulan la "creatividad" del modelo, pero funcionan de manera distinta. Los encuentras en el playground de herramientas como Google AI Studio (Top P está en los ajustes avanzados).
Cómo genera texto el modelo
Los LLM predicen la siguiente palabra (token) paso a paso, usando el mecanismo de atención y la ventana de contexto disponible. En cada paso el modelo tiene una distribución de probabilidad sobre los posibles siguientes tokens. Temperature y Top P cambian cómo el modelo elige dentro de ella.
Temperature: el termómetro de creatividad
Controla qué tan aleatoria es la selección de tokens.
- Temperature baja (ej. 0,05): salida consistente, predecible y segura. Mismo formato y estructura, información estable, y sigue las instrucciones al pie de la letra (por ejemplo, respeta los límites de longitud).
- Temperature alta (ej. 1): salida más variada, sorprendente y elaborada, pero se toma libertades con las instrucciones.
El experimento: Caperucita Roja
Genera un cuento similar a Caperucita Roja, tu propia versión, de 250 caracteres.| Ajuste | Resultado |
|---|---|
| Temperature 0,05 | Un cuento mínimo: Caperucita Verde lleva un pastel a su abuela, un zorro la engaña y un leñador los salva. Respetó el límite |
| Temperature 1 | Un cuento más rico: una niña "intrépida", manzanas doradas, el lobo desafiado con un acertijo y final feliz. Rompió el límite de caracteres |
¿Cuándo usar cada nivel?
| Tipo de tarea | Ajuste | Ejemplos |
|---|---|---|
| Precisión y consistencia | Bajo | Análisis de documentos legales, informes financieros |
| Trabajo creativo | Alto | Títulos de video, publicaciones en redes, narrativa |
| Casos mixtos | Medio (experimenta) | Publicación social basada en un artículo científico |
Top P (muestreo por núcleo)
Controla el conjunto de palabras entre las que el modelo puede elegir al construir la respuesta.
- Top P bajo: solo las palabras más probables y seguras, con menos variedad y más repetición.
- Top P alto: un vocabulario más amplio, con más sinónimos y un lenguaje más sofisticado y diverso.
Detalle técnico: Top P conserva el conjunto más pequeño de tokens cuya probabilidad acumulada alcanza P. Por ejemplo, Top P = 0,1 mantiene solo los candidatos principales que cubren el 10% de la masa de probabilidad.
Resultados del experimento: con Top P 0,05 el cuento fue casi idéntico al de temperature baja. Con Top P 1, el modelo inventó un personaje (Luna), añadió diálogo y escribió una narrativa más rica.
Temperature vs. Top P
| Temperature | Top P | |
|---|---|---|
| Controla | Qué tan aleatoria es la elección | Qué palabras son elegibles |
| Valor bajo | Predecible, consistente | Vocabulario seguro y repetitivo |
| Valor alto | Sorprendente, elaborado | Vocabulario diverso y sofisticado |
Otro detalle técnico: temperature remodela la distribución de probabilidad (más plana o más afilada), mientras que Top P la trunca.
¿Se pueden combinar?
Muchas guías recomiendan cambiar solo uno a la vez. En la práctica, combinarlos puede funcionar bien según el problema. Con ambos en 0,05 obtienes el resultado más conservador (corto, predecible y sin sorpresas).
- Informes y análisis: baja ambos para máxima precisión.
- Trabajo creativo: súbelos y luego ajusta a gusto.
- Problemas mixtos: experimenta con combinaciones hasta encontrar el equilibrio.
Un flujo práctico: Google AI Studio permite guardar cada versión y compararlas en el historial, así que funciona como laboratorio de pruebas. Antes de elegir, pregúntate si necesitas precisión o creatividad, y prueba con un problema real.
Ideas clave
- Obtener resultados distintos con el mismo prompt no es un bug: viene de los ajustes de muestreo.
- Valores bajos = control y consistencia. Valores altos = creatividad y variedad, con menos adherencia a las instrucciones.
- Temperature ajusta la aleatoriedad; Top P ajusta el conjunto de vocabulario.
- No hay un ajuste universal: depende de la tarea, así que itera y compara.