Evaluar las respuestas de un LLM antes de automatizar un prompt
Evaluar es lo que separa un prompt improvisado de una automatización confiable. Aprende la regla de los 10 casos, los cuatro criterios y cómo usar un segundo modelo como verificador.
Evaluar la salida de un LLM es el paso que separa un prompt improvisado de una automatización confiable. El objetivo es dejar de revisar cada respuesta a mano; para eso necesitas un método claro para medir la calidad y saber cuándo un segundo modelo debe actuar como verificador.
¿Debo evaluar este prompt?
Depende de si la tarea es puntual o recurrente.
- Tarea puntual (por ejemplo, consultar una ley una sola vez): suele bastar una revisión manual rápida.
- Tarea recurrente (por ejemplo, escribir el asunto del correo semanal a clientes): la evaluación es obligatoria antes de automatizar.
Regla práctica: ejecuta el prompt unas 10 veces con entradas distintas.
| Resultado | Qué hacer |
|---|---|
| 10/10 cubren tu caso de uso | Es seguro automatizar |
| 8–9/10 | Sigue refinando el prompt |
| Menos de 8 | El prompt aún no está listo |
Los cuatro criterios de evaluación
Úsalos como filtro antes de llevar un prompt a un GPT personalizado, un agente o un flujo de trabajo (por ejemplo, n8n). No todos los criterios pesan igual para cada tarea.
| Criterio | Pregunta que responde | Cuándo importa más |
|---|---|---|
| Consistencia | ¿El prompt entrega el mismo tipo de resultado en las 10 pruebas? | Cualquier automatización recurrente. Sin ella no puedes desentenderte de la tarea |
| Precisión | ¿El contenido es factualmente correcto y fiel a la fuente? | Analizar archivos, generar informes, extraer acciones de reuniones. Importa poco en lluvia de ideas o ficción |
| Relevancia | ¿La salida se mantiene en lo pedido, sin desviarse a secciones que no corresponden? | Informes estructurados, resúmenes, entregables con plantilla |
| Claridad | ¿La salida respeta las restricciones del prompt (límite de caracteres, tono, voz)? | Todo lo que tenga requisitos de formato o estilo: asuntos de correo, publicaciones, voz de marca |
Elige qué criterios importan para tu tarea: la precisión es crítica para un asistente legal y casi irrelevante para un cuento corto.
Validación cruzada entre modelos
Consiste en llevar la misma consulta a un segundo LLM para verificar la respuesta del primero. Es útil cuando un LLM dice "no encuentro esa información" pero sospechas que sí está en el documento: te permite detectar alucinaciones o falsos negativos sin leer toda la fuente.
Caso práctico: Gemini vs. ChatGPT. En Gemini se armó un asistente legal sobre la Ley de Instituciones de Crédito, el Anexo 63 y el Diario Oficial, con tres reglas: actuar como asistente legal, basar las respuestas solo en los documentos adjuntos y responder "no tengo esa información" si no encuentra nada. Al preguntar por la custodia de información, Gemini dijo que la ley no la menciona.
Validación paso a paso:
- Sube la misma ley a ChatGPT.
- Reformula la pregunta para eliminar ambigüedad (por ejemplo, "¿existe alguna ley sobre custodia de información?").
- Usa el modelo en modo automático para que elija cuánto razonamiento aplicar.
- ChatGPT encontró regulación sobre custodia y conservación de información, citando los artículos 124 y 79.
- Vuelve a Gemini y pídele que verifique que esos artículos dicen realmente eso. Gemini lo confirmó.
¿Por qué discreparon? Gemini buscó los términos literales y perdió el matiz; ChatGPT entendió la intención detrás de la pregunta.
Si dos LLM no coinciden:
- Reformula la pregunta en cada modelo.
- Pídeles a ambos que citen el pasaje exacto del documento.
- Contrasta cada cita en el otro modelo.
- Si ninguno puede producir la fuente literal, asume una probable alucinación.
Reevalúa tus prompts con regularidad
Los modelos cambian sin aviso. Incluso cuando el nombre se mantiene (GPT-4, GPT-5, Opus 4.1, Sonnet), los proveedores ajustan elementos internos que pueden alterar el comportamiento de un día para otro. Tu rol pasa de hacer la tarea a verificar que la IA siga haciéndola bien y corregir el prompt cuando deja de cumplir tus criterios.
Antes de automatizar, la pregunta básica
¿Este problema realmente necesita IA? Construir, evaluar y mantener un prompt confiable toma tiempo. A veces una plantilla, una macro o un proceso manual bien definido lo resuelve de forma más simple y barata.
Checklist rápido
- ¿La tarea es recurrente? (Si no, quizá no haga falta evaluar.)
- ¿Realmente necesito IA o bastaría una plantilla o macro?
- ¿Cuáles de los 4 criterios importan más para esta tarea?
- ¿Probé con ~10 entradas distintas?
- ¿Volví a probar los 10 casos tras la última edición?
- Para información crítica, ¿validé de forma cruzada con un segundo modelo?
- ¿Ambos modelos citaron el pasaje exacto de la fuente?
- ¿Tengo agendada una revisión semanal?
Glosario rápido: la validación cruzada es usar un segundo LLM para verificar la salida del primero; la búsqueda literal busca palabras exactas y la semántica entiende la intención (una causa común de falsos "no encontrado"); y una regresión de prompt es un prompt que funcionaba antes pero falla tras una edición o una actualización silenciosa del modelo.
Ideas clave
- Evalúa antes de automatizar: unas 10 pruebas con entradas distintas, y repítelas tras cada cambio.
- Elige los criterios que importan: consistencia, precisión, relevancia y claridad.
- Para información crítica, valida con un segundo modelo y exige la cita exacta.
- Reevalúa cada semana: los modelos cambian sin avisar.
- Pregúntate si el problema realmente necesita IA.