La evaluación de IA es la medición estructurada del comportamiento de un sistema de IA —qué tan preciso, seguro, justo y útil es lo que produce— frente a criterios definidos y a un ground truth. Para los LLMs y los agentes de IA se ha convertido en la disciplina que decide si un sistema está listo para salir a producción, no solo si funciona en una demo.
La evaluación clásica de machine learning hacía una pregunta estrecha: ¿con qué frecuencia acierta el modelo? Los sistemas generativos y agénticos hacen que esa pregunta sea insuficiente. Rara vez hay una única respuesta correcta, la salida es abierta, y un mismo modelo puede ser preciso y aun así resultar inseguro, ajeno a la marca, culturalmente equivocado o agotador de usar.
Por eso la evaluación moderna de IA mide el comportamiento en varias dimensiones a la vez. Pregunta si una respuesta está fundamentada en hechos, si trata a los usuarios por igual, si resiste la manipulación, si revela lo que es y —cada vez más— si el usuario consiguió realmente lo que buscaba y cuánto esfuerzo le costó.
La evaluación también es un artefacto de gobernanza. Marcos regulatorios como el Reglamento de IA de la UE y un número creciente de normas sectoriales exigen mediciones documentadas y repetibles de los sistemas de IA de alto riesgo, con suficiente independencia para resultar creíbles ante un auditor.
La evaluación de IA es la medición repetible del comportamiento de un sistema frente a criterios explícitos —riesgo, calidad y experiencia de usuario— para que las decisiones de lanzar, corregir o certificar se apoyen en evidencia y no en impresiones.
La distinción importa porque los equipos confunden habitualmente una con otra. La observabilidad te dice que hubo una conversación, cuánto duró y cuántos tokens consumió; no te dice si la respuesta era cierta, justa o útil. La evaluación sí responde a eso, pero solo sobre las entradas que probaste. El patrón maduro es un bucle: la monitorización saca a la luz tráfico real sospechoso, ese tráfico alimenta nuevos casos de evaluación, y los resultados de la evaluación fijan los umbrales sobre los que alerta la monitorización.
Conjuntos de datos fijos con ground truth conocido, ejecutados repetidamente para comparar versiones del modelo. Reproducible y barato, pero limitado a lo que el benchmark contenga.
Puntuación de muestras de tráfico real, tests A/B y experimentos en vivo. Refleja el comportamiento genuino de los usuarios, a costa de control y de exponerlos a fallos.
Revisores formados que puntúan salidas con rúbricas, ordenan respuestas lado a lado y arbitran desacuerdos. Sigue siendo el patrón oro para la calidad subjetiva.
Un modelo puntúa salidas con una rúbrica a escala. Rápido y consistente, pero debe validarse contra etiquetas humanas o heredará en silencio el fallo que debía detectar.
Intentos deliberados de romper el sistema: jailbreaks, inyección de prompts, peticiones inseguras, manipulación y abuso de casos límite, ejecutados como una suite estructurada y no de forma improvisada.
Juzgar todo un flujo de varios pasos —llamadas a herramientas, decisiones, recuperaciones— en lugar de una única respuesta. La trayectoria pasa a ser el objeto de medición.
Evaluar la recuperación, el enrutado o un prompt de forma aislada localiza defectos; la evaluación extremo a extremo es lo único que predice lo que experimentarán los usuarios.
Un LLM interpreta usuarios realistas —personas, idiomas, estados de ánimo, erratas— para generar grandes volúmenes de conversaciones controladas sin esperar al tráfico real.
Valoración realizada por una parte externa y no por el equipo que construyó el sistema. Corregir tus propios exámenes no es una postura de cumplimiento creíble, y los auditores lo tratan como tal.
Una evaluación útil es dimensional: en lugar de una única puntuación, el sistema se mide sobre un conjunto de propiedades con nombre que pueden aprobar o suspender de forma independiente. Esas dimensiones se agrupan en dos familias: riesgo, que pregunta si el sistema es seguro de desplegar, y rendimiento, que pregunta si es bueno de usar.
Si el sistema afirma cosas que no están respaldadas por sus fuentes ni por los hechos. Se mide contra referencias fundamentadas, no contra la plausibilidad.
Si los resultados o el tono cambian de forma injusta según el perfil demográfico, el idioma o el dialecto cuando la petición subyacente es la misma.
Contenido dañino, abusivo o inseguro, incluidas las formas culturalmente específicas y más sutiles que los filtros por palabras clave no detectan.
Resistencia a la presión adversaria: inyección de prompts, jailbreaks, ingeniería social y patrones de ataque de red-teaming.
Si el sistema puede explicar su razonamiento y revelar sus límites y su naturaleza no humana cuando corresponde.
Si en algún punto de la interacción se solicitan, conservan, repiten o filtran datos personales.
Cuánta fricción sufrió el usuario para conseguir lo que necesitaba. El mejor indicador anticipado del abandono de los canales automatizados.
El camino óptimo frente al camino realmente seguido en un flujo de agente de varios pasos. Difícil de juzgar sin revisión humana y muy diagnóstico.
Si la conversación logró de verdad el objetivo del usuario, junto con la resolución en el primer contacto y la tasa de escalado.
La pendiente del sentimiento a lo largo de la conversación, más que su media: detecta intercambios que empiezan neutros y acaban mal.
Si el agente entendió correctamente lo que el usuario quería antes de actuar.
Con qué frecuencia los usuarios tienen que reformular para hacerse entender. Una señal de fricción que no necesita encuesta.
Mayúsculas, palabrotas, peticiones repetidas e intentos explícitos de hablar con una persona.
Fiabilidad por herramienta en flujos agénticos que llaman a funciones, APIs o sistemas posteriores.
Proporción de acciones del agente que los usuarios tuvieron que deshacer o corregir: la señal de daño más clara en agentes transaccionales.
Algunas dimensiones pertenecen a ambas familias. La desconexión, la inconsistencia conversacional y la desalineación de contexto se leen como indicadores de riesgo para un equipo de cumplimiento («que los usuarios abandonen el asistente señala un problema de confianza») y como indicadores de experiencia para un equipo de producto («que los usuarios abandonen el asistente señala fricción»). La medición es idéntica; solo cambian el encuadre y la decisión que impulsa.
Decidir qué debe medirse y qué cuenta como aprobado, antes de recopilar ningún dato. Sin umbrales definidos, los resultados se convierten en opinión.
Casos curados con ground truth, suites de red-teaming y cobertura representativa de los idiomas, dialectos y situaciones de usuario que el sistema encontrará de verdad.
Reproducir tráfico real o usar usuarios simulados para producir conversaciones controladas de varios turnos, en distintos perfiles y condiciones adversarias, a gran volumen.
Aplicar métricas deterministas donde existe ground truth y juicio por modelo guiado por rúbricas donde no lo hay, con el juez calibrado contra etiquetas humanas.
Revisores nativos del mercado arbitran los casos subjetivos, culturales y de alto riesgo, y auditan una muestra de las puntuaciones automáticas para mantener honesto al juez.
Publicar puntuaciones por dimensión con evidencia, corregir lo que falló y volver a ejecutar la misma suite para que mejoras y regresiones sean directamente comparables.
Bajo las métricas clásicas —exactitud, precisión y exhaustividad, F1, ROUGE y BLEU para texto generado, precisión media para recuperación, perplejidad para modelos de lenguaje— se mantiene el mismo principio: una métrica solo es tan fiable como el ground truth que la sostiene. Consulta nuestra guía de métricas de evaluación de IA para saber cómo elegir entre ellas.
El recuento de tokens y las gráficas de latencia no dicen nada sobre veracidad, equidad o utilidad. La observabilidad es necesaria, pero no suficiente.
Un LLM juez que nunca se ha contrastado con etiquetas humanas puede equivocarse con total confianza justo en los casos que más importan.
Una única puntuación combinada esconde la dimensión que está fallando. Informa por dimensión, por idioma y por segmento.
Los sistemas que se comportan bien en inglés se degradan con frecuencia en otros idiomas y dialectos. La cobertura debe coincidir con la población de despliegue.
Cada respuesta individual puede ser aceptable y la conversación completa seguir fallando al usuario. Los sistemas agénticos hay que juzgarlos de extremo a extremo.
Los modelos, los prompts, las herramientas y el comportamiento de los usuarios cambian. La evaluación es una cadencia, no un control que se supera una vez al lanzar.
Sigma AI ejecuta programas de evaluación independiente para LLMs y agentes de IA: usuarios simulados, juicio por modelo calibrado, conjuntos de datos curados y de red-teaming, y revisión con humano en el bucle por expertos nativos en cientos de idiomas y dialectos. El riesgo y la experiencia se miden con el mismo motor, de modo que los equipos de cumplimiento y de producto trabajan con una única evidencia.
Cuéntanos qué vas a desplegar, dónde y para quién: dimensionamos la evaluación contigo.