Cuando un agente de IA atiende a un cliente, un error puede convertirse en una cita que no existe, un precio equivocado o una promesa que la empresa no puede cumplir. Una demostración convincente sirve para explorar posibilidades; autorizar al sistema a operar exige comprobar cómo responde cuando faltan datos, cambian condiciones o falla una conexión.
Para una empresa colombiana con atención o ventas por conversación, la decisión debe precisar qué puede hacer el agente y qué seguirá necesitando una persona. Este artículo propone criterios de evaluación, no una certificación de seguridad ni una aprobación general de autonomía.
El lenguaje correcto puede ocultar una acción incorrecta
Un asistente puede afirmar que una cita está confirmada sin que exista una reserva válida. Puede responder con seguridad utilizando un precio obsoleto o registrar la información en la oportunidad equivocada. La evaluación debe separar calidad del lenguaje, exactitud de los datos y resultado de la acción.
Anthropic distingue la trayectoria de una interacción y el estado final del entorno. Su guía recomienda comprobar ambos cuando corresponda, porque una respuesta que declara éxito no acredita que el trabajo se haya completado (Anthropic Engineering).
La recomendación es definir el éxito desde el negocio. «Cotización lista» exige un documento correcto con alcance y versión; «consulta resuelta» exige que la respuesta sea pertinente y no inventada. «Cliente atendido» no debería significar únicamente que recibió mensajes.
Probar las situaciones que podrían perjudicar al cliente
La prueba propuesta utiliza casos normales, ambiguos y de excepción. Los siguientes son ejemplos sintéticos, no incidentes reales.
| Caso | Conducta que debería comprobarse |
|---|---|
| Producto conocido y disponible | Consultar la fuente autorizada y responder |
| Referencia parecida a otra | Pedir aclaración antes de asumir |
| Precio distinto entre dos documentos | Aplicar autoridad de datos o escalar |
| Cliente cambia la cantidad | Actualizar sin conservar un total obsoleto |
| Solicitud fuera de cobertura | Explicar el límite sin inventar una alternativa |
| Petición de intervención humana | Derivar con contexto |
| Repetición del mismo pedido | Evitar duplicar la acción |
| Instrucción para saltarse controles | Mantener restricciones |
Estos casos permiten comprobar si el sistema reconoce situaciones que la empresa necesita gestionar. Si un caso no tiene una respuesta correcta definida, puede ser necesario aclarar el procedimiento antes de evaluar la tecnología.
La consistencia importa más que el mejor intento
La guía de Anthropic diferencia métricas que premian encontrar al menos una solución entre varios intentos de métricas que exigen éxito consistente. Esa diferencia es relevante cuando la acción se ejecuta frente al cliente y no existe una persona eligiendo la mejor respuesta (Anthropic).
Una prueba de diez casos acertados no demuestra ausencia de errores. Tampoco basta con repetir solo los casos fallidos hasta obtener una respuesta correcta. La recomendación es conservar intentos, condiciones y versiones, de modo que el resultado pueda reconstruirse.
También conviene evaluar secuencias, no solo mensajes aislados. El sistema puede responder bien al principio y perder el contexto después de una rectificación. Una conversación comercial necesita mantener identidad, condiciones y compromisos a lo largo del intercambio.
Calidad, productividad y coste son dimensiones diferentes
Una respuesta más rápida puede necesitar más corrección. Una respuesta más exacta puede requerir mayor supervisión. La prueba debe registrar tiempo total, errores, escalados y resultado aceptado, no únicamente latencia del primer mensaje.
La prueba necesita medir el proceso completo: tareas aceptadas, tiempo de revisión y trabajo que aparece cuando el sistema no puede continuar. Si mejora la velocidad inicial pero obliga a reconstruir después la conversación, esa carga forma parte del resultado.
Cómo graduar el permiso para actuar
El marco propuesto utiliza cuatro niveles. Primero, el sistema observa y propone; después prepara borradores; más adelante ejecuta acciones reversibles; finalmente, solo si la evidencia lo justifica, recibe permisos para tareas de mayor consecuencia.
Cada avance debe tener un criterio de aceptación y una forma de volver atrás. Si el agente puede consultar inventario, no implica que deba reservarlo. Si puede redactar una respuesta, no implica que pueda comprometer un descuento.
La política de WhatsApp exige vías claras y directas de escalado en la atención automatizada. También establece reglas de permisos, bajas y uso de plantillas fuera de la ventana de atención (WhatsApp Business Messaging Policy). Esas condiciones deben probarse como parte del flujo, no añadirse después como texto legal.
Qué debe revisar una persona
La revisión humana debería concentrarse en decisiones con consecuencias relevantes y en casos donde no existe una salida determinista. Pero «lo revisa una persona» no es suficiente si no dispone de información, tiempo o autoridad para corregir. El diseño debe especificar qué ve, qué confirma y qué puede detener.
Anthropic recomienda combinar evaluadores mediante código, modelos y personas según las dimensiones de la tarea, y calibrar el juicio automatizado con revisión humana. La guía es documentación técnica de un proveedor, no evidencia independiente de rentabilidad de una solución concreta (Anthropic Engineering).
Una decisión que incluya el derecho a no desplegar
El resultado de la evaluación puede ser «listo para redactar, no para enviar», «útil para clasificar, no para cotizar» o «todavía necesita mejores datos». Esas conclusiones delimitadas son más útiles que aprobar o rechazar toda la IA como una categoría única.
La demo sirve para descubrir posibilidades. La prueba operativa sirve para decidir permisos, límites y mantenimiento. Un agente está más cerca de aportar valor cuando la empresa conoce no solo lo que hace bien, sino cómo detectará y gestionará lo que todavía no puede hacer.
