Creartísimo · Yolanda
Cómo evaluar un sistema de IA personalizado: criterios, límites y resultados
Que una IA conteste con soltura no demuestra que conteste bien. La evaluación consiste en ponerla frente a situaciones reales de tu negocio y comprobar si responde lo correcto, si pasa la conversación a una persona cuando debe y si evita inventar.
Yolanda es la base que Creartísimo adapta a cada empresa, y esta guía propone cómo medirla antes de ampliar su responsabilidad.
Criterios que se pueden observar
Cuántas respuestas de una muestra son correctas según tu equipo. Cuántas veces derivó a una persona cuando correspondía y cuántas veces lo hizo sin necesidad. Y si alguna vez afirmó algo que no estaba en el conocimiento cargado.
Comparar con la situación anterior
Se toma una lista de consultas reales de las últimas semanas y se anota cómo las resolvía el equipo. Después se plantean las mismas al agente y se comparan las respuestas. Esa comparación pesa más que cualquier promedio general.
Límites reales
El agente sabe lo que se le cargó. Si un precio cambió y nadie lo actualizó, contestará con el anterior. Sin conocimiento sobre un tema debe derivar y no improvisar. Tampoco reemplaza el criterio de una persona en reclamos, excepciones o decisiones comerciales.
Costos y decisiones aparte
Se cotizan por separado la preparación de conocimiento muy extenso, las conexiones con herramientas particulares y lo que cobren terceros, como los modelos de IA o las plataformas de mensajería. Qué responsabilidad se le amplía al agente es una decisión del negocio.
Cuándo ampliar o corregir
Si las respuestas correctas se sostienen y las derivaciones son adecuadas, se le suma otra área. Si los errores se concentran en un tema, se corrige ese conocimiento antes de darle más tareas.
Preguntas frecuentes
¿cómo sé si mi IA personalizada está respondiendo bien?
Toma una muestra de consultas reales y pide a tu equipo que califique cada respuesta. Revisa además cuántas veces derivó a una persona cuando debía y si en algún caso afirmó algo que no estaba en su conocimiento. Si las respuestas coinciden con lo que diría tu mejor empleado y los casos difíciles llegan a una persona, va por buen camino.
¿qué límites tiene un agente de IA personalizado?
Solo sabe lo que se le cargó y responde según las reglas definidas. Si algo cambió y nadie lo actualizó, usará la información anterior. Ante un tema sin conocimiento debe derivar, no inventar. Y no reemplaza el criterio de una persona en reclamos, excepciones o decisiones comerciales, que siguen siendo humanas.
¿qué resultados puedo medir razonablemente?
Respuestas correctas dentro de una muestra, derivaciones adecuadas y casos en que inventó algo. No prometemos porcentajes. Antes de empezar, elige uno o dos indicadores propios, mídelos con las consultas que hoy recibe tu equipo y repite la medición después con los mismos criterios. La decisión de ampliar debe apoyarse en tu propia operación.
¿qué hago si el agente se equivoca en un tema?
Se identifica si el error viene de conocimiento faltante, de una regla mal definida o de una excepción que nadie documentó. Se corrige esa pieza y se vuelve a probar con las mismas preguntas. Mientras tanto, se puede indicar que ese tema se derive siempre a una persona. Corregir un tema a la vez es más seguro que ajustar todo junto.
¿hay costos que no estén incluidos?
Sí. La preparación de conocimiento muy extenso, las conexiones con herramientas particulares y lo que cobren terceros, como los modelos de IA o las plataformas de mensajería, se cotizan según el caso y por escrito. No publicamos cifras fijas porque dependen del volumen de información y de cuántos canales haya. Conviene pedir ese desglose durante la evaluación.
Quién lo implementa
Creartísimo es una empresa de Panamá (Creartísimo, S.E.P., Registro Público folio N.º 155790759) con Creartisimo LLC en Estados Unidos, proveedor de tecnología de WhatsApp de Meta. Entra en la operación, adapta Yolanda a los procesos reales de la empresa y capacita al equipo en español. Yolanda también se usa desde ChatGPT y Claude como conector.
También te puede servir
- Cómo evaluar un sistema al que le preguntas: criterios, límites y resultados
- Cómo evaluar un sistema comercial más allá del CRM: criterios, límites y resultados
- Cómo evaluar un sistema multi-sucursal: criterios, límites y resultados
- Cómo evaluar el contexto unificado de tu empresa: criterios, límites y resultados
- Cómo evaluar los avisos del negocio en un solo chat: criterios, límites y resultados
- Cómo evaluar la gestión de tu empresa desde WhatsApp: criterios, límites y resultados