Revisar conversaciones y auditar el asistente

Una de las ventajas clave de killari.ai es que cada respuesta del asistente queda completamente registrada: qué fragmento de conocimiento se usó, con qué puntuación de relevancia, si se aplicó una respuesta guiada, qué herramientas invocó el agente y cuánto tardó. Este registro permite a supervisores y administradores mantener la calidad del asistente con datos reales.

Acceder al panel de conversaciones

Ve a Admin → Conversaciones (visible para administradores y supervisores). Verás la lista de conversaciones ordenadas por fecha, con filtros por versión de agente, rango de fechas y usuario.

Qué puedes ver en cada conversación

Al abrir una conversación, obtienes la transcripción completa junto con metadatos de cada turno:

• Fragmentos de conocimiento usados: qué fragmentos del cerebro recuperó el asistente, de qué fuente provienen y con qué puntuación de relevancia.
• Respuesta guiada aplicada: si el turno activó una respuesta guiada, indica cuál y de qué tipo (literal, libre u orientada a objetivo).
• Herramientas invocadas: las acciones que el agente ejecutó durante el turno, como buscar en el conocimiento, consultar documentos o acceder a una integración.
• Latencia: cuánto tardó el asistente en responder, útil para detectar cuellos de botella.
• Verificación de grounding: si está activada, una indicación de si la respuesta está respaldada por las fuentes o no.

Identificar respuestas que necesitan mejora

El panel de auditoría te permite detectar tres tipos de situaciones que requieren atención:

1. El asistente dice que no tiene información: puede indicar que la fuente existe pero no está bien indexada, o que directamente falta.
2. La respuesta usa un fragmento de baja relevancia: el asistente respondió con lo más parecido que encontró, pero no es la fuente correcta.
3. El asistente no aplicó la respuesta guiada que debería: el umbral de similitud no alcanzó para activarla, o la respuesta guiada no está configurada.

Actuar desde la auditoría

Desde la vista de un mensaje puedes:

• Excluir un fragmento del cerebro con un clic, para que no vuelva a usarse en futuras respuestas. Consulta Excluir un fragmento del cerebro para más detalles.
• Ir a la fuente original: si el fragmento proviene de un PDF o documento, puedes abrir la fuente para verificar si el contenido es correcto, está desactualizado o necesita corregirse.
• Tomar nota para el ciclo de mejora: si identificas una brecha de conocimiento, puedes actualizar la fuente y reiniciar la ingesta. Consulta Ciclo de mejora del conocimiento.

Auditoría de cambios del operador

El registro de auditoría no solo cubre las conversaciones del chat. También registra los cambios que realizan los operadores: creación o eliminación de fuentes, modificación de respuestas guiadas, cambios en versiones de agente y altas o bajas de operadores. Estos registros son accesibles desde Admin → Auditoría y son especialmente relevantes para organizaciones del sector público que necesitan trazabilidad completa de quién modificó qué y cuándo.