CASO DE USO EN PRODUCCIÓN

API de IA para chatbots de soporte

Un cliente de SaaS pregunta por qué se cobró una factura dos veces. El servicio obtiene la política de cobro vigente y el estado de la factura con datos sensibles ocultos. El modelo responde con esas fuentes o devuelve un objeto de escalado.

Chatbot de soporte con políticas aprobadas y escalado humano
API de IA para chatbots de soporte

Implementación para producción

API, modelo principal y configuración alternativa

Elección para producciónRecomendaciónPor qué
APIPOST /v1/chat/completionsSolicitud del servidor compatible con OpenAI
Modelo principalgemini-2.5-flashGemini 2.5 Flash es la opción inicial para muchas consultas con reglas claras de respuesta y escalado. Comprueba el idioma y el cumplimiento de políticas con tus propios casos.
Modelo alternativogpt-5.6-terraUsa Terra como alternativa probada cuando Flash no cumpla las reglas de respuesta. Envía conflictos de políticas complejos o casos de cuenta con varias herramientas a Sol o a una persona.
Modelo para tareas más difícilesgpt-5.6-solÚsalo solo si la ruta principal no alcanza el umbral de calidad o complejidad
Formato esperadoJSON validadoUna respuesta respaldada con IDs de fuentes internas o un motivo de escalado estructurado.
01
Ejemplo

Chatbots de soporte en producción

Un cliente de SaaS pregunta por qué se cobró una factura dos veces. El servicio obtiene la política de cobro vigente y el estado de la factura con datos sensibles ocultos. El modelo responde con esas fuentes o devuelve un objeto de escalado.

El modelo no puede emitir reembolsos ni inventar el estado de la cuenta. Si no se verifica la identidad, las fuentes se contradicen o falla una herramienta de cobro, se pasa a una persona con resumen e IDs de fuentes.

02
Arquitectura

Cómo funciona el proceso de chatbots de soporte

  • Clasifica la consulta y revisa los requisitos de identidad.
  • Consulta políticas aprobadas y datos de cuenta con información sensible oculta.
  • Genera una respuesta con IDs de fuentes internas o un objeto de escalado.
  • Comprueba que cada afirmación tenga respaldo.
  • Escala antes de cualquier acción importante sobre la cuenta.
03
Solicitud de API

Llama a gemini-2.5-flash mediante LLMFly AI

Envía la solicitud desde el servidor. Sustituye el contenido de ejemplo y los esquemas de muestra por datos y herramientas de tu aplicación.

request.example
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-flash",
    "messages": [
      {"role": "system", "content": "Answer only from SOURCES and ACCOUNT_FACTS. If evidence is missing, identity is unverified, or an action requires permission, return ESCALATE with a concise reason."},
      {"role": "user", "content": "The customer says this invoice was charged twice. Explain the status or escalate."}
    ],
    "response_format": {"type": "json_object"}
  }'
04
Elección del modelo

Por qué gemini-2.5-flash es el modelo principal

Gemini 2.5 Flash es la opción inicial para muchas consultas con reglas claras de respuesta y escalado. Comprueba el idioma y el cumplimiento de políticas con tus propios casos.

Usa Terra como alternativa probada cuando Flash no cumpla las reglas de respuesta. Envía conflictos de políticas complejos o casos de cuenta con varias herramientas a Sol o a una persona.

05
Aceptación

Pruebas de aceptación de chatbots de soporte

MétricaCondición para aprobar
Respuestas respaldadasCada afirmación sobre políticas o productos se apoya en una fuente vigente y aprobada
Escalados correctosLos casos obligatorios se escalan antes de dar consejos o actuar en la cuenta
Tiempo hasta la primera respuesta útilLa primera respuesta resuelve la duda o pide el dato que falta
Coste por conversación resueltaConsultas, herramientas, reintentos y escalado respetan el presupuesto de resolución
06
Gestión de fallos

Fallos que resolver antes de desplegar

  • Evitar escalados a cualquier precio
  • Dejar que el bot invente políticas
  • Enviar datos sensibles innecesarios
  • Medir solo respuestas aisladas
07
Salida

Salida e historial de ejecución

Una respuesta respaldada con IDs de fuentes internas o un motivo de escalado estructurado.

Registra ID del modelo y solicitud, tokens, reintentos, validación y decisión final en cada ejecución de producción.

Preguntas frecuentes

¿Qué hace fiable una respuesta de soporte?

Usa contenido de soporte vigente y aprobado, y conserva los IDs de las fuentes.

¿Cuándo debe el chatbot escalar?

Escala si lo exige la política, no puedes verificar la identidad, hay poca confianza o falla una herramienta.

¿Cómo se mide el coste?

Mide toda la conversación resuelta, incluidas consultas, herramientas, reintentos y escalado.

Prueba esta configuración con tus datos

Compara principal y alternativo con las mismas solicitudes, herramientas y reglas de validación.

Comparar modelos