CASO DE USO EN PRODUCCIÓN

API de IA para chatbots con RAG

Un asistente interno responde con manuales de RR. HH. y anexos regionales. Las fuentes se buscan antes de llamar al modelo. Cada fragmento conserva ID de documento, sección, fecha de vigencia y etiqueta de acceso.

Respuesta RAG vinculada a pruebas de documentos privados
API de IA para chatbots con RAG

Implementación para producción

API, modelo principal y configuración alternativa

Elección para producciónRecomendaciónPor qué
APIPOST /v1/chat/completionsSolicitud del servidor compatible con OpenAI
Modelo principalgemini-2.5-proGemini 2.5 Pro es la ruta principal para pruebas extensas y síntesis entre documentos.
Modelo alternativogemini-2.5-flashUsa Gemini 2.5 Flash para respuestas breves con buenas fuentes recuperadas. Escala una síntesis de políticas ambigua a Terra solo después de verificar la búsqueda.
Modelo para tareas más difícilesgpt-5.6-terraÚsalo solo si la ruta principal no alcanza el umbral de calidad o complejidad
Formato esperadoTexto o cambios según la tareaUna respuesta con IDs de fragmentos tras cada afirmación importante o una explicación clara de la falta de pruebas.
01
Ejemplo

Chatbots RAG en producción

Un asistente interno responde con manuales de RR. HH. y anexos regionales. Las fuentes se buscan antes de llamar al modelo. Cada fragmento conserva ID de documento, sección, fecha de vigencia y etiqueta de acceso.

Gemini 2.5 Pro recibe solo los fragmentos seleccionados y debe citar los IDs utilizados. Si las políticas regionales se contradicen, la respuesta muestra el conflicto sin elegir a escondidas.

02
Arquitectura

Cómo funciona el proceso de chatbots con RAG

  • Comprueba el acceso del usuario antes de buscar.
  • Busca y reordena los fragmentos conservando los metadatos.
  • Envía solo las pruebas necesarias para responder.
  • Exige IDs de fragmentos por frase.
  • Verifica las citas y no respondas si faltan pruebas.
03
Solicitud de API

Llama a gemini-2.5-pro mediante LLMFly AI

Envía la solicitud desde el servidor. Sustituye el contenido de ejemplo y los esquemas de muestra por datos y herramientas de tu aplicación.

request.example
curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-pro",
    "messages": [
      {"role": "system", "content": "Answer only from the supplied passages. Cite passage IDs after each material sentence. If passages are missing or conflicting, state that explicitly."},
      {"role": "user", "content": "Can a Shanghai employee carry unused leave into next year? Use the supplied policy passages."}
    ]
  }'
04
Elección del modelo

Por qué gemini-2.5-pro es el modelo principal

Gemini 2.5 Pro es la ruta principal para pruebas extensas y síntesis entre documentos.

Usa Gemini 2.5 Flash para respuestas breves con buenas fuentes recuperadas. Escala una síntesis de políticas ambigua a Terra solo después de verificar la búsqueda.

05
Aceptación

Pruebas de aceptación de chatbots con RAG

MétricaCondición para aprobar
Recuperación de pruebasLa búsqueda devuelve el fragmento conocido que respalda las preguntas de prueba
Exactitud de las citasCada cita respalda directamente la frase o el campo asociado
Afirmaciones sin respaldoLa respuesta final no contiene afirmaciones importantes sin fuente
Abstenciones correctasEl asistente no responde o matiza si las fuentes faltan, están desactualizadas o se contradicen
06
Gestión de fallos

Fallos que resolver antes de desplegar

  • Culpar al modelo por fallos de búsqueda
  • Meter todos los documentos en el contexto
  • Mostrar citas irrelevantes
  • Forzar respuestas sin pruebas
07
Salida

Salida e historial de ejecución

Una respuesta con IDs de fragmentos tras cada afirmación importante o una explicación clara de la falta de pruebas.

Registra ID del modelo y solicitud, tokens, reintentos, validación y decisión final en cada ejecución de producción.

Preguntas frecuentes

¿Importa más la búsqueda o el modelo?

Ambos importan. Evalúalos por separado para no confundir una fuente omitida con un fallo de generación.

¿Cuántos fragmentos incluyo en el prompt?

Usa el conjunto mínimo que respalde bien la respuesta dentro del presupuesto.

¿Y si las fuentes se contradicen?

Muestra el desacuerdo, las fuentes y las fechas sin elegir una versión en silencio.

Prueba esta configuración con tus datos

Compara principal y alternativo con las mismas solicitudes, herramientas y reglas de validación.

Comparar modelos