CASO DE USO EM PRODUÇÃO

API de IA para chatbots com RAG

Um assistente interno responde com manuais de RH e anexos regionais. As fontes são buscadas antes de chamar o modelo. Cada trecho mantém ID do documento, seção, data de vigência e etiqueta de acesso.

Implementação para produção

API, modelo principal e configuração alternativa

Escolha para produção	Recomendação	Por quê
API	POST /v1/chat/completions	Requisição do servidor compatível com OpenAI
Modelo principal	gemini-2.5-pro	Gemini 2.5 Pro é a rota principal para evidências extensas e síntese entre documentos.
Modelo alternativo	gemini-2.5-flash	Use Gemini 2.5 Flash para respostas curtas com boas fontes recuperadas. Encaminhe uma síntese de políticas ambígua ao Terra só após verificar a busca.
Modelo para tarefas mais difíceis	gpt-5.6-terra	Use só se a rota principal não atingir o limite de qualidade ou complexidade
Formato esperado	Texto ou alterações conforme a tarefa	Uma resposta com IDs dos trechos após cada afirmação importante ou uma indicação clara de falta de evidências.

Exemplo

Chatbots RAG em produção

Gemini 2.5 Pro recebe apenas os trechos selecionados e deve citar os IDs usados. Se as políticas regionais conflitarem, a resposta mostra o conflito sem escolher uma em silêncio.

Arquitetura

Como funciona o processo de chatbots com RAG

Confira o acesso do usuário antes da busca.
Busque e reordene os trechos mantendo os metadados.
Envie só as evidências necessárias para responder.
Exija IDs dos trechos por frase.
Verifique as citações e não responda se faltarem evidências.

Requisição de API

Chame gemini-2.5-pro pela LLMFly AI

Envie a requisição pelo servidor. Troque o conteúdo e os esquemas de exemplo pelos dados e ferramentas do aplicativo.

request.example

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-pro",
    "messages": [
      {"role": "system", "content": "Answer only from the supplied passages. Cite passage IDs after each material sentence. If passages are missing or conflicting, state that explicitly."},
      {"role": "user", "content": "Can a Shanghai employee carry unused leave into next year? Use the supplied policy passages."}
    ]
  }'

Escolha do modelo

Por que gemini-2.5-pro é o modelo principal

Gemini 2.5 Pro é a rota principal para evidências extensas e síntese entre documentos.

Use Gemini 2.5 Flash para respostas curtas com boas fontes recuperadas. Encaminhe uma síntese de políticas ambígua ao Terra só após verificar a busca.

Aceitação

Testes de aceitação de chatbots com RAG

Métrica	Condição de aprovação
Taxa de recuperação	A busca retorna o trecho conhecido que sustenta as perguntas de teste
Precisão das citações	Cada citação sustenta diretamente a frase ou o campo associado
Taxa de afirmações sem respaldo	A resposta final não contém afirmações importantes sem fonte
Taxa de abstenções corretas	O assistente não responde ou faz ressalvas se faltarem fontes, estiverem desatualizadas ou conflitarem

Tratamento de falhas

Falhas a tratar antes de publicar

Culpar o modelo por falhas de busca
Colocar todos os documentos no contexto
Mostrar citações irrelevantes
Forçar respostas sem evidências

Saída

Saída e histórico de execução

Uma resposta com IDs dos trechos após cada afirmação importante ou uma indicação clara de falta de evidências.

Registre ID do modelo e da requisição, tokens, novas tentativas, validação e decisão final em cada execução de produção.

Dúvidas frequentes

O que importa mais: a busca ou o modelo?

Os dois importam. Avalie separadamente para não confundir uma fonte ausente com falha de geração.

Quantos trechos devo incluir no prompt?

Use o conjunto mínimo que sustente bem a resposta dentro do orçamento.

E se as fontes se contradisserem?

Mostre a divergência, as fontes e as datas sem escolher uma versão em silêncio.

Teste esta configuração com seus dados

Compare principal e alternativo com as mesmas requisições, ferramentas e regras de validação.

Comparar modelos