RAG 챗봇용 LLM API

실제 서비스의 RAG 챗봇

사내 도우미가 인사 규정과 지역별 추가 규정으로 답합니다. 모델 호출 전에 자료를 검색합니다. 각 문단에 문서 ID, 섹션, 시행일과 접근 권한 표시를 유지합니다.

Gemini 2.5 Pro에는 선택한 문단만 보내고 사용한 문단 ID를 인용하도록 합니다. 지역별 정책이 다르면 임의로 고르지 않고 충돌을 보여줍니다.

RAG 챗봇 처리 흐름

• 검색 전 사용자 권한 확인.
• 문서 정보를 유지한 채 검색·순위 재정렬.
• 답변에 충분한 최소 근거 전달.
• 문장별 문단 ID 필수.
• 인용 근거 확인·근거 부족 시 답변 보류.

LLMFly AI로 gemini-2.5-pro 호출

서버에서 요청하세요. 예시 내용과 임시 도구 스키마를 앱의 데이터·도구로 바꾸세요.

curl https://app.llmfly.ai/v1/chat/completions \
  -H "Authorization: Bearer $LLMFLY_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-2.5-pro",
    "messages": [
      {"role": "system", "content": "Answer only from the supplied passages. Cite passage IDs after each material sentence. If passages are missing or conflicting, state that explicitly."},
      {"role": "user", "content": "Can a Shanghai employee carry unused leave into next year? Use the supplied policy passages."}
    ]
  }'

gemini-2.5-pro를 기본 모델로 고른 이유

많은 근거와 여러 문서 종합에는 Gemini 2.5 Pro를 우선 사용합니다.

필요한 자료가 잘 검색된 짧은 답변에는 Gemini 2.5 Flash를 쓰세요. 검색 품질을 확인한 뒤에만 모호한 정책 종합을 Terra로 넘기세요.

RAG 챗봇 합격 기준

배포 전 처리할 오류

• 검색 누락을 모델 탓으로 돌림
• 모든 문서를 입력에 넣음
• 관련 없는 인용 표시
• 근거 없이 답변 강요

출력·실행 기록

핵심 주장마다 문단 ID를 붙인 답변 또는 근거 부족을 명시한 답변입니다.

운영 실행마다 모델 ID, 요청 ID, 토큰 사용량, 재시도, 검증 결과와 최종 처리를 기록하세요.