앱에 필요한 결과 선택
긴 문서 분석, 검증된 구조화 데이터 반환이나 확인된 계산 설명을 구성하세요. 필요한 출력에 맞는 작업을 여세요.
- 문서 분석용 LLM API
- 구조화 데이터 추출용 LLM API
- 수학 추론용 LLM API
문서·데이터 활용
추론용 LLM API
긴 문서 분석, 검증된 구조화 데이터 반환이나 확인된 계산 설명을 구성하세요. 필요한 출력에 맞는 작업을 여세요.
운영 구현 예시
API·기본 모델·대체 설정
| 측정 항목 | 기록 항목 |
|---|---|
| 내 작업 세트 정확도 | 결과, 지연, 토큰 사용량과 출력 채택·거절 이유 |
| 출력 일관성 | 결과, 지연, 토큰 사용량과 출력 채택·거절 이유 |
| 지연 한도 | 결과, 지연, 토큰 사용량과 출력 채택·거절 이유 |
| 재시도·검증 비용 | 결과, 지연, 토큰 사용량과 출력 채택·거절 이유 |
반환 결과 검증
알려진 답, 부족·충돌 근거, 엄격한 스키마와 결정적인 검사를 쓰세요. 앱이 필요한 필드나 결과를 검증할 수 있을 때만 답변을 채택하세요.
- 내 작업 세트 정확도
- 출력 일관성
- 지연 한도
- 재시도·검증 비용
사용 가능한 결과의 비용 측정
재시도, 도구, 검증, 상위 모델 전환과 수동 수정까지 포함하세요. 토큰 단가뿐 아니라 앱에서 채택 가능한 결과의 총비용을 비교하세요.
자주 묻는 질문
어떤 작업부터 시작하면 되나요?
대표 입력과 명확한 성공 기준이 있는 작업 중 가장 양이 많거나 위험한 것부터 시작하세요.
처음에 몇 개 모델을 시험하나요?
추천 모델과 대체 모델 하나로 시작하세요. 둘 다 품질·지연·비용 기준을 못 맞출 때만 추가하세요.
비교할 때 무엇을 같게 유지하나요?
모든 모델의 입력, 컨텍스트, 도구, 출력 한도, 검증 규칙과 종료 조건을 같게 유지하세요.
이 작업에 맞는 모델 선택
같은 앱 입력·검증 규칙으로 기본 경로와 대체 경로를 비교하세요.