コード開発の用途を選ぶ
機能を生成する、プルリクエストをレビューする、リポジトリ全体をリファクタリングする。必要な変更に合う用途を選んでください。
- コード生成用LLM API
- コードレビュー用LLM API
- リポジトリのリファクタリング用LLM API
コード開発の用途
コード開発向けLLM API
機能を生成する、プルリクエストをレビューする、リポジトリ全体をリファクタリングする。必要な変更に合う用途を選んでください。
本番用の実装例
API・主モデル・代替の設定
| 測る項目 | 記録する項目 |
|---|---|
| お使いのリポジトリでの修正の正しさ | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| ツール呼び出しの安定性 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 繰り返す作業の待ち時間 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
| 採用した変更1件あたりの費用 | 結果、待ち時間、トークン使用量、採用・不採用の理由 |
自分のリポジトリでモデルを試す
実際の要件、リポジトリの規約、ビルドコマンド、レビュー基準を使います。回答の見た目だけでなく、お使いのコードで動くことが必要です。
- お使いのリポジトリでの修正の正しさ
- ツール呼び出しの安定性
- 繰り返す作業の待ち時間
- 採用した変更1件あたりの費用
使える結果の費用を測る
再試行、ツール、検証、上位モデルへの切り替え、手動修正も含めます。トークン単価だけでなく、実際に採用できる結果の総費用を比較してください。
よくある質問
どの用途から始めますか？
代表的な入力と合格基準がある用途のうち、件数かリスクが最も大きいものから始めてください。
最初にいくつのモデルを試しますか？
推奨モデルと代替モデル1つから始めます。両方とも品質、待ち時間、費用の条件を満たせない場合だけ候補を増やしてください。
比較時に揃える条件は？
すべてのモデルで入力、コンテキスト、ツール、出力上限、検証ルール、停止条件を揃えてください。
この用途のモデルを選ぶ
同じアプリの入力と検証ルールで、主な接続先と代替を比較してください。