Jev の活用では、モデルに限定的な判断を任せ、ワークフローはコードで制御します。必要なテキストと回答形式を定義し、結果を検証してから処理します。以下はアプリケーションの設計例であり、独自に測定したベンチマークではありません。
Jev で何を作れる？
1. 問い合わせの分類
入力: 決済連携が何度も失敗するという顧客の連絡。
モデルの判断: Choice で請求、技術、営業、要確認から選択。
アプリの処理と限界: コードで対応キューに振り分け、人の確認経路を残します。複数部署に関係する場合は主担当のルールを定義するか、質問を分けます。
2. コンテンツのモデレーション
入力: コメントと、簡潔で明確なコミュニティ規則。
モデルの判断: Noul で特定の規則に違反する確率を評価。
アプリの処理と限界: 曖昧な場合は人に回し、対象の規則を記録します。引用、皮肉、悪意ある文面で判定が変わり得るため、スコアだけで方針全体を置き換えません。
3. 営業への問い合わせの関連性
入力: 問い合わせと、製品の公開された用途。
モデルの判断: Score で無関係、部分的に適合、直接適合の順序付き段階を評価。
アプリの処理と限界: 人が対応する受信箱の優先順位付けに使います。情報不足は不適合の証明ではありません。個人の属性や資格を推測・判定する用途にしません。
4. 検索結果の再ランキング
入力: 検索クエリと、検索システムが取得した段落。
モデルの判断: Score で段落が質問に直接答えているか評価。
アプリの処理と限界: 必要なら段落ごとに質問し、コードで並べ替えます。文書取得は Jev の役割ではなく、無関係な長い文脈は精度を下げる可能性があります。
5. 引用の裏付け確認
入力: 主張と、引用元の正確な文章。
モデルの判断: Choice で支持、矛盾、証拠不足から選択。
アプリの処理と限界: 生成された回答を表示する前に弱い引用を確認します。渡した文章内の裏付けを調べるもので、情報源自体の真実性を保証しません。
6. エージェントとツールの振り分け
入力: ユーザーの依頼、利用可能なツールの説明、アプリの状態。
モデルの判断: Choice でツール、追加確認、何もしないを選択。
アプリの処理と限界: 実行前にコードで権限と引数を検証します。モデルの選択は実行許可ではありません。対象外の依頼を処理する経路も設けます。
質問タイプの選び方
排他的な選択肢には Choice、順序付きの説明的段階には Score、はい・いいえの条件には Noul を使います。同じチケットでも部署の Choice と緊急性の Noul を分け、緊急性を部署ラベルに混ぜないようにします。
コードに残す処理
認証、厳密な計算、日付比較、検索、副作用を伴う処理は通常のコードで行います。回答が許可された集合に含まれることを確認し、モデル ID を記録してください。しきい値はラベル付きの自社データで評価します。高い confidence でも誤答はあり得ます。
費用の見積もり
実際の質問を含む代表的な呼び出しの usage.input_tokens を計測し、想定回数と単価を掛けます。仮に 1 回 1,000 トークンなら、確認時点で 0.000042 米ドル、10 万回で 4.20 米ドルです。アプリの他の費用は含みません。