TypeSafe AIのJevは、文章ではなく、ソフトウェアがそのまま使う判断を返すAIモデルです。同社はこの種類を「System One Model」と呼んでいます。入力するのは状況を表すstateと、判断してほしいquestions。返ってくる型付きの値や確率を使い、コード側で分岐や並べ替えを行います。
面白いのは、モデルに任せる範囲の狭さです。処理全体を自然言語で依頼するのではなく、小さな判断だけを渡し、その後の動作はコードで決める。Jevを見るときは、速度だけでなく、この役割分担に目を向けたいところです。
質問の型を先に決める
公式ドキュメントには、三つの質問型があります。
Choiceは、あらかじめ用意した選択肢から一つを選ぶ。選択結果、各候補の確率、confidenceを返す。Scoreは、説明付きの順序ある評価段階に沿って採点する。スコア、各段階の確率、confidenceを返す。Noulは、Yes／Noの問いに対して、Yesである確率を0〜1で返す。独立したconfidenceは付かない。
三種類は一回のAPI呼び出しに混ぜられます。各質問は同じstateに対して、互いに独立して並列評価されます。
ただし、複雑な判断を一問に押し込む使い方は推奨されていません。公式の例では、事業案を丸ごと採点する代わりに、市場規模、技術的な実現可能性、差別化を別々に評価します。結果の重み付けはコードの仕事。評価方針を変えたいときも、プロンプト全体ではなく係数を見直せます。
型が正しいことと、判断が正しいことは別
TypeSafeはJevを「ハルシネーションしない」と説明しています。ここでの保証は、出力の構造や選択肢が事前の定義から外れないこと。選択肢の中から間違ったものを選ばない、という意味ではありません。
ChoiceとScoreのconfidenceも、正解の保証書ではありません。これは返された確率分布から計算した指標で、確率が一つの結果に集中しているか、ばらけているかを表します。単に最も高い確率を見ているわけではない点にも注意が必要です。
公式ガイドは、確信度に応じて自動実行、追加確認、人への引き継ぎを分ける設計を示しています。閾値は用途と誤判断の影響に合わせ、自分のデータで調整する。モデルが回答を返せることと、システムが実行してよいことを切り離す考え方です。
速度を比べる前に、任せない仕事を決める
発表記事の応答時間は70〜500ms。ただしTypeSafeの公表値で、評価は主にサービス拠点に近い米国西海岸から行われています。自分のアプリケーションでも同じ時間になるとは限りません。
また、jev-1.13の既知の制約には、数を正確に数える処理や日時の比較、無関係な情報が多い入力への弱さが挙がっています。入力内の敵対的な指示に判断を誘導される場合もあります。型安全だからといって、入力内容まで安全に扱えるわけではありません。
まずは計算や日付比較をコードに残し、意味の判定だけをJevに渡す構成がよさそうです。比較用には、同社が公開するSystem One Adapterもあります。Jevの評価APIに相当する処理をLLMで行い、費用・速度・判断の質を比較するためのものです。
速い回答を得るだけなら、導入の判断材料としては足りません。同じ入力で誤判断と保留がどれだけ生じるか、人へ戻す経路が機能するかまで比べたい。Jevの狭い出力形式は、その検証範囲を具体的に決める手がかりになります。