Cohereは10月21日、企業向けの再ランキングモデルRerank 5を一般提供した。品質重視のProと、遅延とコストを抑えたFastがあり、Cohere API、Model Vault、Microsoft Foundry、Amazon SageMaker、同社のNorthで使える。API料金は100万トークンあたりProが0.05ドル、Fastが0.02ドルだ。
RAGやエージェントは、検索で拾った文書をそのままモデルへ渡すとトークン代とノイズが増える。Rerank 5は既存のキーワード、ベクトル、ハイブリッド検索の後ろに置き、埋め込みの再作成なしで順序を付け直す。新しいContext Focusは任意機能で、文書単位の得点に加え、文書内の該当範囲と得点を同じ呼び出しで返す。同社の計測では、取得テキストの半分を外しても回答品質の低下は2パーセントポイント(96%が残る)で、4分の3を外すと7パーセントポイント(87%が残る)だった。検索エージェントの実験では、BM25だけの正答率46%がRerank 5 Proで49%になり、Context Focusのしきい値0.4では再ランクのみのときよりトークンが34%減り、正答率は58%になった。
導入時に見るべきなのは、公開ベンチマークの順位そのものより、自前の文書でのしきい値だ。同社は得点を校正し、0.7は文書が役に立つ確率70%として読めると説明している。Proで「役に立つ可能性の方が高い」境界は0.50、Fastは0.45だ。固定の上位件数ではなく、この線を超えた文書だけをモデルへ渡せる。Context Focusは既定でオフなので、既存のRerank呼び出しはモデル名の変更から試し、範囲抽出はしきい値を変えて品質とトークンの両方を測るとよい。LangChain、Haystack、Elasticsearch、Weaviateからも呼べる。