Hermesロングコンテキスト
概要
Hermes AIシリーズは128Kトークンのロングコンテキストをサポートしており、書籍1〜2冊分(約10万語)の内容を一度に読み込んで理解できる。Needle in a Haystackテストでほぼ100%の精度を達成し、長文読解時のハルシネーション(嘘の生成)が少ない。
本題:スキル化によるコンテキスト節約
ロングコンテキストで本を読むだけが目的ではない。読んだ内容を /learn コマンドでスキル化することで、次回以降は全文をコンテキストに入れずにスキルとして参照できる。これにより毎回のコンテキスト使用量を大幅に節約できる。
フロー:
- 大きな文書(本・論文等)をコンテキストに入れて読ませる
- その内容を
/learnでスキル化 - 以降はスキルとして保存された知識を参照(コンテキスト節約)
特徴
- 128Kトークンのコンテキストウィンドウ(Llama 3.1ベース)
- 本を丸ごと読んでプロット・キャラクター分析が可能
- Needle in a Haystackテストで情報抽出精度ほぼ100%
- ロングコンテキストでもハルシネーションが少ない
- オープンソースでローカル実行可能
関連コマンド
hermes learning(別名hermes journey) — 学習したスキルとメモリーのタイムラインを表示。会話から学んだ内容の履歴を確認できる。hermes skills— スキルの検索・インストール・管理。会話の内容を新しいスキルとして保存する際に使う。
関連
- karpathy-llm-wiki — ロングコンテキスト活用の一例
- よしお — 本Wikiの対象