AIエージェントが使う技術一覧
ツール連携系
MCP（Model Context Protocol）
- 提唱: Anthropic（2024年11月）
- 役割: AIモデルと外部ツール・データソースを標準化された方法で接続するオープンプロトコル
- 仕組み: クライアント（AI）⇔ MCPサーバー（外部ツール）の2層。LSP（Language Server Protocol）の設計を流用
- 対応: OpenAI, Googleも採用。業界標準になりつつある
- よしおの環境: Hermes Agentの
hermes mcp コマンドでMCPサーバー管理可
- 提供: OpenAI, Anthropic, Google等
- 役割: LLMが「関数を呼びたい」と判断し、JSONで引数を返す。アプリ側が実行
- MCPとの違い: MCPはプロトコル（汎用）。Function CallingはAPI（ベンダー固有）
A2A（Agent-to-Agent）
- 提唱: Google（2025年）
- 役割: AIエージェント同士が通信・タスク委譲するためのプロトコル
- MCPとの違い: MCPは「AI⇔ツール」、A2Aは「エージェント⇔エージェント」
Computer Use
- 提供: Anthropic（Claude）, Hermes Agent（cua-driver）
- 役割: AIがマウス・キーボードを操作して画面上のGUIを直接操作
- よしおの環境: Hermesの
computer_use ツールで利用可。バックグラウンド動作
検索・知識系
RAG（Retrieval-Augmented Generation）
- 役割: 外部データベースから関連情報を検索→LLMに渡して回答生成
- 構成: 埋め込みモデル + ベクトルDB + LLM
- 限界: 質問のたびに知識を再発見。蓄積しない（Karpathyが指摘）
ベクトルデータベース
- 代表製品: Pinecone, Chroma, Weaviate, Qdrant, Milvus
- 役割: テキストを埋め込みベクトルに変換し、類似検索を高速実行
- 用途: RAGの基盤、類似文書検索
スクレイピング
- 役割: Webページからデータを抽出
- ツール: curl, BeautifulSoup, Scrapy
- よしおの環境: web_extract（SearXNG）、curl + python3
Web検索
- 役割: リアルタイムの情報を検索
- よしおの環境: web_search（SearXNG経由）
ドキュメントパース
- 役割: PDF・Word・Excel等からテキスト抽出
- ツール: PyMuPDF, Unstructured, marker-pdf, python-pptx, openpyxl
- よしおの環境: read_file（PDF自動変換対応）
ブラウザ・UI操作系
ヘッドレスブラウザ
- 役割: GUIなしでブラウザを操作。動的ページのスクレイピング、フォーム操作
- ツール: Puppeteer（JS）, Playwright（MS）, Selenium
- よしおの環境: browser_navigate等のbrowser_*ツール（Browserbase/CDP）
- 役割: Chromeをプログラムから操作するプロトコル
- 用途: デバッグ、DOM操作、スクリーンショット、ネットワーク監視
- よしおの環境: browser_*ツールの基盤
コード実行系
Code Interpreter / サンドボックス
- 役割: AIが生成したコードを安全に実行
- 製品: OpenAI Code Interpreter, E2B, Hermesのexecute_code
- よしおの環境: execute_codeツール（Python, 制限付き）
ターミナル操作
- 役割: AIがシェルコマンドを実行
- よしおの環境: terminalツール（foreground/background/PTY）
スキル・知識管理系
SKILL.md
- 役割: プロジェクト固有の知識を外部化。再利用可能な手順書
- よしおの環境: 112個のスキル。
/スキル名 で呼び出し可
AGENTS.md / CLAUDE.md / .cursorrules
- 役割: プロジェクトのルール・コンテキストをAIに伝えるファイル
- よしおの環境: AGENTS.md（常時読み込み）
LLM Wiki（Karpathy）
- 役割: エージェントが自律的に構築・保守する知識ベース
- よしおの環境: karpathy-wiki（Quartz公開済み）
音声系
STT（Speech-to-Text）
- 役割: 音声をテキストに変換
- 代表: Whisper（OpenAI）, Groq Whisper
- よしおの環境: Groq Whisper（whisper-large-v3-turbo）
TTS（Text-to-Speech）
- 役割: テキストを音声に変換
- 代表: Edge TTS, ElevenLabs, VOICEVOX
- よしおの環境: Edge TTS（ja-JP-KeitaNeural）
埋め込み・学習系
埋め込みモデル
- 役割: テキストをベクトル（数値配列）に変換。類似度計算の基盤
- 代表: text-embedding-3（OpenAI）, voyage-3, multilingual-e5
LoRA / QLoRA
- 役割: 大規模モデルを効率的にファインチューニングする手法
- 特長: 元の重みを凍結し、小さなアダプターだけ学習
オーケストレーション系
LangChain / LangGraph
- 役割: LLMを使ったアプリケーションを構築するフレームワーク
- 特長: チェーン・エージェント・RAG・評価を統合
CrewAI / AutoGen
- 役割: 複数のAIエージェントが協調してタスクを実行
- 特長: 役割分担、タスク委譲、マルチエージェント会話
エージェントループ（ReAct）
- 役割: 思考→行動→観察→思考のループでタスクを解決
- 特長: 推論と行動を交互に繰り返す。Chain-of-Thought + Tool Use
評価・観測系
評価フレームワーク
- 代表: LangSmith, Weights & Biases, MLflow
- 役割: プロンプト・モデル・チェーンの評価と監視
トレーシング
- 代表: LangSmith, LangFuse, OpenTelemetry
- 役割: AIアプリケーションの内部動作を可視化