LLM

公式にはHermes Agentとして文書化されているHermes AIアシスタントは、単なるチャットラッパーとしては位置づけられていません。

OpenClawには2つの拡張ストーリーがあり、それらは混同されやすいものです。

プラグインはランタイムを拡張します。スキルはエージェントの振る舞いを拡張します。

この記事は、チャネル、モデルプロバイダー、ツール、音声、メモリ、メディア、Web 検索、その他ランタイムの表面機能などを追加するネイティブゲートウェイパッケージであるOpenClaw プラグインについて解説します。

OpenClawのデモではシンプルに見えます。 しかし、本番環境では、それは一つのシステムへと変貌します。

エージェント実験の波を後押ししていた静かな抜け穴は、今、閉じられました。

Vane は、「出典付き AI 検索」領域において、より実用的な選択肢の一つです。これは、リアルタイムのウェブ取得とローカルまたはクラウド上の LLM（大規模言語モデル）を組み合わせた、セルフホスティング可能な回答エンジンであり、スタック全体をユーザーの管理下に置くことができます。

Claude Codeは、マーケティングが上手な自動補完ツールではありません。これはエージェント型コーディングツールです。コードベースを読み取り、ファイルを編集し、コマンドを実行し、開発ツールと統合します。

Hermes Agentは、ローカルマシンや低コストのVPS上で動作し、ターミナルやメッセージングインターフェースを通じて機能し、反復されるタスクを再利用可能なスキルに変換することで継続的に改善される、セルフホスト型かつモデル非依存のAIアシスタントです。

Text Generation Inference (TGI) は、非常に特有の雰囲気を持っています。 推論の分野で最も新しい子供ではありませんが、すでに本番環境でのトラブルを学び、その教訓をデフォルト設定に焼き付けているのが TGI です。

ここでは、VRAM 16GB 搭載の GPU 上で動作する複数の LLM の速度を比較し、セルフホスティング用に最適なモデルを選定しています。

これらの LLM は、llama.cpp を使用し、19K、32K、および 64K トークンのコンテキストウィンドウで実行しました。

オーストラリアにはRTX 5090の在庫があります。 ただし、ごくわずかです。 もし見つけたとしても、現実感の欠けた、莫大なプレミアム価格を支払わなければなりません。

Ollama は、ローカルデーモンとして扱われるときに最も快適に動作します。CLI とアプリケーションがループバック HTTP API と通信し、残りのネットワークにはその存在が知られない状態です。

Ollama は、メタル（物理マシン）上で非常に良好に動作します。それをサービスとして扱うと、さらに興味深くなります。安定したエンドポイント、固定されたバージョン、永続的なストレージ、そして GPU が利用可能か不可かの明確な状態が確保されます。

リバースプロキシの背後で Ollama を実行することは、HTTPS、オプションのアクセス制御、予測可能なストリーミング動作を実現する最も簡単な方法です。

検索拡張生成 (RAG) を実装されている方に向けて、このセクションではテキスト埋め込み（text embeddings）について平易な言葉で解説します。埋め込みとは何か、検索や検索（リトリバル）にどのように組み込まれるか、そしてOllamaやllama.cppベースのサーバーが提供するOpenAI 互換の HTTP API を使用して、Pythonから 2 つの一般的なローカル環境を呼び出す方法を説明します。

SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。