slogによるGoの構造化ログ:観測性とアラートのための実践

slogによるGoの構造化ログ:観測性とアラートのための実践

トレースに接続するクエリ可能なJSONログ

ログは、システムが火災状態(重大な障害)でも使用できるデバッグ用インターフェースです。 問題なのは、プレーンテキストのログは陳腐化しやすいという点にあります。フィルタリング、集計、アラートが必要になった瞬間に、文章の解析作業が始まるのです。

GPU および永続的なモデルストレージを使用する Docker Compose での Ollama

GPU および永続的なモデルストレージを使用する Docker Compose での Ollama

GPU および永続性を備えた Compose ファーストの Ollama サーバー。

Ollama は、メタル(物理マシン)上で非常に良好に動作します。それをサービスとして扱うと、さらに興味深くなります。安定したエンドポイント、固定されたバージョン、永続的なストレージ、そして GPU が利用可能か不可かの明確な状態が確保されます。

RAG と検索向けのテキスト埋め込み - Python、Ollama、OpenAI 互換 API

RAG と検索向けのテキスト埋め込み - Python、Ollama、OpenAI 互換 API

RAG エンベッディング - Python、Ollama、OpenAI API。

検索拡張生成 (RAG) を実装されている方に向けて、このセクションではテキスト埋め込み(text embeddings)について平易な言葉で解説します。埋め込みとは何か、検索や検索(リトリバル)にどのように組み込まれるか、そしてOllamallama.cppベースのサーバーが提供するOpenAI 互換の HTTP API を使用して、Pythonから 2 つの一般的なローカル環境を呼び出す方法を説明します。

Netlify と Hugo および静的サイト:料金プラン、無料枠、および代替案

Netlify と Hugo および静的サイト:料金プラン、無料枠、および代替案

Git ベースのデプロイ、CDN、クレジット、およびトレードオフ。

Netlify は、開発者フレンドリーな方法の一つであり、Hugo サイトモダンな Web アプリを、本番環境グレードのワークフローで配信するためのプラットフォームです。プルリクエストごとのプレビュー URL、アトミックなデプロイ、グローバル CDN、およびオプションのサーバーレス機能やエッジ機能を備えています。

SGLang クイックスタート:OpenAI API を介して LLM のインストール、設定、およびサービス提供

SGLang クイックスタート:OpenAI API を介して LLM のインストール、設定、およびサービス提供

SGLang を使ってオープンモデルを高速に提供。

SGLang は、大規模言語モデルおよびマルチモーダルモデル向けの高パフォーマンスなサービングフレームワークであり、単一の GPU から分散クラスターに至るまで、低レイテンシかつ高スループットの推論を提供するために設計されています。

llama.swap モデル切り換え器の OpenAI 互換ローカル LLM 向けクイックスタート

llama.swap モデル切り換え器の OpenAI 互換ローカル LLM 向けクイックスタート

クライアントを変更せずにホットスワップ可能なローカル LLM。

まもなく vLLM や llama.cpp など、それぞれのスタックが独自のポートで稼働している状態に陥ります。下流のシステムはすべて**/v1というベース URL を求めるため、ポート、プロファイル、ワンオフスクリプトを頻繁に変更することになります。llama-swapは、これらのスタックの前に配置される/v1**プロキシです。

購読する

システム、インフラ、AIエンジニアリングの新記事をお届けします。