Self-Hosting

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

テスト: Ollama がインテル CPU のパフォーマンスコアと効率コアをどのように利用しているか

インテルCPUにおけるOllamaの効率的なコアとパフォーマンスコアの比較

私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか?」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。

新しいgemma3 27bitモデル(gemma3:27b、ollama上では17GB)が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。

Ollamaの並列リクエスト処理方法

Ollamaの並列リクエスト処理方法

Ollamaの並行性、キューイング、そしてOLLAMA_NUM_PARALLELの設定方法を理解し、安定した並列リクエストを実現しましょう。

このガイドでは、Ollamaが並列リクエストをどのように処理するか(並行性、キューイング、リソース制限)と、OLLAMA_NUM_PARALLEL 環境変数(および関連する設定項目)を用いてそれらを調整する方法を説明します。

Ollama上でDeepseek-R1をテストする

Ollama上でDeepseek-R1をテストする

2つのdeepseek-r1モデルを2つのベースモデルと比較する

DeepSeekの 1世代目の推論モデルで、OpenAI-o1と同等の性能を備えています。 これは、LlamaおよびQwenに基づいてDeepSeek-R1から蒸留された6つの密結合モデルです。

PyInstaller クイックスタート

PyInstaller クイックスタート

Pythonプログラムを単一ファイルに組み合わせる

PyInstallerを使用して、Linux、Windows、Macで動作するスタンドアロンの実行ファイルとしてPythonのプログラムをパッケージ化できます。

最も効率的ではありませんが、使用可能です。

Hugo に構造化データのマークアップを追加する

Hugo に構造化データのマークアップを追加する

Hugoのテーマが構造化データをサポートしない場合...

Googleは検索結果に、Movie details(映画の詳細)、Job postings(求人情報)、Event(イベント)およびCourse information(コース情報)などの強化を表示しています。これらはウェブサイトの Structured Dataから取得しています。以下に、 How to add Structured Data to the site using Hugo generatorの方法を紹介します。