インテルCPUにおけるOllamaの効率的なコアとパフォーマンスコアの比較
私はある仮説をテストしたいと思っています。すなわち、「インテルCPUのすべてのコアを活用することで、LLMの速度が向上するか？」というものです。このテストについては、ALL cores on Intel CPU would raise the speed of LLMs?をご覧ください。
新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上での実行に頼っているという点が気になります。
AIは大量の電力を必要とする...
現代の混乱の最中、私は AI タスクに適した 異なるグラボの仕様を比較 しています (ディープラーニング, オブジェクト検出 および LLM)。 ただし、これらはすべて非常に高価です。
Ollamaの並行性、キューイング、そしてOLLAMA_NUM_PARALLELの設定方法を理解し、安定した並列リクエストを実現しましょう。
このガイドでは、Ollamaが並列リクエストをどのように処理するか（並行性、キューイング、リソース制限）と、OLLAMA_NUM_PARALLEL 環境変数（および関連する設定項目）を用いてそれらを調整する方法を説明します。
次のLLMテストラウンド
ほども前、リリースされました。最新の状況を確認し、Mistral Smallの他のLLMと比較したパフォーマンスをテストしてみましょう。
論理的誤謬の検出のテスト
最近、いくつかの新しいLLMがリリースされました。
非常にエキサイティングな時代です。
論理的誤謬の検出能力を確認するためにテストしてみましょう。
8つのllama3（Meta+）および5つのphi3（Microsoft）LLMバージョン
パラメータ数や量子化の異なるモデルの挙動をテストしています。
LLMのGPUとCPUでの速度をテストしてみましょう
いくつかのLLM（大規模言語モデル）のバージョン（llama3（メタ/Facebook）、phi3（マイクロソフト）、gemma（グーグル）、mistral（オープンソース））におけるCPUおよびGPUでの予測速度の比較。
