Hardware

PCIe レーンがLLMの性能に与える影響? タスクによります。トレーニングやマルチGPUの推論では、パフォーマンスの低下が顕著です。

この問題に強く打たれました。しかし、あなたのブルースクリーン（BSOD）が私のものと似ている場合は、PCを調査し、テストすることをお勧めします。原因はインテルの13世代および14世代CPU劣化問題でした。

私は理論をテストしたいと思っています - すべてのコアをIntel CPUで使用するとLLMの速度が上がるか？
新しいgemma3 27bitモデル（gemma3:27b、ollama上では17GB）が私のGPUの16GB VRAMに収まらず、部分的にCPU上でも実行されていることが気になります。

現代の世界の混乱の中でここにいて、さまざまなカードのテクスペックを比較 で、AI のタスクに適したものを確認しています。
(Deep Learning, オブジェクト検出、 LLMs など)。
しかし、これらはすべて非常に高価です。

Ollama サーバーが同時に2つのリクエストを受けると、その動作は設定と利用可能なシステムリソースに依存します。

ET-8500をWindowsにインストールする方法は、インストール手順に詳しく記載されています。
ET-8500 Linuxドライバのインストールは簡単ですが、簡単ではありません。

いくつかのLLM（llama3、phi3、gemma、mistral）のCPUおよびGPUでの予測速度の比較。