Hardware

Proxmox Virtual Environment (Proxmox VE) एक ओपन-सोर्स, टाइप-1 हाइपरवाइज़र और डेटासेंटर ऑर्केस्ट्रेशन प्लेटफॉर्म है जो डेबियन पर बनाया गया है।

बार-बार उपभोक्ता ग्राफिक्स कार्डों के मूल्य तुलना करें, जो विशेष रूप से एलएलएम और सामान्य रूप से एआई के लिए उपयुक्त हैं। विशेष रूप से, मैं RTX-5080 और RTX-5090 की कीमतों की तुलना कर रहा हूँ। उनकी कीमतें थोड़ी कम हो गई हैं।

GPU लोड मॉनिटरिंग एप्लिकेशन्स: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

हमें ऑस्ट्रेलिया में उपभोक्ता ग्राफिक्स कार्डों की कीमतों की तुलना करें, जो विशेष रूप से एलएलएम और समग्र एआई के लिए उपयुक्त हैं। विशेष रूप से, आप RTX 5080 और RTX 5090 की कीमतों देखें। ये थोड़ी कम हो गई हैं।

तीन महीने पहले हमने ऑस्ट्रेलिया के दुकानों में RTX 5090 नहीं देखा था, और अब वे यहाँ हैं, लेकिन कीमतें एमआरएसपी से थोड़ी अधिक हैं। चलो, ऑस्ट्रेलिया में RTX 5080 और RTX 5090 की सबसे सस्ती कीमतों की तुलना करें और देखें कि कैसे चल रहा है।

टॉप ऑटोमेटेड सिस्टम के लिए कुछ अद्भुत काम करने के लिए।

PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।

मुझे इस मुद्दे ने बहुत खराब तरीके से प्रभावित किया। लेकिन अगर आपका BSOD मेरे जैसा है, तो आप अपने पीसी की जांच और परीक्षण करें।
कारण Intel के 13वें और 14वें पीढ़ी के प्रोसेसर में CPU डिग्रेडेशन के मुद्दा था।

मेरे पास एक सिद्धांत है जिसे परीक्षण करना है - अगर इंटेल के CPU पर सभी कोर का उपयोग करने से LLMs की गति बढ़ेगी? (परीक्षण: ओलामा कैसे इंटेल CPU के प्रदर्शन और कुशल कोर का उपयोग करता है)
यह मुझे चिंता कर रहा है कि नए gemma3 27 बिट मॉडल (gemma3:27b, 17GB ओलामा पर) मेरे GPU के 16GB VRAM में फिट नहीं हो रहा है और इसके कुछ हिस्सा CPU पर चल रहा है।

आधुनिक दुनिया के अस्थिरता के बीच यहाँ मैं विभिन्न कार्ड के तकनीकी विशेषताओं की तुलना कर रहा हूँ, जो AI कार्यों के लिए उपयुक्त हैं
(डीप लर्निंग,
ऑब्जेक्ट डिटेक्शन
और LLMs।
हालाँकि, वे सभी बहुत महंगे हैं।

जब Ollama सर्वर एक ही समय में दो अनुरोध प्राप्त करता है, तो इसका व्यवहार इसके विन्यास और उपलब्ध प्रणाली संसाधनों पर निर्भर करता है।

ईपीसन ईटी-8500 को विंडोज़ पर स्थापित करने के लिए अच्छी तरह से दस्तावेज़ीकरण किया गया है। ईपीसन ईटी-8500 लिनक्स ड्राइवर इंस्टॉलेशन सरल है लेकिन त्रिविध है।

कई LLMs के विभिन्न संस्करणों (llama3 (मेटा/फेसबुक), phi3 (माइक्रोसॉफ्ट), gemma (गूगल), mistral (ओपन स्रोत)) के पूर्वानुमान गति की तुलना: CPU और GPU पर।