NVidia

हमें ऑस्ट्रेलिया में उपल्ब्ध शीर्ष स्तरीय उपभोक्ता ग्राफिक्स कार्डों की कीमतों का तुलनात्मक अध्ययन करें, जो विशेष रूप से बड़े भाषा मॉडल्स (LLMs) और सामान्य रूप से कृत्रिम बुद्धिमत्ता (AI) के लिए उपयुक्त हैं। विशेष रूप से, मैं RTX-5080 और RTX-5090 की कीमतों का अध्ययन कर रहा हूँ।

क्रॉस-मोडल एम्बेडिंग्स (https://www.glukhov.org/hi/post/2025/11/using-cross-modal-embeddings/ “क्रॉस-मोडल एम्बेडिंग्स”) कृत्रिम बुद्धिमत्ता में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करते हैं, जो एक संयुक्त प्रतिनिधित्व स्थान में विभिन्न डेटा प्रकारों को समझने और तर्क करने की अनुमति देते हैं।

एआई का लोकतांत्रीकरण अब यहाँ है। ओपन-सोर्स एलएलएम जैसे लामा 3, मिक्स्ट्रल, और क्वेन अब प्रोप्राइटरी मॉडल्स के साथ प्रतिस्पर्धा कर रहे हैं, टीम्स पावरफुल एआई इन्फ्रास्ट्रक्चर कन्स्यूमर हार्डवेयर का उपयोग करके बना सकते हैं - लागत को कम करते हुए डेटा प्राइवेसी और डिप्लॉयमेंट पर पूर्ण नियंत्रण बनाए रखते हैं।

FLUX.1-dev एक शक्तिशाली टेक्स्ट-टू-इमेज मॉडल है जो आश्चर्यजनक परिणाम उत्पन्न करता है, लेकिन इसकी 24GB+ मेमोरी आवश्यकता इसे कई सिस्टम पर चलाने में चुनौतीपूर्ण बनाती है। GGUF क्वांटाइजेशन के साथ FLUX.1-dev एक समाधान प्रदान करता है, जो मेमोरी उपयोग को लगभग 50% कम करता है जबकि उत्कृष्ट इमेज क्वालिटी बनाए रखता है।

डॉकर मॉडल रनर में कॉन्टेक्स्ट साइज कॉन्फ़िगर करने का कॉन्फ़िगरेशन अधिक जटिल है जितना होना चाहिए।

ब्लैक फॉरेस्ट लैब्स ने FLUX.1-Kontext-dev जारी किया है, एक उन्नत इमेज-टू-इमेज एआई मॉडल जो टेक्स्ट निर्देशों का उपयोग करके मौजूदा इमेजों को बढ़ाता है।

डॉकर मॉडल रनर डॉकर का आधिकारिक टूल है जो स्थानीय रूप से AI मॉडल चलाने के लिए है, लेकिन डॉकर मॉडल रनर में NVidia GPU त्वरक सक्षम करना के लिए विशेष कॉन्फ़िगरेशन की आवश्यकता होती है।

मैंने कुछ दिलचस्प प्रदर्शन परीक्षणों का पता लगाया है GPT-OSS 120b का जो Ollama पर चल रहा है, तीन अलग-अलग प्लेटफॉर्मों पर: NVIDIA DGX Spark, Mac Studio, और RTX 4080। Ollama लाइब्रेरी का GPT-OSS 120b मॉडल 65GB का है, जिसका मतलब है कि यह RTX 4080 के 16GB VRAM में नहीं फिट होता है (या नए RTX 5080).

डॉकर मॉडल रनर (डीएमआर) डॉकर का आधिकारिक समाधान है जो स्थानीय रूप से एआई मॉडल चलाने के लिए है, जो अप्रैल 2025 में पेश किया गया था। यह चीटशीट सभी आवश्यक कमांड्स, कॉन्फ़िगरेशन, और बेस्ट प्रैक्टिसेस के लिए एक तेज़ संदर्भ प्रदान करता है।

स्थानीय रूप से बड़े भाषा मॉडल (LLMs) चलाना अब गोपनीयता, लागत नियंत्रण, और ऑफ़लाइन क्षमताओं के लिए increasingly popular हो गया है। अप्रैल 2025 में, जब Docker ने Docker Model Runner (DMR) पेश किया, तो परिदृश्य महत्वपूर्ण रूप से बदल गया, जो AI मॉडल डिप्लॉयमेंट के लिए इसका आधिकारिक समाधान है।

NVIDIA DGX Spark वास्तविक है, बिक्री 15 अक्टूबर, 2025 से, और यह CUDA डेवलपर्स के लिए बनाया गया है जो स्थानीय LLM कार्य के लिए एक एकीकृत NVIDIA AI स्टैक की आवश्यकता रखते हैं। यूएस एमएसआरपी $3,999; UK/DE/JP रिटेल अधिक है VAT और चैनल के कारण। AUD/KRW सार्वजनिक स्टिकर मूल्य अभी तक व्यापक रूप से पोस्ट नहीं किए गए हैं।

बार-बार उपभोक्ता ग्राफिक्स कार्डों के मूल्य तुलना करें, जो विशेष रूप से एलएलएम और सामान्य रूप से एआई के लिए उपयुक्त हैं। विशेष रूप से, मैं RTX-5080 और RTX-5090 की कीमतों की तुलना कर रहा हूँ। उनकी कीमतें थोड़ी कम हो गई हैं।

GPU लोड मॉनिटरिंग एप्लिकेशन्स: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

हमें ऑस्ट्रेलिया में उपभोक्ता ग्राफिक्स कार्डों की कीमतों की तुलना करें, जो विशेष रूप से एलएलएम और समग्र एआई के लिए उपयुक्त हैं। विशेष रूप से, आप RTX 5080 और RTX 5090 की कीमतों देखें। ये थोड़ी कम हो गई हैं।

तीन महीने पहले हमने ऑस्ट्रेलिया के दुकानों में RTX 5090 नहीं देखा था, और अब वे यहाँ हैं, लेकिन कीमतें एमआरएसपी से थोड़ी अधिक हैं। चलो, ऑस्ट्रेलिया में RTX 5080 और RTX 5090 की सबसे सस्ती कीमतों की तुलना करें और देखें कि कैसे चल रहा है।