खास चिप्स AI इन्फरेंस को तेज़ और सस्ता बना रहे हैं
भविष्य की AI केवल अधिक बुद्धिमान मॉडल्स के बारे में नहीं है - यह अधिक बुद्धिमान सिलिकॉन के बारे में है। LLM इन्फरेंस के लिए विशेषीकृत हार्डवेयर एक क्रांति को चलाने में मदद कर रहा है जो बिटकॉइन माइनिंग के ASICs की ओर शिफ्ट के समान है।
उपलब्धता, छह देशों में वास्तविक रिटेल मूल्य, और मैक स्टूडियो के साथ तुलना।
NVIDIA DGX Spark वास्तविक है, बिक्री 15 अक्टूबर, 2025 से, और यह CUDA डेवलपर्स के लिए बनाया गया है जो स्थानीय LLM कार्य के लिए एक एकीकृत NVIDIA AI स्टैक की आवश्यकता रखते हैं। यूएस एमएसआरपी $3,999; UK/DE/JP रिटेल अधिक है VAT और चैनल के कारण। AUD/KRW सार्वजनिक स्टिकर मूल्य अभी तक व्यापक रूप से पोस्ट नहीं किए गए हैं।
ओलामा के साथ गो की इंटीग्रेशन: SDK गाइड, उदाहरण और उत्पादन बेस्ट प्रैक्टिस।
यह गाइड उपलब्ध Go SDKs for Ollama के विस्तृत समीक्षा प्रदान करता है और उनके विशेषताओं के सेट की तुलना करता है।
इन दो मॉडलों की गति, पैरामीटर्स और प्रदर्शन का तुलनात्मक अध्ययन
यहाँ Qwen3:30b और GPT-OSS:20b के बीच तुलना है, जो निर्देश पालन और प्रदर्शन पैरामीटर्स, स्पेसिफिकेशन्स और गति पर केंद्रित है:
बहुत अच्छा नहीं।
Ollama के GPT-OSS मॉडल्स में संरचित आउटपुट को हैंडल करने में बार-बार समस्याएं आती हैं, विशेष रूप से जब उन्हें LangChain, OpenAI SDK, vllm जैसे फ्रेमवर्क्स के साथ उपयोग किया जाता है, और अन्य।
Ollama से संरचित आउटपुट प्राप्त करने के कुछ तरीके
बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।
अपना खुद का परीक्षण ओलामा मॉडल शेड्यूलिंग
मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।
ओल्लामा विकास के वर्तमान स्थिति पर मेरा दृष्टिकोण
Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:
2025 में ओल्लामा के लिए सबसे प्रमुख यूआई का त्वरित अवलोकन
स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।
सॉफ्टवेयर इंजीनियरिंग उपकरणों और भाषाओं की तुलना
द प्रैग्मैटिक इंजीनियर लेटर ने कुछ दिन पहले एक सर्वेक्षण प्रकाशित किया जिसमें 2025 के मध्य के लिए प्रोग्रामिंग भाषाओं, IDEs, AI टूल्स और अन्य डेटा की लोकप्रियता के आंकड़े शामिल हैं।
जुलाई 2025 में, जल्द ही यह उपलब्ध हो जाना चाहिए
एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।
RAG को लागू कर रहे हैं? यहाँ कुछ Go कोड टुकड़े हैं - 2...
चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।
कुछ समय पहले मैंने ऑब्जेक्ट डिटेक्टर AI को ट्रेन किया था
एक ठंडे जुलाई के दिन… जो कि ऑस्ट्रेलिया में होता है… मुझे एक एआई मॉडल ट्रेन करने की तत्काल आवश्यकता महसूस हुई जो अनकैप्ड कंक्रीट रीइनफोर्समेंट बार्स को पहचान सके…
qwen3 8b, 14b और 30b, devstral 24b, mistral small 24b
इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।
आपका प्रश्न
यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।
एलईएम के लिए दूसरे जीपीयू की宣安装 के बारे में सोच रहे हैं?
PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।
