AI

Ollama के GPT-OSS मॉडल्स में संरचित आउटपुट को हैंडल करने में बार-बार समस्याएं आती हैं, विशेष रूप से जब उन्हें LangChain, OpenAI SDK, vllm जैसे फ्रेमवर्क्स के साथ उपयोग किया जाता है, और अन्य।

बड़े भाषा मॉडल (LLMs) शक्तिशाली हैं, लेकिन उत्पादन में हम आमतौर पर मुक्त-रूप पेराग्राफ नहीं चाहते। बजाय इसके, हम प्रत्याशित डेटा चाहते हैं: विशेषताएं, तथ्य, या संरचित वस्तुएं जिन्हें आप एक ऐप में फीड कर सकते हैं। यह है LLM संरचित आउटपुट।

मैं नए ओल्लामा संस्करण में मॉडल के लिए आवंटित VRAM की तुलना (Ollama VRAM allocation) पुराने संस्करण के साथ कर रहा हूँ। नया संस्करण खराब है।

Ollama ने स्थानीय रूप से एलएलएम चलाने के लिए सबसे लोकप्रिय उपकरणों में से एक बनने में तेजी से प्रगति की है। इसके सरल सीएलआई और सुलभ मॉडल प्रबंधन ने इसे क्लाउड के बाहर एआई मॉडल्स के साथ काम करने वाले डेवलपर्स के लिए एक प्राथमिक विकल्प बना दिया है। लेकिन कई वादा करने वाले प्लेटफॉर्म की तरह, Enshittification के संकेत पहले से ही दिखाई देने लगे हैं:

स्थानीय रूप से होस्टेड Ollama आपको अपने मशीन पर बड़े भाषा मॉडल चलाने की अनुमति देता है, लेकिन कमांड-लाइन के माध्यम से इसका उपयोग करना उपयोगकर्ता-मित्र नहीं है। यहाँ कुछ ओपन-सोर्स प्रोजेक्ट्स हैं जो ChatGPT-स्टाइल इंटरफेस प्रदान करते हैं जो स्थानीय Ollama से कनेक्ट होते हैं।

द प्रैग्मैटिक इंजीनियर लेटर ने कुछ दिन पहले एक सर्वेक्षण प्रकाशित किया जिसमें 2025 के मध्य के लिए प्रोग्रामिंग भाषाओं, IDEs, AI टूल्स और अन्य डेटा की लोकप्रियता के आंकड़े शामिल हैं।

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।

एक ठंडे जुलाई के दिन… जो कि ऑस्ट्रेलिया में होता है… मुझे एक एआई मॉडल ट्रेन करने की तत्काल आवश्यकता महसूस हुई जो अनकैप्ड कंक्रीट रीइनफोर्समेंट बार्स को पहचान सके…

इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।

यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।

PCIe चैनल कैसे LLM के कार्यक्षमता पर प्रभाव डालते हैं? कार्य पर निर्भर करता है। प्रशिक्षण और बहु-GPU अनुमान लगाने के लिए - कार्यक्षमता में गिरावट महत्वपूर्ण होती है।

ओलामा मॉडल पुस्तकालय में ऐसे मॉडल हैं जो HTML कंटेंट को मार्कडाउन में परिवर्तित कर सकते हैं के लिए उपयोगी हैं, जो कंटेंट परिवर्तन कार्यों के लिए उपयोगी हैं।

• खोज शब्दों के उपयोग द्वारा त्वरित और सीधे जानकारी प्राप्त करने के लिए सबसे अच्छा है।
• गहरी खोज प्रसंग और उद्देश्य के समझने में उत्कृष्ट है, जो जटिल प्रश्नों के लिए अधिक संबंधित और व्यापक परिणाम प्रदान करता है।

यहाँ कुछ AI सहायक निर्माण उपकरणों और AI Coding Assistants तथा उनके अच्छे पक्षों की सूची है।

एलएलएम का उपयोग करना बहुत महंगा नहीं है, नई शानदार जीपीयू खरीदने की आवश्यकता नहीं हो सकती। यहाँ क्लाउड में एलएलएम प्रदाताओं की सूची है जिनके पास वे एलएलएम होस्ट करते हैं।