Self-Hosting

यहाँ एक 3-नोड K3s क्लस्टर की स्थापना का चरण-दर-चरण मार्गदर्शन है, जो बेयर-मेटल सर्वर पर किया जाता है (1 मास्टर + 2 वर्कर्स)।

बेयर-मेटल या होम सर्वर पर होस्ट करने के लिए सेल्फ-होस्टिंग कubernates वितरणों की तुलना, विशेष रूप से इंस्टॉलेशन की आसानी, प्रदर्शन, सिस्टम आवश्यकताओं और फीचर सेट पर ध्यान केंद्रित करते हुए।

मैं स्व-होस्टेड क्यूबर्नेट्स वैरिएंट्स की तुलना कर रहा हूँ जो यूबंटू-आधारित होमलैब के लिए उपयुक्त हैं जिसमें 3 नोड्स हैं (प्रत्येक में 16GB RAM, 4 कोर), जिसमें सेटअप और रखरखाव की आसानी, पर्सिस्टेंट वॉल्यूम्स और लोडबालेंसर का समर्थन पर ध्यान केंद्रित किया गया है।

GitHub Actions GitHub का एक स्वचालन और CI/CD प्लेटफॉर्म है, जो कोड को पुश, पुल रिक्वेस्ट, या एक अनुसूची के आधार पर बनाना, परीक्षण करना और तैनात करना के लिए उपयोग किया जाता है।

यहाँ एक Docker Compose चिट्ठी उदाहरणों के साथ एनोटेटेड है जो आपको Compose फाइलों और कमांड्स को तेज़ी से मास्टर करने में मदद करेगा।

यहाँ Obsidian को एक शक्तिशाली उपकरण के रूप में व्यक्तिगत ज्ञान प्रबंधन (PKM) के लिए एक विस्तृत विवरण है, जिसमें इसकी वास्तुकला, विशेषताएं, मजबूत बिंदु और आधुनिक ज्ञान कार्यप्रवाहों का समर्थन करने के तरीके का वर्णन किया गया है।

एनवीडिया DGX स्पार्क जारी करने वाला है NVIDIA DGX स्पार्क - ब्लैकवेल आर्किटेक्चर पर छोटा AI सुपरकंप्यूटर जिसमें 128+GB यूनिफाइड RAM और 1 PFLOPS AI प्रदर्शन है। LLM चलाने के लिए एक अच्छा डिवाइस है।

हमें एक त्वरित नज़र डालें Matomo, Plausible, Google और अन्य वेब एनालिटिक्स प्रदाताओं और प्रणालियों पर जो स्व-होस्टिंग के लिए उपलब्ध हैं और उन्हें तुलना करें।

यह मेरा पसंदीदा सेट है जब Ubuntu 24.04 का ताजा इंस्टॉल किया जाता है। मुझे यहां यह पसंद है कि NVidia ड्राइवरों को इंस्टॉल करने की आवश्यकता नहीं है! वे स्वचालित रूप से इंस्टॉल हो जाते हैं।

डोकूविकी एक स्व-होस्टेड विकिपीडिया है जो आसानी से ऑन-प्रिमाइसेज होस्ट किया जा सकता है और किसी भी डेटाबेस की आवश्यकता नहीं होती है। मैं इसे डॉकराइज्ड, अपने पेट क्यूबर्नेट्स क्लस्टर पर चलाता था।

हमें ऑस्ट्रेलिया में उपभोक्ता ग्राफिक्स कार्डों की कीमतों की तुलना करें, जो विशेष रूप से एलएलएम और समग्र एआई के लिए उपयुक्त हैं। विशेष रूप से, आप RTX 5080 और RTX 5090 की कीमतों देखें। ये थोड़ी कम हो गई हैं।

Apache Airflow एक ओपन-सोर्स प्लेटफॉर्म है जो प्रोग्रामेटिकली लेखन, नियोजन और वर्कफ़्लो के मॉनिटरिंग के लिए डिज़ाइन किया गया है, पूरी तरह से पायथन कोड में, जो पारंपरिक, मनमाने या यूआई-आधारित वर्कफ़्लो उपकरणों के लिए एक लचीला और शक्तिशाली विकल्प प्रदान करता है।

चूंकि मानक Ollama में सीधा रीरैंक एपीआई नहीं है,
आपको Qwen3 Reranker के साथ रीरैंकिंग करें GO में जेनरेट करके प्रश्न-दस्तावेज़ जोड़े के एम्बेडिंग्स और उनके स्कोरिंग करना होगा।

इस परीक्षण में मैं अलग-अलग LLMs के ओलामा पर होस्ट करने के बारे में जांच कर रहा हूं अंग्रेजी से जर्मन में अनुवाद करते हैं।
मैंने जो तीन पेजों की परीक्षा की वे अलग-अलग विषयों पर थे, कुछ अच्छे मार्कडाउन के साथ थे, जिसमें कुछ संरचना थी: मुख्य शीर्षक, सूची, तालिका, लिंक आदि।

यह छोटा सा
पुनर्विन्यास Go केode उदाहरण में Ollama को रनिंग (Reranking) करके एम्बेडिंग (embeddings) जनरेट करने का प्रयोग हुआ है
क्वेरी (query) और प्रत्येक कैंडिडेट दस्तावेज़ (candidate document) के लिए,
फिर कोसाइन समानता (cosine similarity) के आधार पर अवरोधकता (descending order) में दर्जीन (sorting) करना है।

तीन महीने पहले हमने ऑस्ट्रेलिया के दुकानों में RTX 5090 नहीं देखा था, और अब वे यहाँ हैं, लेकिन कीमतें एमआरएसपी से थोड़ी अधिक हैं। चलो, ऑस्ट्रेलिया में RTX 5080 और RTX 5090 की सबसे सस्ती कीमतों की तुलना करें और देखें कि कैसे चल रहा है।