Self-Hosting

मेमोरी बाजार 2025 के अंतिम चरण में असाधारण मूल्य अस्थिरता का सामना कर रहा है, जिसमें सभी खंडों में RAM की कीमतों में उल्लेखनीय वृद्धि हो रही है।

लोकल डिप्लॉयमेंट ऑफ़ एलएलएम्स अब increasingly popular हो गया है क्योंकि डेवलपर्स और संगठन enhanced privacy, reduced latency, और greater control over their AI infrastructure चाहते हैं।

हमें ऑस्ट्रेलिया में उपल्ब्ध शीर्ष स्तरीय उपभोक्ता ग्राफिक्स कार्डों की कीमतों का तुलनात्मक अध्ययन करें, जो विशेष रूप से बड़े भाषा मॉडल्स (LLMs) और सामान्य रूप से कृत्रिम बुद्धिमत्ता (AI) के लिए उपयुक्त हैं। विशेष रूप से, मैं RTX-5080 और RTX-5090 की कीमतों का अध्ययन कर रहा हूँ।

एआई का लोकतांत्रीकरण अब यहाँ है। ओपन-सोर्स एलएलएम जैसे लामा 3, मिक्स्ट्रल, और क्वेन अब प्रोप्राइटरी मॉडल्स के साथ प्रतिस्पर्धा कर रहे हैं, टीम्स पावरफुल एआई इन्फ्रास्ट्रक्चर कन्स्यूमर हार्डवेयर का उपयोग करके बना सकते हैं - लागत को कम करते हुए डेटा प्राइवेसी और डिप्लॉयमेंट पर पूर्ण नियंत्रण बनाए रखते हैं।

Prometheus क्लाउड-नेटिव एप्लिकेशन्स और इन्फ्रास्ट्रक्चर के लिए मॉनिटरिंग का डी फैक्टो मानक बन गया है, जो मेट्रिक्स कलेक्शन, क्वेरी, और विज़ुअलाइज़ेशन टूल्स के साथ इंटीग्रेशन प्रदान करता है।

Grafana मॉनिटरिंग और ऑब्जर्वेबिलिटी के लिए प्रमुख ओपन-सोर्स प्लेटफॉर्म है, जो मेट्रिक्स, लॉग्स, और ट्रेस को आकर्षक विज़ुअलाइज़ेशन के माध्यम से कार्यात्मक अंतर्दृष्टि में बदलता है।

कुबर्नेट्स स्टेटफुलसेट्स वे समाधान हैं जो स्थायी पहचान, स्थायी स्टोरेज, और व्यवस्थित तैनाती पैटर्न की आवश्यकता वाले स्टेटफुल एप्लिकेशन्स को प्रबंधित करने के लिए डिज़ाइन किए गए हैं—डेटाबेस, वितरित प्रणालियों, और कैशिंग लेयर्स के लिए आवश्यक। यदि आप कुबर्नेट्स के नए हैं या एक क्लस्टर सेटअप कर रहे हैं, तो विकास के लिए k3s या MicroK8s जैसे कुबर्नेट्स डिस्ट्रीब्यूशन्स का पता लगाने का विचार करें, या उत्पादन-ग्रेड क्लस्टर्स के लिए Kubespray के साथ कुबर्नेट्स इंस्टॉल करना।

FLUX.1-dev एक शक्तिशाली टेक्स्ट-टू-इमेज मॉडल है जो आश्चर्यजनक परिणाम उत्पन्न करता है, लेकिन इसकी 24GB+ मेमोरी आवश्यकता इसे कई सिस्टम पर चलाने में चुनौतीपूर्ण बनाती है। GGUF क्वांटाइजेशन के साथ FLUX.1-dev एक समाधान प्रदान करता है, जो मेमोरी उपयोग को लगभग 50% कम करता है जबकि उत्कृष्ट इमेज क्वालिटी बनाए रखता है।

डॉकर मॉडल रनर में कॉन्टेक्स्ट साइज कॉन्फ़िगर करने का कॉन्फ़िगरेशन अधिक जटिल है जितना होना चाहिए।

ब्लैक फॉरेस्ट लैब्स ने FLUX.1-Kontext-dev जारी किया है, एक उन्नत इमेज-टू-इमेज एआई मॉडल जो टेक्स्ट निर्देशों का उपयोग करके मौजूदा इमेजों को बढ़ाता है।

डॉकर मॉडल रनर डॉकर का आधिकारिक टूल है जो स्थानीय रूप से AI मॉडल चलाने के लिए है, लेकिन डॉकर मॉडल रनर में NVidia GPU त्वरक सक्षम करना के लिए विशेष कॉन्फ़िगरेशन की आवश्यकता होती है।

सही हेडलेस सीएमएस का चयन आपकी सामग्री प्रबंधन रणनीति को बना या बिगाड़ सकता है। आइए तीन ओपन-सोर्स समाधानों की तुलना करें जो डेवलपर्स को सामग्री-ड्राइवन एप्लिकेशन्स बनाने में प्रभावित करते हैं।

Nextcloud एक प्रमुख ओपन-सोर्स, सेल्फ-होस्टेड क्लाउड स्टोरेज और सहयोग प्लेटफॉर्म है जो आपको अपने डेटा पर पूर्ण नियंत्रण प्रदान करता है।

Immich एक क्रांतिकारी ओपन-सोर्स, सेल्फ-होस्टेड फोटो और वीडियो मैनेजमेंट सॉल्यूशन है जो आपको अपने यादों पर पूर्ण नियंत्रण प्रदान करता है। Google Photos के समान विशेषताओं के साथ - जिसमें AI-सक्षम चेहरा पहचान, स्मार्ट सर्च, और स्वचालित मोबाइल बैकअप शामिल हैं - जबकि आपका डेटा आपकी अपनी सर्वर पर प्राइवेट और सुरक्षित रहता है।

एलास्टिकसर्च एक शक्तिशाली वितरित खोज और विश्लेषण इंजन है जो Apache Lucene पर बनाया गया है। यह व्यापक चिट्ठा एलास्टिकसर्च क्लस्टरों के साथ काम करने के लिए आवश्यक कमांड्स, सर्वोत्तम प्रथाओं, और त्वरित संदर्भों को कवर करता है।

मैंने कुछ दिलचस्प प्रदर्शन परीक्षणों का पता लगाया है GPT-OSS 120b का जो Ollama पर चल रहा है, तीन अलग-अलग प्लेटफॉर्मों पर: NVIDIA DGX Spark, Mac Studio, और RTX 4080। Ollama लाइब्रेरी का GPT-OSS 120b मॉडल 65GB का है, जिसका मतलब है कि यह RTX 4080 के 16GB VRAM में नहीं फिट होता है (या नए RTX 5080).