K8S

vLLM Quickstart: Hochleistungs-LLM-Serving

vLLM Quickstart: Hochleistungs-LLM-Serving

Schnelle LLM-Inferenz mit der OpenAI-API

vLLM ist ein hochleistungsfähiger, speichereffizienter Inference- und Serving-Engine für Large Language Models (LLMs), entwickelt vom Sky Computing Lab der UC Berkeley.

KI-Infrastruktur auf Consumer-Hardware

KI-Infrastruktur auf Consumer-Hardware

Enterprise-KI auf Budget-Hardware mit Open-Modellen einsetzen

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Helm-Charts: Paketverwaltung für Kubernetes

Helm-Charts: Paketverwaltung für Kubernetes

Kubernetes-Deployments mit Helm-Paketverwaltung

Helm hat die Bereitstellung von Kubernetes-Anwendungen revolutioniert, indem es Paketverwaltungs Konzepte einführen, die von traditionellen Betriebssystemen bekannt sind.

StatefulSets & Persistente Speicherung in Kubernetes

StatefulSets & Persistente Speicherung in Kubernetes

Bereitstellen von zustandsbehafteten Anwendungen mit geordneter Skalierung und persistenter Daten

Kubernetes StatefulSets sind die optimale Lösung für die Verwaltung von zustandsbehafteten Anwendungen, die stabile Identitäten, dauerhafte Speicherung und geordnete Bereitstellungsmuster benötigen – essenziell für Datenbanken, verteilte Systeme und Caching-Schichten.

Kubernetes-Checkliste

Kubernetes-Checkliste

Häufige k8s-Befehle mit Parametern

Hier ist mein k8s Cheatsheet,
der die wichtigsten Kubernetes-Befehle und Konzepte von der Installation bis zum Laufen von Containern und zur Bereinigung abdeckt: