Ollama

OpenClaw ist ein selbstgehosteter KI-Assistent, der mit lokalen LLM-Runtime-Umgebungen wie Ollama oder mit cloudbasierten Modellen wie Claude Sonnet laufen kann.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Selbstgehostete LLMs ermöglichen die Kontrolle über Daten, Modelle und Inferenz – ein praktischer Weg zur AI-Souveränität für Teams, Unternehmen und Nationen.

Die Ausführung großer Sprachmodelle lokal bietet Ihnen Privatsphäre, die Möglichkeit, offline zu arbeiten, und null API-Kosten.
Dieser Benchmark zeigt genau, was man von 14 beliebten
LLMs auf Ollama auf einem RTX 4080 erwarten kann.

Das Go-Ökosystem floriert weiterhin mit innovativen Projekten, die sich auf KI-Tools, selbstgehostete Anwendungen und Entwicklerinfrastruktur erstrecken. Diese Übersicht analysiert die Top-Trending-Go-Repositories auf GitHub diesen Monat.

Open WebUI ist eine leistungsstarke, erweiterbare und umfangreiche selbstgehostete Web-Schnittstelle zur Interaktion mit großen Sprachmodellen.

Der NVIDIA DGX Spark (GB10 Grace Blackwell) ist jetzt in Australien erhältlich bei großen PC-Händlern mit lokalem Lagerbestand. Wenn Sie die globale DGX Spark-Preisgestaltung und Verfügbarkeit verfolgt haben, werden Sie interessiert sein zu erfahren, dass die australischen Preise je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.

Cognee ist ein Python-Framework zur Erstellung von Wissensgraphen aus Dokumenten mithilfe von LLMs. Funktioniert es jedoch mit selbstgehosteten Modellen?

Wenn Sie mit Large Language Models in der Produktion arbeiten, ist es entscheidend, strukturierte, typensichere Ausgaben zu erhalten. Zwei beliebte Frameworks - BAML und Instructor - gehen unterschiedliche Wege, um dieses Problem zu lösen.

Die Wahl des Besten LLM für Cognee erfordert das Ausbalancieren von Graph-Qualität, Halluzinationsraten und Hardware-Beschränkungen.
Cognee leistet sich besonders gut mit größeren, niedrig-halluzinierenden Modellen (32B+) über Ollama, doch mittelgroße Optionen sind für leichtere Systeme geeignet.

Ollamas Python-Bibliothek umfasst nun native OLlama Websuche-Funktionen. Mit nur wenigen Codezeilen können Sie Ihre lokalen LLMs mit Echtzeitinformationen aus dem Web erweitern, um Halluzinationen zu reduzieren und die Genauigkeit zu verbessern.

Ollamas Web-Search-API ermöglicht es Ihnen, lokale LLMs mit Echtzeit-Webinformationen zu erweitern. Diese Anleitung zeigt Ihnen, wie Sie Web-Suchfunktionen in Go implementieren, von einfachen API-Aufrufen bis hin zu vollwertigen Suchagenten.

Das lokale Ausführen von LLMs ist jetzt für Entwickler, Startups und sogar Enterprise-Teams praktisch geworden.
Aber die Wahl des richtigen Tools — Ollama, vLLM, LM Studio, LocalAI oder andere — hängt von Ihren Zielen ab:

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Ich habe einige interessante Leistungsbenchmarks von GPT-OSS 120b gefunden, die auf Ollama unter drei verschiedenen Plattformen durchgeführt wurden: NVIDIA DGX Spark, Mac Studio und RTX 4080. Der GPT-OSS 120b-Modell aus der Ollama-Bibliothek wiegt 65 GB, was bedeutet, dass er nicht in die 16 GB VRAM des RTX 4080 (oder der neueren RTX 5080) passt.