AI

Open WebUI ist eine leistungsstarke, erweiterbare und funktionsreiche selbstgehostete Webschnittstelle zur Interaktion mit großen Sprachmodellen.

vLLM ist ein hochleistungsfähiger, speichereffizienter Inference- und Serving-Engine für Large Language Models (LLMs), entwickelt vom Sky Computing Lab der UC Berkeley.

Der NVIDIA DGX Spark (GB10 Grace Blackwell) ist jetzt in Australien erhältlich bei großen PC-Händlern mit lokalem Lagerbestand. Wenn Sie die globale DGX Spark-Preisgestaltung und Verfügbarkeit verfolgt haben, werden Sie interessiert sein zu erfahren, dass die australischen Preise je nach Speicherkonfiguration und Händler zwischen 6.249 und 7.999 AUD liegen.

Die Verbreitung von KI-generierten Inhalten hat eine neue Herausforderung geschaffen: den Unterschied zwischen echter menschlicher Schrift und “AI slop” - niedrigwertigen, massenhaft produzierten synthetischen Texten - zu erkennen.

Cognee ist ein Python-Framework zum Aufbau von Wissensgraphen aus Dokumenten unter Verwendung von LLMs. Aber funktioniert es mit selbstgehosteten Modellen?

Wenn Sie mit Large Language Models in der Produktion arbeiten, ist es entscheidend, strukturierte, typensichere Ausgaben zu erhalten. Zwei beliebte Frameworks - BAML und Instructor - gehen unterschiedliche Wege, um dieses Problem zu lösen.

Die Auswahl des besten LLM für Cognee erfordert eine Balance zwischen Graphenbauqualität, Halluzinationsraten und Hardware-Beschränkungen. Cognee glänzt mit größeren, halluzinationsarmen Modellen (32B+) über Ollama, aber mittlere Optionen eignen sich für leichtere Setups.

Steigern Sie die Produktivität mit Jupyter Notebook mit wesentlichen Shortcuts, Zauberbefehlen und Workflow-Tipps, die Ihr Datenwissenschafts- und Entwicklererlebnis transformieren werden.

Ollamas Python-Bibliothek umfasst nun native OLlama Websuche-Funktionen. Mit nur wenigen Codezeilen können Sie Ihre lokalen LLMs mit Echtzeitinformationen aus dem Web erweitern, um Halluzinationen zu reduzieren und die Genauigkeit zu verbessern.

Die Wahl des richtigen Vektor-Speichers kann über Leistung, Kosten und Skalierbarkeit Ihrer RAG-Anwendung entscheiden. Dieser umfassende Vergleich deckt die beliebtesten Optionen für 2024-2025 ab.

Ollamas Web-Search-API ermöglicht es Ihnen, lokale LLMs mit Echtzeit-Webinformationen zu erweitern. Diese Anleitung zeigt Ihnen, wie Sie Web-Suchfunktionen in Go implementieren, von einfachen API-Aufrufen bis hin zu vollwertigen Suchagenten.

Lokale Bereitstellung von LLMs hat an Beliebtheit zugenommen, da Entwickler und Organisationen eine verbesserte Privatsphäre, reduzierte Latenz und eine größere Kontrolle über ihre KI-Infrastruktur anstreben.

Als KI- und ML-Workloads zunehmend komplexer werden, steigt der Bedarf an robusten Orchestrierungssystemen. Die Einfachheit, Leistung und Parallelverarbeitung von Go machen es zur idealen Wahl für den Aufbau der Orchestrierungsebene von ML-Pipelines, selbst wenn die Modelle selbst in Python geschrieben sind.

Cross-modale Einbettungen stellen einen Durchbruch in der künstlichen Intelligenz dar und ermöglichen das Verständnis und die Schlussfolgerung über verschiedene Datentypen hinweg in einem einheitlichen Darstellungsraum.

Die Demokratisierung von KI ist da. Mit Open-Source-LLMs wie Llama 3, Mixtral und Qwen, die nun mit proprietären Modellen mithalten, können Teams leistungsstarke KI-Infrastruktur mit Consumer-Hardware aufbauen - Kosten senken, während sie die vollständige Kontrolle über Datenschutz und Bereitstellung behalten.

Retrieval-Augmented Generation (RAG) hat sich weit über einfache Vektorsimilaritäts-Suche hinaus entwickelt. LongRAG, Self-RAG und GraphRAG repräsentieren die Spitze dieser Fähigkeiten.