Llm

Googles Agent2Agent-Protokoll, meist als A2A abgekürzt, hatte ein seltsames erstes Jahr.

Polling-Agenten gehören zu den wenig glamourösen Aspekten der Architektur von KI-Assistenten, sind jedoch gleichzeitig eine der nützlichsten Komponenten.

Die Architektur von KI-Agenten beginnt sich in zwei Schichten zu gliedern.

Das A2A-Protokoll (Agent2Agent Protocol) ist ein offener Standard für die Kommunikation zwischen unabhängigen KI-Agenten-Systemen.

Design decisions for production LLM systems — routing, cost, guardrails, and multi-model orchestration. The layer between running models and building reliable AI applications.

LLM-Kosten skalieren linear mit der Nutzung. Ein System, das 10.000 Anfragen pro Tag zu 0,01 USD pro Anfrage verarbeitet, kostet 100 USD täglich – 365 USD pro Jahr. Im Unternehmensumfeld belaufen sich diese Kosten auf über 10.000 USD.

LLMs sind unvorhersehbar. Sie halluzinieren, lecken Daten, generieren schädliche Inhalte oder lehnen legitime Anfragen ab. Guardrails (Schutzmechanismen) begrenzen das Modellverhalten, ohne die Fähigkeiten einzuschränken.

Ein Modell mit 70 Milliarden Parametern für die Zusammenfassung einer 200-Wörter-E-Mail einzusetzen, ist verschwenderisch. Ein 3-Milliarden-Modell zur Überprüfung von Produktionscode einzusetzen, ist fahrlässig. Die meisten Systeme bewegen sich irgendwo dazwischen – und genau hier setzt Modell-Routing an.

Einzelsystemen mit einem einzigen Modell sind einfach. Mehrfachmodell-Systeme sind leistungsstark. Die Herausforderung besteht nicht darin, Modelle auszuwählen, sondern darin, die Architektur zu gestalten, die sie orchestriert.

Speicher wandelt Assistenten von reaktiv in persistent um, aber genau dort verrotten auch viele Systeme still vor sich hin. Umfragen zeigen, dass die Trennung in Kurzzeit- und Langzeitgedächtnis für modernes Agenten-Gedächtnis nicht mehr ausreicht; OpenAI und LangGraph-SDKs deuten auf einen simpleren Stack hin — Arbeitsgedächtnis, dauerhafter Zustand und Abruf (Retrieval).

Ein produktionsreifes KI-Assistenzsystem ist nicht „ein LLM mit einem Prompt“. Es ist ein System, das Absicht akzeptiert, Zustand behält, entscheidet, wann es Informationen abrufen oder Aktionen ausführen soll, und genügend Laufzeitdetails offenlegt, um Fehlfunktionen zu debuggen.

KI ersetzt nicht das Wissensmanagement; sie verändert dessen Gestalt für Einzelpersonen und Teams gleichermaßen.

Open-Source-KI-Agent-Frameworks erleben auf GitHub einen rasanten Popularitätsanstieg. Zwei Projekte im Kern des Ökosystems für self-hosted KI-Systeme — OpenClaw und Hermes Agent — haben einen solchen Vorsprung herausgearbeitet, dass der Rest des Feldes um einen weit entfernten dritten Platz kämpft.

Ich habe die Leistung des spekulativen Dekodierens (Multi-Token Prediction, MTP) in Qwen 3.6 27B und 35B auf einer RTX 4080 mit 16 GB VRAM getestet.

llama.cpp Router-Modus ist eine der nützlichsten Änderungen an llama-server in den letzten Jahren. Er gibt lokalen LLM-Betreibern endlich etwas, das dem Modellmanagement-Erlebnis ähnelt, das man von Ollama erwartet, während er die rohe Leistung und die niedrige Kontrollstufe beibehält, die llama.cpp überhaupt erst interessant machen.

Die Prämisse ist einfach: Kompiliertes Wissen ist wiederverwertbarer als abgerufene Fragmente. RAG wurde zur Standardantwort auf eine einfache Frage – wie gewähre ich einem LLM Zugriff auf externes Wissen?