Docker

Vane är en av de mer pragmatiska lösningarna inom området för “AI-sök med källhänvisningar”: ett självärbetet svarsmotor som blandar live-webbhämtning med lokala eller molnbaserade LLM:er, samtidigt som hela stacken hålls under din kontroll.

Hermes Agent är en självhöstad, modellagnostisk AI-assistent som kör på en lokal maskin eller en billig VPS, fungerar via terminal- och meddelargränssnitt och förbättras över tid genom att omvandla upprepade uppgifter till återanvändbara färdigheter.

Text Generation Inference (TGI) har en mycket specifik energi. Det är inte den nyaste killen på inferensgatan, men det är den som redan har lärt sig hur produktion bryts –

Ollama fungerar utmärkt på “bare metal”. Det blir ännu mer intressant när du behandlar det som en tjänst: en stabil slutpunkt, fastlagda versioner, beständig lagring och en GPU som antingen är tillgänglig eller inte.

Neo4j är det verktyg du vänder dig till när relationerna är datan. Om din domän ser ut som en whiteboard med cirklar och pilar blir det smärtsamt att tvinga den in i tabeller.

SGLang är ett högpresterande ramverk för servering av stora språkmodeller och multimodala modeller, byggt för att leverera inferens med låg latens och hög genomströmning över allt från en enda GPU till distribuerade kluster.

Apache Kafka 4.2.0 är den aktuella supportade utgåvelinjen, och den utgör den bästa basen för ett modernt snabbstartsguide eftersom Kafka 4.x är helt utan ZooKeeper och bygger på KRaft som standard.

Snart kastar du mellan vLLM, llama.cpp och mer – varje stack på sin egen port. Allt nedströms vill fortfarande ha en enda bas-URL /v1; annars fortsätter du att shuffla med portar, profiler och skript för enskilda fall. llama-swap är /v1-proxyn som ligger framför dessa stackar.

Att utveckla mjukvara innebär att använda Git för versionshantering, Docker för containerisering, bash för automatisering, PostgreSQL för databaser och VS Code för redigering – tillsammans med otaliga andra verktyg som avgör din produktivitet. Denna samlar de nödvändiga fuskblad, arbetsflöden och jämförelser du behöver för att arbeta effektivt över hela utvecklingsstacken.

OpenHands är en öppen källkodsplattform som är modellagnostisk för AI-drivna agenter för mjukvaruutveckling. Den låter en agent bete sig mer som en kodpartner än ett enkelt verktyg för automatisk komplettering.

LocalAI är en självhostad, lokal-först inferensserver designad för att bete sig som en drop-in OpenAI API för att köra AI-arbetsbelastningar på din egen hårdvara (bärbar dator, arbetsstation eller on-prem-server).

LLM-inferens ser ut som “en API till” – fram till dess att latens toppar, köer backar upp och dina GPU:er sitter på 95 % minnesanvändning utan någon uppenbar förklaring.

OpenClaw är en självhyst AI-assistant designad för att köras med lokala LLM-runtime som Ollama eller med molnbaserade modeller som Claude Sonnet.

Go-ekosystemet fortsätter att blomstra med innovativa projekt inom AI-verktyg, självvärddade program och utvecklareinfrastruktur. Den här översikten analyserar de topp 100 populära Go-repositorier på GitHub denna månad.

Öppna WebUI är ett kraftfullt, utökligt och funktionstomt självvärddat webbgränssnitt för att interagera med stora språkmodeller.

vLLM är en högflödes- och minneseffektiv inferens- och serveringmotor för stora språkmotorer (LLM) som utvecklats av UC Berkeleys Sky Computing Lab.