SelfHosting

Per molto tempo, llama.cpp ha avuto una limitazione evidente:
potevi servire un solo modello per processo e il cambio richiedeva un riavvio.

La gestione della conoscenza personale abbraccia Obsidian, Logseq, DokuWiki, Zettelkasten e PARA: la scelta giusta dipende da ciò che desideri, ovvero un grafo di note locale, una wiki auto-ospitata o un flusso di lavoro guidato da un outliner.

L’assistente AI Hermes, documentato ufficialmente come Hermes Agent, non è posizionato come un semplice wrapper per la chat.

OpenClaw ha due storie di estensione, e sono facili da confondere.

I plugin estendono il runtime. Le competenze (Skills) estendono il comportamento dell’agente.

Questo articolo riguarda i plugin OpenClaw — pacchetti gateway nativi che aggiungono canali, fornitori di modelli, strumenti, voce, memoria, media, ricerca web e altre superfici runtime.

OpenClaw sembra semplice nelle dimostrazioni. In produzione, diventa un sistema.

Vane è una delle voci più pragmatiche nel settore della “ricerca AI con citazioni”: un motore di risposta ospitato autonomamente che combina il recupero live sul web con LLM locali o cloud, mantenendo l’intera stack sotto il tuo controllo.

Hermes Agent è un assistente AI auto-ospitato e agnostico rispetto al modello che si esegue su una macchina locale o su un VPS a basso costo, opera tramite interfacce a terminale e di messaggistica e migliora nel tempo trasformando i compiti ripetitivi in competenze riutilizzabili.

Text Generation Inference (TGI) ha un’energia molto specifica. Non è il più nuovo arrivato nella strada dell’inferenza, ma è quello che ha già imparato come la produzione si rompe -

SGLang è un framework di serving ad alte prestazioni per grandi modelli linguistici e modelli multimodali, progettato per fornire inferenza a bassa latenza e alto throughput in tutto, da una singola GPU a cluster distribuiti.

Presto ti troverai a gestire vLLM, llama.cpp e altro ancora, con ogni stack sul proprio porto. Tutto il downstream desidera comunque un URL base /v1; altrimenti continuerai a spostare porti, profili e script ad hoc. llama-swap è il proxy /v1 che precede questi stack.

Torno sempre su llama.cpp per l’inferenza locale: offre un controllo che Ollama e altri astraggono, e semplicemente funziona. È facile eseguire modelli GGUF in modo interattivo con llama-cli o esporre un’API HTTP compatibile con OpenAI con llama-server.

La maggior parte delle configurazioni locali per l’AI inizia allo stesso modo: un modello, un runtime e un’interfaccia di chat.

Scegliere il giusto headless CMS può fare la differenza nel tuo piano di gestione del contenuto. Confrontiamo tre soluzioni open source che influenzano il modo in cui gli sviluppatori costruiscono applicazioni guidate dal contenuto.

Elencherò qui alcuni strumenti di coding assistito dall’IA e Assistenti di Coding AI e i loro aspetti positivi.