Docker

Un agente AI self-hosted ha bisogno di più di una finestra di contesto lunga. Ha bisogno di un modo per ritenere fatti utili, recuperare decisioni precedenti e rivedere ciò che crede di sapere man mano che i progetti evolvono.

ROCm e Vulkan accelerano entrambe le GPU AMD per l’hosting locale di LLM, ma non sono intercambiabili. La scelta giusta dipende dal motore, dalla GPU e dal carico di lavoro.

Ollama è uno dei modi più semplici per eseguire un modello linguistico locale, ma la praticità può nascondere il momento in cui un esperimento locale diventa un servizio di inferenza condiviso che richiede una migliore pianificazione e osservabilità.

Docker Compose e Podman Quadlet risolvono problemi sovrapposti ma provengono da centri di progettazione diversi, e la scelta tra i due dipende dal fatto che si pensi in termini di stack di applicazioni o di servizi Linux.

Docker Compose su un server Linux dovrebbe avviarsi all’avvio, fermarsi in modo pulito allo spegnimento e sopravvivere ai riavvii senza intervento manuale.

L’installazione di Docker su Ubuntu dovrebbe essere semplice, ma nella pratica diverse opzioni “a forma di Docker” competono per lo stesso nome comando, ognuna con packaging, comportamenti di aggiornamento e implicazioni di sicurezza diversi.

Vane è una delle opzioni più pragmatiche nell’ambito della “ricerca AI con citazioni”: un motore di risposta self-hosted che combina il recupero live dal web con LLM locali o cloud, mantenendo l’intero stack sotto il vostro controllo.

Hermes Agent è un assistente AI self-hosted e indipendente dal modello che funziona su una macchina locale o su un VPS a basso costo, opera attraverso interfacce terminali e di messaggistica e migliora nel tempo trasformando i compiti ripetitivi in abilità riutilizzabili.

Text Generation Inference (TGI) ha un’energia molto specifica. Non è il più nuovo arrivato nella strada dell’inferenza, ma è quello che ha già imparato come la produzione si rompe -

Ollama funziona egregiamente su hardware nativo. Diventa ancora più interessante quando lo si tratta come un servizio: un endpoint stabile, versioni bloccate, storage persistente e una GPU che o è disponibile o non lo è.

Neo4j è la soluzione a cui si ricorre quando le relazioni sono i dati. Se il tuo dominio assomiglia a una lavagna piena di cerchi e frecce, forzare tutto in tabelle è doloroso.

SGLang è un framework di serving ad alte prestazioni per grandi modelli linguistici e modelli multimodali, progettato per fornire inferenza a bassa latenza e alto throughput in tutto, da una singola GPU a cluster distribuiti.

Presto ti ritroverai a gestire vLLM, llama.cpp e altri componenti, ognuno su una porta propria. Tutta l’infrastruttura a valle richiede comunque un unico /v1 come base URL; altrimenti continuerai a riordinare porte, profili e script one-off. llama-swap è il proxy /v1 da posizionare davanti a quegli stack.

Apache Kafka 4.2.0 è la versione supportata attuale e rappresenta la base ideale per una moderna guida introduttiva, poiché Kafka 4.x è completamente privo di ZooKeeper e si basa su KRaft per impostazione predefinita.

Lo sviluppo di software implica l’uso di Git per il controllo delle versioni, Docker per la containerizzazione, bash per l’automazione, PostgreSQL per i database e VS Code per l’editoria, insieme a innumerevoli altri strumenti che determinano il successo o il fallimento della tua produttività. Questa pagina raccoglie le schede rapide, i flussi di lavoro e i confronti essenziali di cui hai bisogno per lavorare in modo efficiente in tutta la pila di sviluppo.

OpenHands è una piattaforma open-source, agnostica rispetto al modello, per agenti di sviluppo software guidati dall’IA. Permette a un agente di comportarsi più come un partner di programmazione che come un semplice strumento di autocompletamento.