Self-Hosting

Jag hittade några intressanta prestandatest av GPT-OSS 120b som kör på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio, och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65 GB, vilket innebär att den inte passar in i den 16 GB VRAM som finns på en RTX 4080 (eller den nyare RTX 5080).

Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här cheatsheten ger en snabb referens för alla viktiga kommandon, konfigurationer och bästa praxis.

Att köra stora språkmodeller (LLMs) lokalt har blivit alltmer populärt för skydd av integritet, kostnadsstyrning och möjlighet att använda modeller offline. Landskapet förändrades betydligt i april 2025 när Docker introducerade Docker Model Runner (DMR), sin officiella lösning för distribution av AI-modeller.

I dagens datormiljö har virtualisering blivit avgörande för utveckling, testning och körning av flera operativsystem. För Linux-användare som söker ett enkelt och intuitivt sätt att hantera virtuella maskiner, sticker GNOME Boxes ut som ett lättviktigt och användarvänligt alternativ som prioriterar enkelhet utan att offra funktionalitet.

Multipass är en lättviktshanterare för virtuella maskiner som gör det enkelt att skapa och hantera Ubuntu-molninstanser på Linux, Windows och macOS.

Medan Google dominerar sökmotorsmarknaden med över 90% global marknadsandel, finns det en växande ekosystem av alternativa sökmotorer som erbjuder olika tillvägagångssätt för webbsökning.

Framtiden för AI är inte bara om smartare modeller – den handlar om smartare kisel.

Specialiserad hårdvara för LLM-inferens driver en revolution som liknar Bitcoin-minningens övergång till ASICs.

Nätverket var ursprungligen utformat som ett decentraliserat nätverk där vem som helst kunde publicera och ansluta. Med tiden konsoliderade företagsplattformar kontrollen, skapande stängda trädgårdar där användare är produkter och innehåll är låst in. Indie Web-rörelsen strävar efter att återställa det ursprungliga löftet om webb: personlig äganderätt, kreativ frihet och äkta kontakt.

NVIDIA DGX Spark är verkligt, till salu 15 oktober 2025, och riktar sig till CUDA-utvecklare som behöver lokalt LLM-arbete med en integrerad NVIDIA AI-stack. US MSRP $3,999; UK/DE/JP detaljhandel är högre på grund av moms och kanaler. AUD/KRW offentliga prislappar är inte ännu allmänt publicerade.

Protokollet Gemini (https://www.glukhov.org/sv/post/2025/10/gemini-protocol/ “Gemini-protokollet indieweb”) representerar en återgång till grunderna för internetkommunikation - en lättviktig, säker och integritetsrespektande alternativ till den alltmer komplexa moderna weben.

Den här guiden ger en omfattande översikt över tillgängliga Go SDK:er för Ollama och jämför deras funktionssätt.

Här är en jämförelse mellan Qwen3:30b och GPT-OSS:20b fokuserande på instruktionssäljning och prestandaparametrar, specifikationer och hastighet.

Här är en snabb information om Write.as / WriteFreely - hur det passar in i fediversumet, var man kan få hanterad värd, hur användningstrenden ser ut och hur man själv värdar (plus grova kostnadsberäkningar).

I detta inlägg kommer vi att utforska två sätt att ansluta din Python-applikation till Ollama: 1. Via HTTP REST API; 2. Via den officiella Ollama Python-biblioteket.

Proxmox Virtual Environment (Proxmox VE) är en öppen källkod, typ-1 hypervisor och datacenter-orkestreringsplattform byggd på Debian.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser. De har något sjunkit.