Self-Hosting

Här är mitt favoritsteg när jag gör en färsk installation av Ubuntu 24.04. Vad jag gillar här - inget behov av att installera NVidia-drivrutiner! de installeras automatiskt.

Dokuwiki är en självvärd wikipedia som kan värdas enkelt på plats och inte kräver några databaser. Jag körde det i docker, på mitt personliga kubernetes-kluster.

Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Speciellt titta på RTX 5080 och RTX 5090-priser. De har något sjunkit.

Apache Airflow är en öppen källkodplattform som är utformad för att programmatiskt skriva, schemalägga och övervaka flöden - helt i Python-kod, vilket erbjuder en flexibel och kraftfull alternativ till traditionella, manuella eller gränssnittsbaserade flödesverktyg.

Ett standard Ollama-verktyg har ingen direkt rerank-API, så du måste implementera reranking med Qwen3 Reranker i GO genom att generera inbäddningar för fråga-dokument-par och poängsätta dem.

I den här testen jämför jag hur olika LLMs som är värdade på Ollama översätter Hugo-sidor från engelska till tyska. Tre sidor som jag testade handlade om olika ämnen och hade trevlig markdown med struktur: rubriker, listor, tabeller, länkar etc.

Den här lilla Go-kodexemplet för omrankning använder Ollama för att generera inbäddningar för frågan och för varje kandidatdokument, sedan sorterar i fallande ordning efter cosinuslikhet.

För bara 3 månader sedan såg vi inga RTX 5090 i butikerna, och nu är de här, men priserna är något högre än MRSP. Låt oss jämföra de billigaste priserna för RTX 5080 och RTX 5090 i Australien och se hur det går.

YaCy är en decentraliserad, peer-to-peer (P2P) sökmotor som är utformad för att fungera utan centrala servrar, vilket gör det möjligt för användare att skapa lokala eller globala index och utföra sökningar genom att fråga distribuerade peers.

Top automatiserat system för ett fantastiskt jobb.

Modellerna för Qwen3 Embedding och Reranker (https://www.glukhov.org/sv/post/2025/06/qwen3-embedding-qwen3-reranker-on-ollama/ “Qwen3 Embedding och Reranker modeller på ollama”) är de senaste lanseringarna i Qwen-familjen, specifikt utformade för avancerade textembedding-, återvinning- och omrankningstjänster.

Länge har jag varit irriterad över att behöva placera miniatyrbilder av sidorna i statisk katalog. Det gäller för Mainroad, Rodster och liknande Hugo-teman.

Hur PCIe-lanes påverkar LLM-prestanda? Beroende på uppgiften. Vid träning och multi-gpu-inferens - prestandafallet är betydande.

Nästa steg är att implementera någon CI/CD och konfigurera Gitea Actions för Hugo-webbplats, för att automatiskt skicka webbplatsen till AWS S3 när huvudgrenen uppdateras.

I biblioteket med Ollama-modeller finns det modeller som kan konvertera HTML-innehåll till Markdown, vilket är användbart för uppgifter som innehållskonvertering.

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.