Jämförelse av chunkningsstrategier i RAG
Chunking är den * mest undervärderade * hyperparametern i Retrieval ‑ Augmenterad Generering (RAG): den bestämmer tyst och osynligt vad din LLM “ser”, hur dyrt ingångsarbete blir, och hur mycket av LLM:s kontextfönster du förbrukar per svar.
Styra data och modeller med självvärddade LLM:er
Self-hosting av LLM:er håller data, modeller och inferens under din kontroll – en praktisk väg till AI-soveränitet för team, företag och nationer.
LLM-hastighetstest på RTX 4080 med 16 GB VRAM
Att köra stora språkmodeller lokalt ger dig integritet, möjlighet att använda dem offline och noll kostnader för API:er. Detta benchmark visar exakt vad man kan förvänta sig från 14 populära LLMs på Ollama på en RTX 4080.
Januari 2025 GPU- och RAM-prischeck
Idag tittar vi på de högsta nivåerna av konsumentspelkort och RAM-moduler. Specifikt tittar jag på RTX-5080 och RTX-5090-priser, och 32GB (2x16GB) DDR5 6000.
Välj rätt terminal för din Linux-arbetsflöde
En av de viktigaste verktygen för Linux-användare är terminalsimulatorer.
Riktiga AUD-priser från australiska detaljhandlare nu
The
NVIDIA DGX Spark
(GB10 Grace Blackwell) är nu
tillgänglig i Australien
hos stora PC-handlare med lokalt lager.
Om du följt med i
global DGX Spark-priser och tillgänglighet,
så kommer du att vara intresserad att veta att australiska priser ligger mellan 6 249 till 7 999 AUD beroende på lagringskonfiguration och handlare.
Testa Cognee med lokala LLMs - verkliga resultat
Cognee är en Pythonramverk för att bygga kunskapsgrafer från dokument med hjälp av LLMs. Men fungerar det med självvärdbaserade modeller?
Hur jag löste nätverksproblem i Ubuntu
Efter att ha installerat en ny kernel automatiskt, har Ubuntu 24.04 förlorat ethernetnätverket. Detta frustrerande problem uppstod för mig en andra gång, så jag dokumenterar lösningen här för att hjälpa andra som stöter på samma problem.
Kort inlägg, noterar bara priset
Med denna galna RAM-prisvolatilitet, för att bilda och ha en bättre bild, låt oss först spåra RAM-priset i Australien.
RAM-priser stiger med 163-619% när AI-nachfrågan belastar tillgången
Minnetmarknaden upplever ovanligt prisvolatilitet i slutet av 2025, med RAM-priser som skjuter i höjden dramatiskt över alla segment.
Priser på AI-lämpliga konsument-GPU:er - RTX 5080 och RTX 5090
Låt oss jämföra priser för toppnivå-konsument-GPUs som är lämpliga för LLMs i synnerhet och AI i allmänhet. Specifikt tittar jag på RTX-5080 och RTX-5090-priser.
Distribuera företags-AI på budget-hårdvara med öppna modeller
Demokratiseringen av AI är här. Med öppna källkods-LLMs som Llama 3, Mixtral och Qwen som nu konkurrerar med proprietära modeller kan team bygga kraftfull AI-infrastruktur med konsumenthårdvara - sänka kostnader samtidigt som full kontroll bibehålls över datasekretess och distribution.
Aktivera GPU-accelerering för Docker Model Runner med stöd för NVIDIA CUDA
Docker Model Runner är Docks officiella verktyg för att köra AI-modeller lokalt, men aktivera NVidia GPU-acceleration i Docker Model Runner kräver specifik konfiguration.
GPT-OSS 120b-benchmärkningar på tre AI-plattformar
Jag hittade några intressanta prestandatest av GPT-OSS 120b som kör på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio, och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65 GB, vilket innebär att den inte passar in i den 16 GB VRAM som finns på en RTX 4080 (eller den nyare RTX 5080).
Snabbreferens för Docker Model Runner-kommandon
Docker Model Runner (DMR) är Docks officiella lösning för att köra AI-modeller lokalt, introducerad i april 2025. Den här cheatsheten ger en snabb referens för alla viktiga kommandon, konfigurationer och bästa praxis.
