AI

Ollamas GPT-OSS-modeller har återkommande problem med hantering av strukturerad utdata, särskilt när de används med ramverk som LangChain, OpenAI SDK, vllm och andra.

Stora språkmodeller (LLMs) är kraftfulla, men i produktion vill vi sällan ha fritt formulerade stycken. Istället vill vi ha förutsägbart data: attribut, fakta eller strukturerade objekt som du kan mata in i en app. Det är LLM Strukturerad Utdata.

Här jämför jag hur mycket VRAM den nya versionen av Ollama tilldelar modellen (https://www.glukhov.org/sv/post/2025/09/memory-allocation-in-ollama-new-version/ “Ollama VRAM-allokering”) jämfört med tidigare version. Den nya versionen är sämre.

Ollama har snabbt blivit ett av de mest populära verktygen för att köra LLMs lokalt. Dess enkla CLI och strömlinjeformade modellhantering har gjort det till ett förstahandsval för utvecklare som vill arbeta med AI-modeller utanför molnet. Men som med många lovande plattformar finns det redan tecken på Enshittification:

Lokalt värdade Ollama gör det möjligt att köra stora språkmodeller på din egen dator, men att använda det via kommandoraden är inte användarvänligt. Här är flera öppna källkodsprojekt som erbjuder ChatGPT-stilgränssnitt som ansluter till ett lokalt Ollama.

The Pragmatic Engineer-nytt publicerade för några dagar sedan undersökningsstatistik om populariteten för programmeringsspråk, IDE:er, AI-verktyg och andra data för mitten av 2025.

Nvidia står inför att släppa NVIDIA DGX Spark - en liten AI-superdator på Blackwell-arkitektur med 128+GB enhetligt RAM och 1 PFLOPS AI-prestanda. En trevlig enhet för att köra LLMs.

Ett standard Ollama-verktyg har ingen direkt rerank-API, så du måste implementera reranking med Qwen3 Reranker i GO genom att generera inbäddningar för fråga-dokument-par och poängsätta dem.

I den här testen jämför jag hur olika LLMs som är värdade på Ollama översätter Hugo-sidor från engelska till tyska. Tre sidor som jag testade handlade om olika ämnen och hade trevlig markdown med struktur: rubriker, listor, tabeller, länkar etc.

Den här lilla Go-kodexemplet för omrankning använder Ollama för att generera inbäddningar för frågan och för varje kandidatdokument, sedan sorterar i fallande ordning efter cosinuslikhet.

Hur PCIe-lanes påverkar LLM-prestanda? Beroende på uppgiften. Vid träning och multi-gpu-inferens - prestandafallet är betydande.

I biblioteket med Ollama-modeller finns det modeller som kan konvertera HTML-innehåll till Markdown, vilket är användbart för uppgifter som innehållskonvertering.

• Sökning är bäst för snabb och rak informationshämtning med hjälp av nyckelord.
• Djup Sökning utmärker sig genom att förstå kontext och avsikt, vilket ger mer relevanta och omfattande resultat för komplexa frågor.

Listar här några AI-assisterade kodverktyg och AI-kodassistenter och deras bra sidor.

Användning av LLMs är inte särskilt dyrt, kanske finns det inte ens behov av att köpa nya fantastiska GPU:er. Här är en lista över LLM-leverantörer i molnet med de LLMs de erbjuder.

Jag har en teori att jag vill testa - om användningen av alla kärnor på en Intel CPU skulle öka hastigheten på LLMs?

Det här plågar mig att den nya gemma3 27-bitarsmodellen (gemma3:27b, 17GB på ollama) inte passar in i min GPUs 16GB VRAM och delvis körs på CPU.