Ollama

Hier vergelijk ik hoeveel VRAM de nieuwe versie van Ollama toewijst aan het model hier met de vorige Ollama-versie. De nieuwe versie is erger.

Ollama is snel geworden tot een van de populairste tools voor het lokaal uitvoeren van LLMs. Zijn eenvoudige CLI en gestroomlijnde modelbeheer hebben het tot de favoriete optie gemaakt voor ontwikkelaars die willen werken met AI-modellen buiten de cloud. Maar net als bij veel veelbelovende platforms zijn er al tekenen van Enshittification:

Locally geïnstalleerde Ollama stelt u in staat om grote taalmodellen op uw eigen computer te draaien, maar het gebruik ervan via de opdrachtnaam is niet gebruikersvriendelijk. Hier zijn verschillende open-source projecten die ChatGPT-stijl interfaces bieden die verbinding maken met een lokale Ollama.

Aangezien standaard Ollama geen directe rerank API heeft, zal je herordenen met Qwen3 Reranker in GO moeten implementeren door embeddings te genereren voor query-documentparen en deze te scoren.

In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama zijn gehost Hugo-pagina’s vertalen van Engels naar Duits. Drie pagina’s die ik heb getest, waren over verschillende onderwerpen, hadden wat mooie markdown met enige structuur: koppen, lijsten, tabellen, links, enzovoort.

Dit kleine Reranking Go codevoorbeeld roept Ollama aan om embeddings te genereren voor de query en voor elk kandidaatdocument, en vervolgens sorteren in dalende volgorde op cosinus-afstand.

De Qwen3 Embedding en Reranker modellen zijn de nieuwste uitgaven in de Qwen-familie, specifiek ontworpen voor geavanceerde tekst-embedding, ophalen en herordenen taken.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

In de Ollama modellenbibliotheek zijn er modellen die in staat zijn HTML-inhoud om te zetten in Markdown, wat handig is voor inhoudsconversietaken.

Hier vindt u een overzicht van enkele AI-gestuurde programmeringstools en hun vooruitvoordelen:

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.

Wanneer de Ollama-server twee aanvragen tegelijkertijd ontvangt, hangt het gedrag ervan af van de configuratie en de beschikbare systeemresources.

DeepSeek’s eerste generatie redeneingsmodellen met vergelijkbare prestaties als OpenAI-o1, waaronder zes dichte modellen gedistilleerd van DeepSeek-R1 op basis van Llama en Qwen.

Hier is de lijst en voorbeelden van de meest nuttige Ollama-commands (Ollama commands cheatsheet) Die ik vroeger al heb samengesteld. Hopelijk is het ook nuttiig voor jou.

Niet zo lang geleden is vrijgegeven. Laten we even opschieten en test hoe Mistral Small presteert vergeleken met andere LLMs.

Reranking is een tweede stap in Retrieval Augmented Generation (RAG) systemen, recht tussen het Ophalen en het Genereren.