Ollama

Ik heb een theorie om te testen – als we alle kernen op een Intel CPU gebruiken, verhoogt dat de snelheid van LLMs? Het irriteert me dat de nieuwe gemma3 27 bit model (gemma3:27b, 17 GB op ollama) niet past in de 16 GB VRAM van mijn GPU en gedeeltelijk op de CPU draait.

Wanneer de Ollama-server twee aanvragen tegelijkertijd ontvangt, hangt het gedrag ervan af van de configuratie en de beschikbare systeemresources.

DeepSeek’s eerste generatie redeneingsmodellen met vergelijkbare prestaties als OpenAI-o1, waaronder zes dichte modellen gedistilleerd van DeepSeek-R1 op basis van Llama en Qwen.

Hier is de lijst en voorbeelden van de nuttigste Ollama-commands (Ollama commands cheatsheet) Die ik vroeger al heb samengesteld. Hopelijk is het ook nuttiig voor jou.

Niet zo lang geleden is vrijgegeven. Laten we even opschieten en test hoe Mistral Small presteert vergeleken met andere LLMs.

Reranking is een tweede stap in Retrieval Augmented Generation (RAG) systemen, recht tussen het Ophalen en het Genereren.

Prachtige voedsel is ook een genot voor de ogen. Maar in dit bericht vergelijken we twee AI-gebaseerde zoeksystemen, Farfalle en Perplexica.

Dat is zeer opwindend! In plaats van copilot of perplexity.ai aan te roepen en aan het hele wereldje te vertellen wat je zoekt, kan je nu een soortgelijk dienst op je eigen PC of laptop hosten!

Onlangs hebben we meerdere nieuwe LLMs gezien die zijn vrijgegeven. Opwindende tijden. Laten we testen en zien hoe ze presteren bij het detecteren van logische fouten.

Toen ik begon met het experimenteren met LLMs waren de UIs voor hen actief in ontwikkeling en nu zijn sommige van hen echt goed.

Er zijn nog steeds enkele veelvoorkomende aanpakken om goede prompts te schrijven, zodat LLM’s niet in de war raken bij het begrijpen van wat je van hen wilt.

Testing hoe modellen met verschillende aantal parameters en quantisatie zich gedragen.

Na het installeren van ollama is het beter om ollama direct opnieuw in te stellen om ze op te slaan in een nieuwe locatie. Zo krijgen we nieuwe modellen niet gedownload naar de oude locatie.