Self-Hosting

Hier is mijn favoriete set van stappen bij een nieuwe installatie van Ubuntu 24.04. Wat ik hier leuk vind – er hoeft geen NVidia drivers geïnstalleerd te worden! Ze worden automatisch geïnstalleerd.

Dokuwiki is een zelfgehoste wikipedia https://www.glukhov.org/nl/post/2025/07/dokuwiki-selfhosted-wiki-alternatives/ “Dokuwiki” die gemakkelijk kan worden gehost op locatie en vereist geen databases. Ik draaide het dockerized, op mijn eigen kubernetes cluster.

Laat ons de prijzen van de top-level consumenten-GPUs vergelijken, die geschikt zijn voor LLMs in het bijzonder en AI over het algemeen. Kijk specifiek naar prijzen van RTX 5080 en RTX 5090. Ze zijn licht gedaald.

Apache Airflow is een open-source platform dat is ontworpen om workflows programmatisch te schrijven, te plannen en te monitoren, volledig in Python-code, en biedt een flexibele en krachtige alternatief voor traditionele, manuele of UI-gebaseerde workflow-tools.

Aangezien standaard Ollama geen directe rerank API heeft, zal je herordenen met Qwen3 Reranker in GO moeten implementeren door embeddings te genereren voor query-documentparen en deze te scoren.

In deze test ben ik aan het vergelijken hoe verschillende LLMs die op Ollama zijn gehost Hugo-pagina’s vertalen van Engels naar Duits. Drie pagina’s die ik heb getest, waren over verschillende onderwerpen, hadden wat mooie markdown met enige structuur: koppen, lijsten, tabellen, links, enzovoort.

Dit kleine Reranking Go codevoorbeeld roept Ollama aan om embeddings te genereren voor de query en voor elk kandidaatdocument, en vervolgens sorteren in dalende volgorde op cosinus-afstand.

Precies 3 maanden geleden zagen we de RTX 5090 nog niet in winkels, en nu zijn ze er, maar de prijzen zijn iets hoger dan de MRSP. Laten we de goedkoopste prijzen voor RTX 5080 en RTX 5090 in Australië vergelijken en kijken hoe het ervoor staat.

YaCy is een decentraliseerde, peer-to-peer (P2P) zoekmachine die is ontworpen om te functioneren zonder centrale servers, waardoor gebruikers lokale of globale indexen kunnen maken en zoekopdrachten kunnen uitvoeren door gedistribueerde peers te raadplegen.

Top geautomatiseerd systeem voor een geweldige taak.

De Qwen3 Embedding en Reranker modellen zijn de nieuwste uitgaven in de Qwen-familie, specifiek ontworpen voor geavanceerde tekst-embedding, ophalen en herordenen taken.

Al een tijdje ben ik geplaagd door deze vervelende gewoonte om thumbnail afbeeldingen van de pagina’s in de statische map te plaatsen. Dat geldt voor Mainroad, Rodster en vergelijkbare Hugo-themes.

Hoe beïnvloeden PCIe-lanes de prestaties van LLM’s? Afhangend van de taak. Voor training en multi-GPU-inferentie - is de prestatievermindering aanzienlijk.

De volgende stap is het implementeren van enige CI/CD en het instellen van
Gitea Actions voor Hugo website, om website naar AWS S3 te pushen
automatisch wanneer de master branch wordt bijgewerkt.

In de Ollama modellenbibliotheek zijn er modellen die in staat zijn HTML-inhoud om te zetten in Markdown, wat handig is voor inhoudsconversietaken.

Hier vindt u een overzicht van enkele AI-gestuurde programmeringstools en hun vooruitvoordelen: