Self-Hosting

Berikut adalah langkah-langkah favorit saya saat melakukan instalasi baru Ubuntu 24.04. Apa yang saya sukai di sini adalah tidak perlu menginstal driver NVidia! Mereka terinstal secara otomatis.

Dokuwiki adalah wiki yang dihosting sendiri (selfhosted) yang dapat dengan mudah dihosting di lokasi sendiri dan tidak memerlukan database apa pun.
Saya sedang menjalankannya dengan menggunakan Docker, di cluster Kubernetes saya.

Mari kita bandingkan harga untuk GPU konsumen tingkat atas yang cocok untuk LLM khususnya dan AI secara umum. Secara khusus, lihat harga RTX 5080 dan RTX 5090. Mereka sedikit turun.

Apache Airflow adalah platform open-source yang dirancang untuk membuat, menjadwalkan, dan memantau alur kerja secara programatis, seluruhnya dalam kode Python, menawarkan alternatif fleksibel dan kuat terhadap alat alur kerja tradisional, manual, atau berbasis UI.

Karena Ollama standar tidak memiliki API rerank langsung, Anda perlu menerapkan reranking menggunakan Qwen3 Reranker dalam GO dengan menghasilkan embedding untuk pasangan query-dokumen dan memberi skor mereka.

Dalam uji coba ini saya membandingkan bagaimana berbagai LLM yang dihosting di Ollama menerjemahkan halaman Hugo dari bahasa Inggris ke Jerman. Tiga halaman yang saya uji berbeda topiknya, memiliki beberapa markdown yang menarik dengan struktur tertentu: header, daftar, tabel, tautan, dll.

Ini sedikit Contoh kode Go untuk reranking memanggil Ollama untuk menghasilkan embedding untuk query dan setiap dokumen kandidat, kemudian mengurutkan menurun berdasarkan kesamaan kosinus.

Hanya 3 bulan yang lalu kita tidak melihat RTX 5090 di toko, dan sekarang mereka sudah ada, tetapi harganya sedikit lebih tinggi dari MRSP. Mari kita bandingkan harga terendah RTX 5080 dan RTX 5090 di Australia dan lihat bagaimana perkembangannya.

YaCy adalah mesin pencari terdesentralisasi, peer-to-peer (P2P) yang dirancang untuk beroperasi tanpa server terpusat, memungkinkan pengguna menciptakan indeks lokal atau global dan melakukan pencarian dengan menanyakan ke peer-peer yang terdistribusi.

Sistem otomasi terbaik untuk beberapa pekerjaan luar biasa.

Model Qwen3 Embedding dan Reranker adalah rilis terbaru dalam keluarga Qwen, yang dirancang khusus untuk tugas pemrosesan teks lanjutan, pencarian, dan pengurutan ulang.

Sudah cukup lama saya mengganggu dengan kekecewaan ini untuk memasukkan thumbnail gambar dari halaman ke dalam direktori statis. Ini berlaku untuk Mainroad, Rodster, dan tema Hugo serupa.

Bagaimana Jalur PCIe Mempengaruhi Kinerja LLM? Tergantung pada tugasnya. Untuk pelatihan dan inferensi multi-GPU — penurunan kinerja sangat signifikan.

Langkah berikutnya adalah menerapkan beberapa CI/CD dan mengatur Gitea Actions untuk situs web Hugo, untuk mendorong situs web ke AWS S3 secara otomatis ketika cabang master diperbarui.

Dalam perpustakaan model Ollama terdapat model yang mampu mengubah konten HTML menjadi Markdown, yang berguna untuk tugas konversi konten.

Akan disebutkan di sini beberapa alat pemrograman yang didukung AI dan Asisten Pemrograman AI beserta keunggulan mereka.