Docker

Ollama to vLLM: kiedy migrować serwer lokalnych modeli LLM

Ollama to vLLM: kiedy migrować serwer lokalnych modeli LLM

Kiedy przejść z Ollamy na vLLM

Ollama to jeden z najprostszych sposobów na uruchomienie lokalnego modelu językowego, jednak wygoda może ukrywać moment, w którym lokalny eksperyment staje się współdzieloną usługą inferencyjną wymagającą lepszego planowania zadań i obserwowalności.

Podman Quadlet vs. Docker Compose w usługach Linuksa

Podman Quadlet vs. Docker Compose w usługach Linuksa

Wybierz odpowiedni przepływ pracy dla kontenerów.

Docker Compose i Podman Quadlet rozwiązują częściowo nakładające się problemy, ale pochodzą z różnych ośrodków projektowych. Wybór między nimi zależy od tego, czy myślisz w kategoriach stosów aplikacji, czy usług Linuxa.

Szybki start Vane (Perplexica 2.0) z Ollama i llama.cpp

Szybki start Vane (Perplexica 2.0) z Ollama i llama.cpp

Własna wyszukiwarka AI z lokalnymi modelami LLM

Vane to jeden z bardziej pragmatycznych projektów w przestrzeni „AI-search z cytatami”: samodzielnie hostowany silnik odpowiedzi, który łączy wyszukiwanie na żywej sieci z modelami LLM (lokalnymi lub w chmurze), a jednocześnie pozwala zachować pełną kontrolę nad całym stackiem.

Ollama w Docker Compose z GPU i trwałym magazynowaniem modeli

Ollama w Docker Compose z GPU i trwałym magazynowaniem modeli

Serwer Ollama w stylu Compose-first z obsługą GPU i trwałym zapisem danych.

Ollama świetnie działa na “gołym” metalu (bez warstwy wirtualizacji). Staje się jeszcze ciekawszy, gdy traktujesz go jak usługę: stabilny punkt końcowy, przypięte wersje, trwałe przechowywanie danych oraz GPU, które jest dostępne, lub go nie ma.

llama.swap: szybki start z przełącznikiem modeli dla lokalnych LLM zgodnych z OpenAI

llama.swap: szybki start z przełącznikiem modeli dla lokalnych LLM zgodnych z OpenAI

Gorąca wymiana lokalnych LLMów bez zmian w klientach.

Wkrótce będziesz jugglingiem w vLLM, llama.cpp i wielu innych — każdy stack na własnym porcie. Wszystkie komponenty dół wciąż wymagają jednego /v1 bazowego adresu URL; inaczej będziesz w nieskończoność przesuwać porty, profile i jednorazowe skrypty. llama-swap to /v1 proxy umieszczane przed tymi stackami.

Narzędzia dla deweloperów: Kompletny przewodnik po nowoczesnych procesach deweloperskich

Narzędzia dla deweloperów: Kompletny przewodnik po nowoczesnych procesach deweloperskich

Rozwój oprogramowania obejmuje Git do kontroli wersji, Dockera do konteneryzacji, basha do automatyzacji, PostgreSQL do baz danych oraz VS Code do edycji — wraz z niezliczonymi innymi narzędziami, które decydują o Twojej produktywności. Ta strona zbiera niezbędne ściągawki, przepływy pracy i porównania, których potrzebujesz do efektywnej pracy w całym stosie developerskim.