Self-Hosting

Jak Ollama obsługuje równoległe żądania

Jak Ollama obsługuje równoległe żądania

Zrozum mechanizmy równoległości i kolejkowania w Ollamie oraz sposób kalibracji parametru OLLAMA_NUM_PARALLEL, aby zapewnić stabilne obsłużenie równoległych żądań.

Ten przewodnik wyjaśnia sposób, w jaki Ollama obsługuje żądania równoległe (równoległość, kolejkowanie i ograniczenia zasobów) oraz jak dostrajać ten proces przy użyciu zmiennej środowiskowej OLLAMA_NUM_PARALLEL (i powiązanych parametrów).

Testowanie Deepseek-R1 na Ollama

Testowanie Deepseek-R1 na Ollama

Porównanie dwóch modeli deepseek-r1 z dwoma modelami bazowymi

Modeli DeepSeek pierwszego pokolenia z wydajnością porównywalną do modeli OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.

Samodzielne hostowanie SearXNG

Samodzielne hostowanie SearXNG

Niektóre szczegóły dotyczące SearXNG

SearXNG to darmowy, federacyjny silnik metawyszuki oparty na kodzie otwartym, będący odgałęzieniem projektu Searx. Projekt SearXNG na GitHubie ma ponad 15k gwiazdek.

Szybki start z PyInstallerem

Szybki start z PyInstallerem

Połączenie programu w Pythonie w pojedynczy plik

Użyj PyInstaller do pakowania programów Python jako samodzielnych wykonywalnych plików. Działa na Linuxie, Windowsie i Macu.

Nie najbardziej wydajny sposób, ale użyteczny.