Ollama

Mam teorię do przetestowania – czy wykorzystanie Wszystkich rdzeni na procesorze Intel zwiększy szybkość LLM? Denerwuje mnie fakt, że nowy model gemma3 27 bit (gemma3:27b, 17 GB na ollama) nie mieści się w 16 GB VRAM mojej karty graficznej i częściowo działa na procesorze.

Gdy serwer Ollama otrzymuje dwa żądania w tym samym czasie, jego zachowanie zależy od konfiguracji i dostępnych zasobów systemowych.

Model pierwszego pokolenia DeepSeek z porównywalną wydajnością do OpenAI-o1, w tym sześć gęstych modeli oddestylowanych z DeepSeek-R1 opartych na Llama i Qwen.

Oto lista i przykłady najbardziej przydatnych poleceń Ollama (cheatsheet poleceń Ollama) Zgromadziłem je kilka czasów temu. Mam nadzieję, że będzie również przydatny dla Ciebie.

Nieco wcześniej wydano. Przejdźmy do rzeczy i
testuj jak Mistral Small poradzi sobie w porównaniu do innych LLM.

Reranking to drugi etap generacji wzbogacanej wyszukiwaniem (RAG) systemów, pośrodku między wyszukiwaniem a generowaniem.

Świetna jedzenie to przyjemność dla oczu również. Ale w tym poście porównamy dwa systemy wyszukiwania oparte na AI, Farfalle i Perplexica.

To bardzo ekscytujące! Zamiast wołać copilot lub perplexity.ai i opowiadać światu, czego szukasz, teraz możesz uruchomić podobną usługę na własnym komputerze lub laptopie!

Niedawno widzieliśmy kilka nowych LLM, które zostały wydane. Wspaniałe czasy. Sprawdźmy i zobaczmy, jak działają, gdy wykrywają błędy logiczne.

Kiedy zacząłem eksperymentować z LLM, interfejsy do nich były w aktywnym rozwoju, a teraz niektóre z nich są naprawdę dobre.

Nadal istnieją pewne powszechne podejścia do pisania dobrych promptów, dzięki czemu LLM nie będzie się pogubił, próbując zrozumieć, czego od niego oczekujesz.

Testowanie działania modeli o różnej liczbie parametrów i stopniu kwantyzacji.

Po zainstalowaniu ollama lepiej jest natychmiast skonfigurować Ollama, aby przechowywać je w nowym miejscu. Wtedy, gdy pobieramy nowy model, nie zostaje on pobrany do starego lokalizacji.