AI

Przenieś modele Ollama do innego miejsca

Przenieś modele Ollama do innego miejsca

Pliki modeli LLM Ollama zajmują dużo miejsca.

Po zainstalowaniu ollama lepiej jest natychmiast skonfigurować Ollama, aby przechowywać je w nowym miejscu. Wtedy, gdy pobieramy nowy model, nie zostaje on pobrany do starego lokalizacji.

Test prędkości modeli językowych dużych

Test prędkości modeli językowych dużych

Sprawdźmy prędkość LLM na GPU vs CPU

Porównanie prędkości przewidywania kilku wersji modeli językowych (LLM): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na procesorze (CPU) i karcie graficznej (GPU).