Interfejsy LLM
Nie ma ich aż tak wiele do wyboru, ale nadal....
Gdy zaczynałem eksperymentować z LLM, ich interfejsy użytkownika były w fazie aktywnego rozwoju, a teraz niektóre z nich są naprawdę dobre.
LLM
Napisywanie skutecznych promptów dla LLMs
Wymaga pewnego doświadczenia, ale
Nadal istnieją pewne powszechne podejścia do pisania dobrych promptów, dzięki czemu LLM nie będzie się pogubił, próbując zrozumieć, czego od niego oczekujesz.
Porównanie możliwości skracania LLM
8 wersji llama3 (Meta+) i 5 wersji phi3 (Microsoft) LLM
Testowanie zachowania modeli o różnej liczbie parametrów i różnym stopniu kwantyzacji.
Przenoszenie modeli Ollama w inne miejsce
Pliki modeli LLM w Ollama zajmują dużo miejsca
Po zainstalowaniu ollama lepiej jest natychmiast przełączyć ollama, aby przechowywał je w nowym miejscu. Dzięki temu po pobraniu nowego modelu nie zostanie on zapisany w starej lokalizacji.
Test prędkości modeli dużych języków
Sprawdźmy prędkość LLM na GPU vs CPU
Porównanie prędkości przewidywania kilku wersji LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) na CPU i GPU.
Wykrywanie błędów logicznych za pomocą LLMów
Sprawdźmy jakość wykrywania błędów logicznych przez różne LLM-y
Oto porównanie kilku wersji LLM: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) oraz Qwen (Alibaba).