LLM

Недавно мы наблюдали выход нескольких новых LLM. Возбуждающие времена. Давайте протестируем и увидим, как они справляются с обнаружением логических ошибок.

Когда я начал экспериментировать с ЛЛМ, интерфейсы для них находились в стадии активной разработки, и теперь некоторые из них действительно хороши.

Есть ещё несколько общепринятых подходов к написанию хороших промптов, чтобы LLM не запуталась, пытаясь понять, чего вы хотите от неё.

Тестирование поведения моделей с разным количеством параметров и квантования.

После установки ollama лучше сразу переустановить ollama, чтобы хранить модели в новом месте. Таким образом, при загрузке новой модели она не будет скачиваться в старое расположение.

Сравнение скорости предсказания нескольких версий LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (открытый исходный код) на процессоре и видеокарте.

Здесь я сравниваю несколько версий LLM: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) и Qwen (Alibaba).