Ollama

У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)

Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от конфигурации и доступных системных ресурсов.

DeepSeek’s первая генерация моделей рассуждений с производительностью, сопоставимой с OpenAI-o1, включает шесть плотных моделей, дистиллированных на основе Llama и Qwen.

Этот Ollama CLI cheatsheet фокусируется на командах, которые вы используете каждый день (ollama ls, ollama serve, ollama run, ollama ps, управление моделями и общие рабочие процессы), с примерами, которые можно скопировать/вставить.

Недавно был выпущен Mistral Small. Давайте посмотрим, как он справляется в сравнении с другими языковыми моделями (тестирование производительности Mistral Small).

Reranking является вторым этапом в Retrieval Augmented Generation
(RAG) системах,
расположенным между этапами Retrieving и Generating.

Тестирование, как Perplexica работает с различными LLM, запущенными на локальном Ollama: Llama3, Llama3.1, Hermes 3, Mistral Nemo, Mistral Large, Gemma 2, Qwen2, Phi 3 и Command-r различных квант и выбор Лучший LLM для Perplexica

Вкусная еда - это удовольствие не только для глаз. Но в этом посте мы сравним две системы поиска на основе ИИ, Farfalle и Perplexica.

Это очень волнующе! Вместо того чтобы звонить в Copilot или Perplexity.ai и рассказывать всему миру, что вы ищете, теперь вы можете разместить аналогичную службу на своем ПК или ноутбуке!

Недавно мы увидели несколько новых языковых моделей, которые были выпущены. Возбуждающие времена. Давайте протестируем и посмотрим, как они работают при обнаружении логических ошибок.

Когда я начал экспериментировать с ЛЛМ, интерфейсы для них находились в стадии активной разработки, и теперь некоторые из них действительно хороши.

Есть ещё несколько общепринятых подходов к написанию хороших промптов, чтобы LLM не запуталась, пытаясь понять, чего вы хотите от неё.

Исследование поведения моделей с разным количеством параметров и квантования.

После установки ollama лучше сразу переконфигурировать ollama для хранения их в новом месте. Таким образом, после того как мы загрузим новую модель, она не будет скачана в старое место.