Ollama

Тест: Как Ollama использует производительность процессора Intel и эффективные ядра

Тест: Как Ollama использует производительность процессора Intel и эффективные ядра

Ollama на процессоре Intel: эффективные ядра против производительных ядер

У меня есть теория для проверки - если использовать все ядра процессора Intel для повышения скорости LLM Меня беспокоит, что новый модель gemma3 27 бит (gemma3:27b, 17 ГБ на ollama) не помещается в 16 ГБ видеопамяти моего GPU, и частично работает на CPU.

Тестирование Deepseek-R1 на Ollama

Тестирование Deepseek-R1 на Ollama

Сравнение двух моделей deepseek-r1 с двумя базовыми

DeepSeek’s первая генерация моделей рассуждений с производительностью, сопоставимой с OpenAI-o1, включая шесть плотных моделей, дистиллированных из DeepSeek-R1 на основе Llama и Qwen.

Самохостинг Perplexica — с использованием Ollama

Самохостинг Perplexica — с использованием Ollama

Выполняете сервис в стиле Copilot локально? Просто!

Это очень вдохновляет!
Вместо того чтобы вызывать copilot или perplexity.ai и рассказывать всему миру, что вы ищете,
теперь вы можете развернуть подобную службу на своем собственном ПК или ноутбуке!

Gemma2 против Qwen2 против Mistral Nemo против...

Gemma2 против Qwen2 против Mistral Nemo против...

Тестирование обнаружения логических ошибок

Недавно мы наблюдали выход нескольких новых LLM. Возбуждающие времена. Давайте протестируем и увидим, как они справляются с обнаружением логических ошибок.

Интерфейсы LLM

Интерфейсы LLM

Не так много вариантов на выбор, но всё же...

Когда я начал экспериментировать с ЛЛМ, интерфейсы для них находились в стадии активной разработки, и теперь некоторые из них действительно хороши.