Self-Hosting

Тест: Как Ollama использует производительность процессоров Intel и эффективные ядра

Тест: Как Ollama использует производительность процессоров Intel и эффективные ядра

Ollama на процессорах Intel: эффективность против производительных ядер

У меня есть теория, которую нужно проверить - использование всех ядер Intel CPU повысит скорость работы LLMs? (Тест: Как Ollama использует производительность и эффективные ядра Intel CPU)

Меня беспокоит, что новая модель gemma3 27 бит (gemma3:27b, 17ГБ в ollama) не помещается в 16ГБ видеопамяти моей GPU и частично работает на CPU.

Сравнение подходящих GPU NVIDIA для ИИ

Сравнение подходящих GPU NVIDIA для ИИ

Искусственный интеллект требует большого количества энергии...

В разгар современных потрясений я сравниваю технические характеристики различных видеокарт, подходящих для задач ИИ (Deep Learning, Обнаружение объектов и LLMs). Однако все они невероятно дороги.

Топ тем Hugo

Топ тем Hugo

Наиболее популярные темы для Hugo

Давайте посмотрим на github список лучших тем для Hugo статического генератора сайтов,
и проверим их рейтинг звёзд.
Вы можете перейти к официальному списку тем Hugo: https://themes.gohugo.io/

Как Ollama обрабатывает параллельные запросы

Как Ollama обрабатывает параллельные запросы

Настройка ollama для параллельного выполнения запросов.

Когда сервер Ollama получает два запроса одновременно, его поведение зависит от конфигурации и доступных системных ресурсов.

Тестирование Deepseek-R1 на Ollama

Тестирование Deepseek-R1 на Ollama

Сравнение двух моделей deepseek-r1 с двумя базовыми

DeepSeek’s первая генерация моделей рассуждений с производительностью, сопоставимой с OpenAI-o1, включает шесть плотных моделей, дистиллированных на основе Llama и Qwen.

Самохостинг SearXNG

Самохостинг SearXNG

Некоторые детали о SearXNG

SearXNG — это бесплатный и открытый исходный код федерального метапоискового движка, который был ветвлён из Searx.
Проект SearXNG на GitHub имеет более 15k звёзд.

Быстрый старт PyInstaller

Быстрый старт PyInstaller

Объединение Python-программы в один файл

Используйте PyInstaller
для упаковки Python
программ в отдельные исполняемые файлы. Работает на Linux, Windows и Mac.

Не самый эффективный способ, но пригодный для использования.