Self-Hosting

Docker Model Runner против Ollama (2026): что лучше для локальных LLMs?

Docker Model Runner против Ollama (2026): что лучше для локальных LLMs?

Сравните Docker Model Runner и Ollama для локальных LLM

Запуск больших языковых моделей (LLM) локально стал все более популярным из-за приватности, контроля затрат и возможностей офлайн-работы. Ландшафт значительно изменился в апреле 2025 года, когда Docker представил Docker Model Runner (DMR), свое официальное решение для развертывания моделей ИИ.

GNOME Boxes: Полное руководство по функциям, преимуществам, проблемам и альтернативам

GNOME Boxes: Полное руководство по функциям, преимуществам, проблемам и альтернативам

Простое управление виртуальными машинами в Linux с помощью GNOME Boxes

В современном вычислительном ландшафте виртуализация стала неотъемлемой частью разработки, тестирования и запуска нескольких операционных систем. Для пользователей Linux, ищущих простой и интуитивно понятный способ управления виртуальными машинами, GNOME Boxes выделяется как легковесный и удобный вариант, который делает акцент на простоте использования без ущерба для функциональности.

За пределами Google: руководство по альтернативным поисковым системам

За пределами Google: руководство по альтернативным поисковым системам

Исследуйте альтернативные поисковые системы помимо Google и Bing

Хотя Google доминирует на рынке поисковых систем с долей более 90% в глобальном масштабе, существует растущая экосистема альтернативных поисковых систем, предлагающих различные подходы к веб-поиску.

Специализированные ИС для LLM и чипы для инференса (почему они важны)

Специализированные ИС для LLM и чипы для инференса (почему они важны)

Специализированные интегральные схемы (ASIC) и кастомные кремниевые чипы повышают скорость и эффективность вывода LLM.

Будущее ИИ заключается не только в более умных моделях. Оно также связано с кремнием, который соответствует тому, как эти модели фактически обслуживаются. Специализированное оборудование для инференса LLM следует пути, напоминающему переход майнинга биткоинов с графических процессоров на созданные для этой цели АСП, хотя и с более жесткими ограничениями, поскольку модели и схемы точности продолжают эволюционировать.

Инди-веб: Возвращение цифровой независимости

Инди-веб: Возвращение цифровой независимости

Владейте своим контентом и контролируйте свою идентичность

Веб-сети изначально были разработаны как децентрализованная сеть, где любой мог публиковать и подключаться. Со временем корпоративные платформы консолидировали контроль, создавая закрытые сады, где пользователи являются продуктами, а контент заперт. Движение Indie Web стремится вернуть первоначальное обещание веба: личное владение, творческая свобода и подлинное взаимодействие.

DGX Spark и Mac Studio: сравнение цен на персональный ИИ-суперкомпьютер NVIDIA

DGX Spark и Mac Studio: сравнение цен на персональный ИИ-суперкомпьютер NVIDIA

Доступность, фактические розничные цены в шести странах и сравнение с Mac Studio.

NVIDIA DGX Spark — это реальный продукт, доступный к продаже с 15 октября 2025 года, ориентированный на разработчиков CUDA, которым требуется локальная работа с LLM с использованием интегрированного стека NVIDIA AI. Рекомендованная розничная цена в США составляет $3,999; в Великобритании, Германии и Японии розничная цена выше из-за НДС и каналов дистрибуции. Публичные ценники для Австралии и Южной Кореи (AUD/KRW) пока не опубликованы широко.

Протокол Gemini: минималистичная альтернатива вебу

Протокол Gemini: минималистичная альтернатива вебу

Gemini — лёгкая и безопасная альтернатива вебу

Протокол Gemini представляет собой возврат к основам интернет-коммуникации — легковесный, безопасный и уважающий конфиденциальность альтернативный современному, все более сложному вебу.

Сравнение: Qwen3:30b и GPT-OSS:20b

Сравнение: Qwen3:30b и GPT-OSS:20b

Сравнение скорости, параметров и производительности этих двух моделей

Ниже приведено сравнение Qwen3:30b и GPT-OSS:20b с акцентом на следовании инструкциям и параметрах производительности, спецификациях и скорости.

Платформа для федеративного блогинга WriteFreely — сравнение затрат на саморазмещение и управление

Платформа для федеративного блогинга WriteFreely — сравнение затрат на саморазмещение и управление

Приблизительные оценки стоимости хостинга по сравнению с подпиской.

Вот краткая информация о Write.as / WriteFreely - как это вписывается в fediverse, где можно получить управляемый хостинг, как выглядит тенденция использования, и как развернуть самостоятельно (плюс примерные расчеты стоимости).

Цены на видеокарты NVidia RTX 5080 и RTX 5090 в Австралии — октябрь 2025 года

Цены на видеокарты NVidia RTX 5080 и RTX 5090 в Австралии — октябрь 2025 года

Цены на потребительские видеокарты, подходящие для ИИ — RTX 5080 и RTX 5090

Давайте сравним цены на топовые потребительские видеокарты, которые особенно подходят для работы с большими языковыми моделями (LLM) и искусственным интеллектом в целом. В частности, я рассматриваю цены на RTX-5080 и RTX-5090. Они немного снизились.

Проблемы структурированного вывода в Ollama GPT-OSS

Проблемы структурированного вывода в Ollama GPT-OSS

Не очень приятно.

Модели GPT-OSS от Ollama (https://www.glukhov.org/ru/llm-performance/ollama/ollama-gpt-oss-structured-output-issues/ “Ollama GPT-OSS”) постоянно сталкиваются с проблемами при работе со структурированным выводом, особенно при использовании с фреймворками вроде LangChain, OpenAI SDK, vllm и другими.

Ограничение LLM с помощью структурированного вывода: Ollama, Qwen3 и Python или Go

Ограничение LLM с помощью структурированного вывода: Ollama, Qwen3 и Python или Go

Несколько способов получения структурированного вывода из Ollama

Большие языковые модели (LLM) являются мощным инструментом, однако в производственных условиях мы редко хотим получать свободные текстовые абзацы. Вместо этого нам нужны предсказуемые данные: атрибуты, факты или структурированные объекты, которые можно использовать в приложении. Это и есть Структурированный вывод LLM.