Self-Hosting

Я выкопал некоторые интересные тесты производительности GPT-OSS 120b, работающего на Ollama на трех разных платформах: NVIDIA DGX Spark, Mac Studio и RTX 4080. Модель GPT-OSS 120b из библиотеки Ollama весит 65ГБ, что означает, что она не помещается в 16ГБ видеопамяти RTX 4080 (или более новой RTX 5080).

Docker Model Runner (DMR) — это официальное решение Docker для запуска моделей ИИ локально, представленное в апреле 2025 года. Этот справочник предоставляет быстрый доступ ко всем основным командам, настройкам и лучшим практикам.

Запуск больших языковых моделей (LLM) локально стал все более популярным из-за приватности, контроля затрат и возможностей офлайн-работы. Ландшафт значительно изменился в апреле 2025 года, когда Docker представил Docker Model Runner (DMR), свое официальное решение для развертывания моделей ИИ.

В современном вычислительном ландшафте виртуализация стала неотъемлемой частью разработки, тестирования и запуска нескольких операционных систем. Для пользователей Linux, ищущих простой и интуитивно понятный способ управления виртуальными машинами, GNOME Boxes выделяется как легковесный и удобный вариант, который делает акцент на простоте использования без ущерба для функциональности.

Multipass — это легковесный менеджер виртуальных машин, который упрощает создание и управление облачными экземплярами Ubuntu на Linux, Windows и macOS.

Хотя Google доминирует на рынке поисковых систем с долей более 90% в глобальном масштабе, существует растущая экосистема альтернативных поисковых систем, предлагающих различные подходы к веб-поиску.

Будущее ИИ не ограничивается более умными моделями - это также вопрос более умного кремния. Специализированное оборудование для инференса ЛЛМ приводит к революции, аналогичной переходу майнинга биткоинов к ASIC.

Веб-сети изначально были разработаны как децентрализованная сеть, где любой мог публиковать и подключаться. Со временем корпоративные платформы консолидировали контроль, создавая закрытые сады, где пользователи являются продуктами, а контент заперт. Движение Indie Web стремится вернуть первоначальное обещание веба: личное владение, творческая свобода и подлинное взаимодействие.

NVIDIA DGX Spark — это реальное устройство, которое поступит в продажу 15 октября 2025 года, и оно предназначено для разработчиков CUDA, которым нужна локальная работа с LLM с интегрированным NVIDIA AI stack. Рекомендуемая розничная цена в США — $3,999; в Великобритании, Германии и Японии розничные цены выше из-за НДС и каналов сбыта. Австралийские и корейские вон пока не опубликованы широко.

Протокол Gemini представляет собой возврат к основам интернет-коммуникации — легковесный, безопасный и уважающий конфиденциальность альтернативный современному, все более сложному вебу.

Этот гайд предоставляет всесторонний обзор доступных Go SDK для Ollama и сравнивает их функциональные возможности.

Вот сравнение между Qwen3:30b и GPT-OSS:20b, с акцентом на выполнение инструкций и параметры производительности, спецификации и скорость.

Вот краткая информация о Write.as / WriteFreely - как это вписывается в fediverse, где можно получить управляемый хостинг, как выглядит тенденция использования, и как развернуть самостоятельно (плюс примерные расчеты стоимости).

В этой статье мы рассмотрим два способа подключения вашего Python-приложения к Ollama: 1. Через HTTP REST API; 2. Через официальную библиотеку Ollama для Python.

Proxmox Virtual Environment (Proxmox VE) — это открытая платформа гипервизора типа 1 и оркестрации дата-центров, построенная на основе Debian.

Снова и снова сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ в частности и ИИ в целом. Конкретно я смотрю на цены на RTX-5080 и RTX-5090. Они немного снизились.