Self-Hosting

Это руководство предоставляет всесторонний обзор доступных Go SDK для Ollama и сравнивает их функциональные возможности.

Вот сравнение между Qwen3:30b и GPT-OSS:20b с акцентом на выполнение инструкций и параметры производительности, спецификации и скорость:

Вот краткая информация о Write.as / WriteFreely - как это вписывается в fediverse, где можно получить управляемый хостинг, как выглядит тенденция использования, и как развернуть самостоятельно (плюс примерные расчеты стоимости).

В этой статье мы рассмотрим два способа подключения вашего Python-приложения к Ollama: 1. Через HTTP REST API; 2. Через официальную библиотеку Ollama для Python.

Proxmox Virtual Environment (Proxmox VE) — это открытая платформа гипервизора типа 1 и оркестрации дата-центров, построенная на основе Debian.

Снова и снова сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ в частности и ИИ в целом. Конкретно я смотрю на цены на RTX-5080 и RTX-5090. Они немного снизились.

Модели GPT-OSS от Ollama регулярно сталкиваются с проблемами при работе со структурированным выводом, особенно в сочетании с фреймворками, такими как LangChain, OpenAI SDK, vllm и другими.

Большие языковые модели (LLM) мощные, но в производстве мы редко хотим свободноформатных абзацев. Вместо этого нам нужны предсказуемые данные: атрибуты, факты или структурированные объекты, которые можно передать в приложение. Это Структурированный вывод LLM.

Для поклонников KDE Plasma два дистрибутива Linux часто становятся предметом обсуждения: Kubuntu и KDE Neon. На первый взгляд они похожи - оба поставляются с KDE Plasma в качестве рабочей среды по умолчанию, оба основаны на Ubuntu и оба дружелюбны к новичкам.

Здесь я сравниваю, сколько видеопамяти новая версия Ollama выделяет для модели по сравнению с предыдущей версией. Новая версия работает хуже.

Это руководство проведет вас через процесс изменения статического IP-адреса на сервере Ubuntu.

Ollama быстро стал одним из самых популярных инструментов для запуска локальных больших языковых моделей. Его простой интерфейс командной строки и упрощенное управление моделями сделали его предпочтительным вариантом для разработчиков, желающих работать с моделями ИИ вне облака. Но как и многие перспективные платформы, уже появляются признаки Enshittification:

Mumble — это бесплатное и открытое программное обеспечение для голосовой передачи данных (VoIP), предназначенное в основном для передачи голоса в реальном времени. Оно использует клиент-серверную архитектуру, где пользователи подключаются к общему серверу для общения друг с другом.

Локально установленные сервис Ollama позволяет запускать большие языковые модели на вашем собственном компьютере, но использование его через командную строку не очень удобно. Вот несколько открытых проектов, которые предоставляют интерфейсы в стиле ChatGPT, подключающиеся к локальному Ollama.

Приложения для мониторинга нагрузки GPU: nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.