Self-Hosting

Вот мой любимый набор шагов при установке свежей установки Ubuntu 24.04. Что мне нравится здесь - нет необходимости устанавливать драйверы NVidia! они устанавливаются автоматически.

Dokuwiki — это самодостаточная википедия, которую можно легко разместить на собственных серверах без необходимости использования баз данных. Я запускал её в Docker-контейнерах на своём домашнем кластере Kubernetes.

Давайте сравним цены на топовые потребительские GPU, которые подходят для ЛЛМ и ИИ в целом. В частности, обратите внимание на цены на RTX 5080 и RTX 5090. Они немного снизились.

Apache Airflow — это открытая платформа, предназначенная для программного создания, планирования и мониторинга рабочих процессов — полностью на языке Python, предлагающая гибкую и мощную альтернативу традиционным, ручным или основанным на интерфейсе инструментам для работы с рабочими процессами.

Поскольку стандартный Ollama не имеет прямого API для переупорядочивания, вам нужно реализовать переупорядочивание с использованием Qwen3 Reranker на GO, генерируя векторы представлений для пар запрос-документ и оценивая их.

В этом тесте я сравниваю, как разные LLM, размещённые на Ollama, переводят Hugo-страницу с английского на немецкий.
Три страницы, которые я протестировал, были на разных темах, имели хорошее markdown-форматирование с определённой структурой: заголовки, списки, таблицы, ссылки и т.д.

Этот маленький
Пример кода на Go для reranking вызывает Ollama для генерации вложений
для запроса и для каждого кандидата документа,
затем сортирует по убыванию косинусной схожести.

Только три месяца назад мы не видели RTX 5090 в магазинах, а теперь они появились, но цены немного выше рекомендованной розничной цены (MRSP). Давайте сравним самые низкие цены на RTX 5080 и RTX 5090 в Австралии (https://www.glukhov.org/ru/post/2025/06/nvidia-rtx-5080-rtx-5090-prices-australia/ “цены на RTX 5080 и RTX 5090 в Австралии”) и посмотрим, как обстоят дела.

YaCy — это децентрализованный, peer-to-peer (P2P) поисковик разработан для работы без централизованных серверов, позволяя пользователям создавать локальные или глобальные индексы и выполнять поиски, запрашивая информацию у распределённых узлов.

Топовая автоматизированная система для какой-то потрясающей работы.

Модели Qwen3 Embedding и Reranker являются последними выпусками в семействе Qwen, специально разработанными для продвинутых задач встраивания текста, извлечения и повторного ранжирования.

Долгое время меня мучила эта навязчивая идея поместить превью-изображения страниц в статический каталог.
Это касается тем Mainroad, Rodster и подобных.

Как количество линий PCIe влияет на производительность LLM? В зависимости от задачи. Для обучения и многопроцессорного инференса снижение производительности значительное.

Следующим шагом будет реализация некоторых CI/CD и настройка
Настройка Gitea Actions для сайта Hugo, чтобы загрузить сайт в AWS S3
автоматически, когда ветка master обновляется.

В библиотеке моделей Ollama есть модели, способные преобразовывать HTML-контент в Markdown, что полезно для задач конвертации контента.

Список здесь некоторых инструментов для кодирования с помощью ИИ и AI Coding Assistants и их приятных сторон.