Удалённый доступ к Ollama через Tailscale или WireGuard без открытия публичных портов.

Удалённый доступ к Ollama через Tailscale или WireGuard без открытия публичных портов.

Доступ к Ollama удаленно без открытых публичных портов

Ollama чувствует себя наиболее комфортно, когда с ним обращаются как с локальным демоном: CLI и ваши приложения взаимодействуют с локальным HTTP-интерфейсом (loopback), а остальная сеть даже не знает о его существовании.

Структурированное логирование в Go с использованием slog для наблюдаемости и оповещений

Структурированное логирование в Go с использованием slog для наблюдаемости и оповещений

Поисковые JSON-журналы, связанные с трассировками.

Журналы (логи) — это интерфейс отладки, который вы все еще можете использовать, когда система «горит». Проблема в том, что обычные текстовые журналы быстро устаревают: как только вам нужна фильтрация, агрегация и оповещения, вы начинаете парсить предложения.

Ollama в Docker Compose с поддержкой GPU и постоянным хранением моделей

Ollama в Docker Compose с поддержкой GPU и постоянным хранением моделей

Сервер Ollama с приоритетом композиции, поддержкой GPU и сохранением данных.

Ollama отлично работает на «голом железе». Всё становится ещё интереснее, когда вы начинаете относиться к нему как к сервису: стабильный эндпоинт, закреплённые версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

HTTPS для Ollama без нарушения потоковой передачи ответов.

Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.

Векторные представления текста для RAG и поиска — Python, Ollama, совместимые с API OpenAI

Векторные представления текста для RAG и поиска — Python, Ollama, совместимые с API OpenAI

Встраивания для RAG — Python, Ollama, API OpenAI.

Если вы работаете с генерацией с расширением поиска (RAG), этот раздел объясняет векторные представления текста (эмбеддинги) простым языком: что это такое, как они работают в поиске и извлечении данных, и как вызывать два распространенных локальных режима из Python с помощью Ollama или OpenAI-совместимого HTTP API (так как многие серверы на базе llama.cpp поддерживают такой интерфейс).

Netlify для Hugo и статических сайтов: тарифы, бесплатный план и альтернативы

Netlify для Hugo и статических сайтов: тарифы, бесплатный план и альтернативы

Развёртывание на базе Git, CDN, кредиты и компромиссы.

Netlify — один из самых удобных для разработчиков способов публикации сайтов на Hugo и современных веб-приложений с использованием рабочего процесса промышленного уровня: превью по URL для каждого запроса на слияние (pull request), атомарные развертывания, глобальная CDN, а также опциональные возможности бессерверных вычислений и логика на границе сети (edge).

Графовая база данных Neo4j для GraphRAG: установка, Cypher, векторы, операции.

Графовая база данных Neo4j для GraphRAG: установка, Cypher, векторы, операции.

Графы, Cypher, векторы и усиление операций.

Neo4j — это то, что вы выбираете, когда связи и есть данные. Если ваша предметная область выглядит как доска с кружками и стрелками, то попытка запихнуть её в таблицы будет болезненной.

Что такое IndexNow: уведомляйте поисковые системы при публикации контента

Что такое IndexNow: уведомляйте поисковые системы при публикации контента

Отправляйте обновленные URL-адреса в поисковые системы после развертывания.

Статические сайты и блоги меняются при каждой деплойке. Поисковые системы, поддерживающие IndexNow, могут узнать об этих изменениях, не дожидаясь следующего слепого сканирования.

Сравнение хостинга электронной почты для собственных доменов: Workspace, Microsoft 365, Zoho, Proton, WorkMail

Сравнение хостинга электронной почты для собственных доменов: Workspace, Microsoft 365, Zoho, Proton, WorkMail

Выбирайте хостинговую почту для домена без сожалений.

Подключение почты на собственном домене звучит как задача по настройке DNS на выходные. На практике это небольшая распределённая система с двадцатилетним наследием.

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Запускайте открытые модели быстро с помощью SGLang.

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.

Быстрый старт с обменом моделей llama для локальных LLM, совместимых с OpenAI

Быстрый старт с обменом моделей llama для локальных LLM, совместимых с OpenAI

Горячая замена локальных LLM без изменения клиентов.

Вскоре вы уже управляете несколькими инструментами: vLLM, llama.cpp и другими — каждый стек работает на своём собственном порту. При этом все последующие звенья цепочки по-прежнему ожидают один базовый URL /v1; иначе вам придётся постоянно перенастраивать порты, профили и разовые скрипты. llama-swap — это прокси для /v1, который размещается перед этими стеками.

Быстрый старт Apache Kafka — установка Kafka 4.2 с помощью CLI и локальные примеры

Быстрый старт Apache Kafka — установка Kafka 4.2 с помощью CLI и локальные примеры

Установите Kafka 4.2 и начните потоковую обработку событий за считанные минуты.

Apache Kafka 4.2.0 — это текущая поддерживаемая ветка релизов, и она является лучшей отправной точкой для современного быстрого старта, поскольку Kafka 4.x полностью работает без ZooKeeper и по умолчанию построена вокруг KRaft.

Обзор Opencode: честные результаты, риски биллинга и когда это того стоит

Обзор Opencode: честные результаты, риски биллинга и когда это того стоит

Что происходит на самом деле при запуске Ultrawork.

Oh My Opencode обещает «виртуальную команду AI-разработчиков» — Сизиф координирует специалистов, задачи выполняются параллельно, а волшебное ключевое слово ultrawork активирует всё это.

Подписаться

Получайте новые материалы про системы, инфраструктуру и AI engineering.