Запуск и замена моделей LLM без перезагрузки.
Долгое время у llama.cpp была явная ограничение:
можно было обслуживать только одну модель на процесс, и для переключения требовался перезапуск.
Настройка Hermes с приоритетом профиля для серьёзных рабочих нагрузок
Hermes AI assistant, официально задокументированный как Hermes Agent, позиционируется не как простое обертывание чата.
Навыки, которые стоит сохранить, и те, от которых стоит отказаться
У OpenClaw есть два типа расширений, которые легко перепутать.
Плагины расширяют среду выполнения. Навыки (skills) расширяют поведение агента.
Сначала плагины. Кратко об именовании навыков.
Эта статья посвящена плагинам OpenClaw — нативным пакетам шлюза, которые добавляют каналы, провайдеры моделей, инструменты, речевые функции, память, медиа, веб-поиск и другие возможности runtime.
Как на самом деле устроены системы OpenClaw
OpenClaw выглядит просто в демонстрациях. В продакшене он становится системой.
Подписки на Claude больше не обеспечивают работу агентов.
Тихий лазейка, который стал двигателем волны экспериментов с агентами, теперь закрыт.
Самохостинг AI-поиска с локальными LLM
Vane — это один из наиболее прагматичных проектов в пространстве «поиска с использованием ИИ и цитированием»: самохостинговое средство ответов, которое сочетает в себе живой поиск в вебе с локальными или облачными LLM, сохраняя при этом полный контроль над всем стеком технологий.
Агентное программирование теперь с локальными бэкендами моделей.
Claude Code — это не автодополнение с лучшим маркетингом. Это агентский инструмент для разработки: он анализирует ваш код, редактирует файлы, выполняет команды и интегрируется с инструментами разработки.
Установка и быстрый старт агента Hermes для разработчиков
Hermes Agent — это автономный, не привязанный к конкретной модели AI-ассистент, который работает на локальном компьютере или недорогом VPS, взаимодействует через терминал и интерфейсы обмена сообщениями, а также совершенствуется со временем, превращая повторяющиеся задачи в переиспользуемые навыки.
Установите TGI, развертывайте быстро, отлаживайте ещё быстрее.
Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —
Скорость генерации токенов llama.cpp на 16 ГБ видеопамяти (таблицы).
Здесь я сравниваю скорость нескольких больших языковых моделей (LLM), работающих на видеокарте с 16 ГБ видеопамяти, и выбираю лучшую для локального развертывания.
В Австралии RTX 5090 дефицитна и завышена в цене.
В Австралии есть в наличии RTX 5090. Вроде бы. И если вам повезет ее найти, вы заплатите премию, оторванную от реальности.
Доступ к Ollama удаленно без открытых публичных портов
Ollama чувствует себя наиболее комфортно, когда с ним обращаются как с локальным демоном: CLI и ваши приложения взаимодействуют с локальным HTTP-интерфейсом (loopback), а остальная сеть даже не знает о его существовании.
Ollama-сервер с приоритетом композинга, поддержкой GPU и сохранением состояния.
Ollama отлично работает на «голом» железе. Но становится еще интереснее, если рассматривать его как сервис: стабильный конечный пункт, зафиксированные версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.
HTTPS для Ollama без нарушения потоковой передачи ответов.
Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.
Встраивания для RAG — Python, Ollama, API OpenAI.
Если вы работаете с генерацией с расширением поиска (RAG), этот раздел объясняет векторные представления текста (эмбеддинги) простым языком: что это такое, как они работают в поиске и извлечении данных, и как вызывать два распространенных локальных режима из Python с помощью Ollama или OpenAI-совместимого HTTP API (так как многие серверы на базе llama.cpp поддерживают такой интерфейс).
