Запуск и замена LLM без перезагрузки
Долгое время у llama.cpp была очевидная limitation:
вы могли обслуживать только одну модель в процессе, а переключение требовало перезапуска.
Hermes с профилированием для серьёзных рабочих нагрузок
Ассистент Hermes AI, официально документированный как Hermes Agent, позиционируется не как простая обертка для чата.
Навыки, которые стоит освоить, и те, от которых можно отказаться
У OpenClaw есть два типа расширений, и их легко перепутать.
Плагины расширяют среду выполнения. Навыки (Skills) расширяют поведение агента.
Сначала плагины. Кратко об именовании навыков.
Эта статья посвящена плагинам OpenClaw — нативным пакетам шлюза, которые добавляют каналы, провайдеры моделей, инструменты, речевые функции, память, медиа, веб-поиск и другие возможности runtime.
Как на самом деле устроены системы OpenClaw
OpenClaw выглядит просто в демонстрациях. В продакшене он становится системой.
Подписки Claude больше не поддерживают агентов
Тихая лазейка, подпитывавшая волну экспериментов с агентами, теперь закрыта.
Самохостинг AI-поиска с локальными LLM
Vane — это один из наиболее прагматичных проектов в пространстве «поиска с использованием ИИ и цитированием»: самохостинговое средство ответов, которое сочетает в себе живой поиск в вебе с локальными или облачными LLM, сохраняя при этом полный контроль над всем стеком технологий.
Агентное кодирование, теперь с локальными моделями
Claude Code — это не просто автодополнение с лучшей маркетинговой упаковкой. Это агентный инструмент для программирования: он анализирует вашу кодовую базу, редактирует файлы, выполняет команды и интегрируется с вашими инструментами разработки.
Установка и быстрое начало работы с агентом Hermes для разработчиков
Hermes Agent — это локальный, независимый от модели ИИ-ассистент, который работает на локальной машине или на недорогом VPS, взаимодействует через терминал и мессенджеры, а со временем улучшает свои навыки, превращая повторяющиеся задачи в переиспользуемые умения.
Установите TGI, развертывайте быстро, отлаживайте ещё быстрее.
Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —
скорость обработки токенов llama.cpp на 16 ГБ VRAM (таблицы).
В этом посте я сравниваю скорость работы нескольких больших языковых моделей (LLM) на GPU с 16 ГБ видеопамяти (VRAM) и выбираю лучшую для самостоятельного хостинга.
В Австралии RTX 5090 дефицитна и завышена в цене.
В Австралии есть в наличии RTX 5090. Вроде бы. И если вам повезет ее найти, вы заплатите премию, оторванную от реальности.
Доступ к Ollama удаленно без открытых публичных портов
Ollama чувствует себя наиболее комфортно, когда с ним обращаются как с локальным демоном: CLI и ваши приложения взаимодействуют с локальным HTTP-интерфейсом (loopback), а остальная сеть даже не знает о его существовании.
Ollama-сервер с приоритетом композинга, поддержкой GPU и сохранением состояния.
Ollama отлично работает на «голом» железе. Но становится еще интереснее, если рассматривать его как сервис: стабильный конечный пункт, зафиксированные версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.
HTTPS для Ollama без нарушения потоковой передачи ответов.
Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.
Встраивания для RAG — Python, Ollama, API OpenAI.
Если вы работаете с генерацией с расширением поиска (RAG), этот раздел объясняет векторные представления текста (эмбеддинги) простым языком: что это такое, как они работают в поиске и извлечении данных, и как вызывать два распространенных локальных режима из Python с помощью Ollama или OpenAI-совместимого HTTP API (так как многие серверы на базе llama.cpp поддерживают такой интерфейс).
