AI

Система памяти агента Hermes: как на самом деле работает постоянное хранение памяти ИИ

Система памяти агента Hermes: как на самом деле работает постоянное хранение памяти ИИ

Память — это то, что отличает инструмент от партнёра.

Вы знаете, как это бывает. Вы открываете чат с ИИ-агентом, объясняете проект, делитесь предпочтениями, получаете результаты работы и закрываете вкладку. Возвращаетесь на следующей неделе — и оказывается, что вы общаетесь с незнакомцем: весь контекст потерян, все предпочтения забыты, проект нужно объяснять заново.

Плагины OpenClaw — руководство по экосистеме и практические рекомендации

Плагины OpenClaw — руководство по экосистеме и практические рекомендации

Сначала плагины. Кратко об именовании навыков.

Эта статья посвящена плагинам OpenClaw — нативным пакетам шлюза, которые добавляют каналы, провайдеры моделей, инструменты, речевые функции, память, медиа, веб-поиск и другие возможности runtime.

Быстрый старт с Vane (Perplexica 2.0), Ollama и llama.cpp

Быстрый старт с Vane (Perplexica 2.0), Ollama и llama.cpp

Самохостинг AI-поиска с локальными LLM

Vane — это один из наиболее прагматичных проектов в пространстве «поиска с использованием ИИ и цитированием»: самохостинговое средство ответов, которое сочетает в себе живой поиск в вебе с локальными или облачными LLM, сохраняя при этом полный контроль над всем стеком технологий.

Установка и настройка Claude Code для Ollama и llama.cpp, а также тарифы

Установка и настройка Claude Code для Ollama и llama.cpp, а также тарифы

Агентное кодирование, теперь с локальными моделями

Claude Code — это не просто автодополнение с лучшей маркетинговой упаковкой. Это агентный инструмент для программирования: он анализирует вашу кодовую базу, редактирует файлы, выполняет команды и интегрируется с вашими инструментами разработки.

Hermes AI Assistant — установка, настройка, рабочий процесс и устранение неполадок

Hermes AI Assistant — установка, настройка, рабочий процесс и устранение неполадок

Установка и быстрый старт агента Hermes для разработчиков

Hermes Agent — это хостящийся пользователем, независимый от конкретной модели ИИ-ассистент, который работает на локальной машине или недорогом VPS, взаимодействует через терминал и мессенджеры, а со временем совершенствуется, превращая повторяющиеся задачи в переиспользуемые навыки.

TGI — Text Generation Inference: установка, настройка и устранение неполадок

TGI — Text Generation Inference: установка, настройка и устранение неполадок

Установите TGI, развертывайте быстро, отлаживайте ещё быстрее.

Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —

Бенчмарки LLM с 16 ГБ видеопамяти с использованием llama.cpp (скорость и контекст)

Бенчмарки LLM с 16 ГБ видеопамяти с использованием llama.cpp (скорость и контекст)

скорость обработки токенов llama.cpp на 16 ГБ VRAM (таблицы).

В этом посте я сравниваю скорость работы нескольких больших языковых моделей (LLM) на GPU с 16 ГБ видеопамяти (VRAM) и выбираю лучшую для самостоятельного хостинга.

Ollama в Docker Compose с использованием GPU и постоянным хранилищем моделей

Ollama в Docker Compose с использованием GPU и постоянным хранилищем моделей

Ollama-сервер с приоритетом композинга, поддержкой GPU и сохранением состояния.

Ollama отлично работает на «голом» железе. Но становится еще интереснее, если рассматривать его как сервис: стабильный конечный пункт, зафиксированные версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

Ollama за обратным прокси-сервером Caddy или Nginx для потоковой передачи через HTTPS

HTTPS для Ollama без нарушения потоковой передачи ответов.

Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Быстрый старт SGLang: установка, настройка и развертывание больших языковых моделей через API OpenAI

Запускайте открытые модели быстро с помощью SGLang.

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.