ИИ-системы: self-hosted ассистенты, RAG и локальная инфраструктура

Содержимое страницы

Большинство локальных конфигураций ИИ начинаются с модели и среды выполнения.

Вы загружаете квантованную модель, запускаете её через Ollama или другую среду выполнения и начинаете отправлять запросы. Для экспериментов этого более чем достаточно. Но как только вы выходите за рамки простого любопытства — как только для вас начинают играть роль потребление памяти, качество извлечения данных, маршрутизация или контроль затрат — простота такого подхода начинает показывать свои ограничения.

Эта тема исследует иной подход: рассматривать ИИ-ассистента не как одиночный вызов модели, а как скоординированную систему.

На первый взгляд это различие может показаться незаметным, но оно полностью меняет восприятие локального ИИ.

Оркестрация систем ИИ с локальными LLM, RAG и слоями памяти

Что такое система ИИ?

Система ИИ — это нечто большее, чем просто модель. Это слой оркестрации, который связывает инференс, извлечение данных, память и выполнение в нечто, ведущее себя как согласованный ассистент.

Запуск модели локально — это инфраструктурная работа. Проектирование ассистента вокруг этой модели — это системная работа.

Если вы уже изучали наши основные руководства по темам:

— вы уже знаете, что инференс — это лишь один из слоёв стека.

Класс «Системы ИИ» (AI Systems) находится поверх этих слоёв. Он не заменяет их, а объединяет.

Для целостной карты того, как эти слои сочетаются в промышленных ассистентах — LLM, память, инструменты, маршрутизация и наблюдаемость, с OpenClaw и Hermes в качестве референсных систем — см. Архитектура ИИ-ассистента: LLM, память, инструменты, маршрутизация, наблюдаемость.

Как только архитектура ассистента готова, следующим шагом является обеспечение его проактивности. Опросные агенты в ИИ-ассистентах: 11 паттернов реализации рассматривает, как фоновые опросные воркеры, выполнение на основе очередей, устойчивые рабочие процессы и семантические LLM-оценщики превращают реактивный ассистент в того, кто самостоятельно наблюдает, принимает решения и действует.

Когда одного ассистента недостаточно и несколько агентов должны координироваться, выбор паттерна координации определяет всё: задержки, отказоустойчивость, затраты и возможность отладки. Паттерны оркестрации мультиагентных систем: практическое руководство описывает шесть канонических паттернов — оркестратор-рабочий, последовательный конвейер, fan-out, иерархический, рой и mesh — с конкретными режимами отказа и фреймворком для выбора правильной архитектуры.

OpenClaw: самохостируемая система ИИ-ассистента

OpenClaw — это открытая с самостоимостя (self-hosted) система ИИ-ассистента, разработанная для работы через мессенджеры при запуске на локальной инфраструктуре.

На практическом уровне она:

  • Использует локальные среды выполнения LLM, такие как Ollama или vLLM
  • Интегрирует извлечение данных по индексированным документам
  • Поддерживает память за пределами одной сессии
  • Выполняет инструменты и автоматизированные задачи
  • Может быть оснащена метриками и наблюдаема
  • Работает в рамках аппаратных ограничений

Это не просто обёртка над моделью. Это слой оркестрации, соединяющий инференс, извлечение, память и выполнение в нечто, ведущее себя как согласованный ассистент.

Начало работы и архитектура:

Контекст и анализ:

Расширение и конфигурирование OpenClaw:

Плагины расширяют среду выполнения OpenClaw — добавляя бэкенды памяти, поставщиков моделей, каналы связи, веб-инструменты и наблюдаемость. Навыки (Skills) расширяют поведение агента — определяя, как и когда агент использует эти возможности. Промышленная конфигурация означает объединение обоих, сформированных вокруг того, кто реально использует систему.

Hermes: устойчивый агент с навыками и песочницей инструментов

Hermes Agent — это ассистент с самостоимостью, независимый от модели, с фокусом на устойчивую работу: он может работать как долгоживущий процесс, выполнять инструменты через конфигурируемые бэкенды и улучшать рабочие процессы со временем благодаря памяти и переиспользуемым навыкам.

На практическом уровне Hermes полезен, если вы хотите:

  • Ассистента с приоритетом терминала, который также может мостить в мессенджеры
  • Гибкость поставщиков через OpenAI-совместимые эндпоинты и переключение моделей
  • Границы выполнения инструментов через локальные и песочные бэкенды
  • Операции второго дня с диагностикой, логами и гигиеной конфигурации

Профили Hermes — это полностью изолированные окружения — каждый со своей конфигурацией, секретами, памятью, сессиями, навыками и состоянием — что делает профили реальной единицей промышленного владения, а не отдельный навык.

Устойчивые знания и память

Некоторые проблемы не решаются только увеличением окна контекста — им нужны устойчивые знания (графы, конвейеры инжеста) и плагины памяти агентов (Honcho, Mem0, Hindsight и подобные бэкенды), подключённые к ассистентам, таким как Hermes или OpenClaw.

MCP: Серверы протокола контекста модели

Протокол контекста модели (MCP) — это открытый стандарт, введённый Anthropic для подключения языковых моделей ИИ к внешним источникам данных, инструментам и системам. Он решает проблему интеграции N×M, предоставляя универсальный интерфейс — представьте его как порт USB-C для приложений ИИ. Создание серверов MCP позволяет расширять ИИ-ассистентов пользовательскими интеграциями для файлов, баз данных, API и вызываемых инструментов, используя простой протокол на основе JSON-RPC через stdio или HTTP.

  • Навыки агентов против серверов MCP: фреймворк принятия решений — практический фреймворк для принятия решений, когда использовать навыки, когда строить серверы MCP и как паттерн тонкого сервера объединяет оба
  • Сервер MCP на Go — архитектура протокола, структура сообщений JSON-RPC, согласование возможностей, официальный SDK для Go и пошаговое руководство по созданию серверов MCP на Go
  • Создание серверов MCP на Python — практическое руководство по реализации на Python, охватывающее серверы MCP для веб-поиска и скрейпинга, транспорты stdio и SSE, а также интеграцию с Claude Desktop

A2A: Протокол агент-агент

Протокол Агент-Агент (A2A) — это открытый стандарт для коммуникации между независимо развёрнутыми системами ИИ-агентов. Если MCP соединяет агента с инструментами, то A2A соединяет агентов с другими агентами — позволяя им обнаруживать друг друга через Agent Cards, обмениваться задачами и сообщениями, стримить прогресс и возвращать типизированные артефакты. A2A разработан для систем, где агенты принадлежат разным командам, построены на разных фреймворках или развёрнуты как отдельные сервисы, которым нужно взаимодействовать.

Чем системы ИИ отличаются

Несколько характеристик делают системы ИИ заслуживающими более внимательного изучения.

Маршрутизация моделей как выбор проектирования

Большинство локальных установок по умолчанию используют одну модель. Системы ИИ поддерживают намеренный выбор моделей.

Это вводит вопросы:

  • Должны ли небольшие запросы использовать меньшие модели?
  • Когда рассуждение оправдывает более большое окно контекста?
  • Какова разница в стоимости на 1000 токенов?

Эти вопросы напрямую связаны с компромиссами производительности, обсуждёнными в руководстве по производительности LLM и решениями по инфраструктуре, изложенными в руководстве по хостингу LLM.

Системы ИИ выносят эти решения на поверхность, а не скрывают их.

Извлечение рассматривается как эволюционирующий компонент

Системы ИИ интегрируют извлечение документов, но не как упрощённый шаг «встроить и поискать».

Они признают:

  • Размер чанка влияет на полноту (recall) и стоимость
  • Гибридный поиск (BM25 + векторы) может превосходить чистое плотное извлечение
  • Реранкинг улучшает релевантность ценой задержки
  • Стратегия индексирования влияет на потребление памяти

Эти темы соответствуют более глубоким архитектурным соображениям, обсуждённым в учебнике по RAG.

Разница в том, что системы ИИ встраивают извлечение в живой ассистент, а не представляют его как изолированную демонстрацию. Deep Research доводит эту идею дальше: вместо одного прохода извлечения система планирует, ветвится, перепроверяет и итерирует, пока доказательства не станут достаточными. Самохостируемые системы Deep Research: сравнение 12 инструментов описывает двенадцать самохостируемых систем — рекурсивные деревья исследований, дизайны планировщик-под-агент и циклы пробелов в доказательствах, среди прочих — и как каждая превращает извлечение в адаптивный исследовательский цикл.

Память как инфраструктура

Бессостоятельные LLM забывают всё между сессиями.

Системы ИИ вводят устойчивые слои памяти. Это сразу повышает вопросы проектирования:

  • Что должно храниться долгосрочно?
  • Когда контекст должен быть суммаризирован?
  • Как предотвратить взрыв токенов?
  • Как эффективно индексировать память?

Эти вопросы напрямую пересекаются со соображениями слоя данных из руководства по инфраструктуре данных. Для Hermes Agent в частности — ограниченная 2-файловая память, кэширование префиксов, внешние плагины — начните с Системы памяти Hermes Agent и межнавигационного сравнения Сравнение провайдеров памяти агентов. Автоматический захват и рефлексия также могут превращать собственные выводы модели в будущие «доказательства» — см. Самоусиливающие циклы памяти в ИИ-агентах для режима отказа и Mnemosyne для Hermes Agent для консервативной локальной реализации. Центр памяти систем ИИ перечисляет связанные руководства по Cognee и слоям знаний.

Память перестаёт быть функцией и становится проблемой хранения.

Наблюдаемость не является опциональной

Большинство локальных экспериментов с ИИ заканчиваются на этапе «он отвечает».

Системы ИИ позволяют наблюдать:

  • Использование токенов
  • Задержки
  • Загрузку оборудования
  • Паттерны пропускной способности

Это естественно связано с принципами мониторинга, описанными в руководстве по наблюдаемости.

Если ИИ работает на оборудовании, он должен быть измерим, как любая другая нагрузка.

Каково это, когда ты используешь систему

Со стороны система ИИ может по-прежнему выглядеть как интерфейс чата.

Под поверхностью происходит больше.

Если вы попросите её суммировать технический отчёт, сохранённый локально:

  1. Она извлекает соответствующие сегменты документов.
  2. Она выбирает подходящую модель.
  3. Она генерирует ответ.
  4. Она записывает использование токенов и задержки.
  5. Она обновляет устойчивую память при необходимости.

Видимое взаимодействие остаётся простым. Поведение системы многослойно.

Именно это многослойное поведение отличает систему от демонстрации.

Где системы ИИ занимают место в стеке

Класс «Системы ИИ» (AI Systems) находится на пересечении нескольких инфраструктурных слоёв:

  • Хостинг LLM: Слой выполнения, где исполняются модели (Ollama, vLLM, llama.cpp)
  • RAG: Слой извлечения, который предоставляет контекст и grounding
  • Производительность: Слой измерения, который отслеживает задержки и пропускную способность
  • Наблюдаемость: Слой мониторинга, который предоставляет метрики и отслеживание затрат
  • Инфраструктура данных: Слой хранения, который обрабатывает память и индексацию

Понимание этого различия полезно. Запуск системы самостоятельно делает разницу ещё более ясной.

Для минимальной локальной установки с OpenClaw см. руководство быстрого старта с OpenClaw, которое описывает настройку на основе Docker с использованием либо локальной модели Ollama, либо облачной конфигурации Claude.

Если ваша установка зависит от Claude, это изменение политики для агентных инструментов объясняет, почему теперь требуется оплата по API для сторонних рабочих процессов OpenClaw.

Связанные ресурсы

A2A: Протокол агент-агент:

Серверы MCP:

Сравнения:

Руководства по ИИ-ассистентам:

Инфраструктурные слои:

Подписаться

Получайте новые материалы про системы, инфраструктуру и AI engineering.