LLM

Искусственный интеллект не заменяет управление знаниями; он меняет его форму как для отдельных лиц, так и для команд.

Фреймворки для ИИ-агентов с открытым исходным кодом стремительно набирают популярность на GitHub. Два проекта, являющихся основой экосистемы самохостинговых ИИ-систем — OpenClaw и Hermes Agent — настолько опередили остальных, что вся остальная отрасль борется за отдаленное третье место.

Я протестировал производительность спекулятивного декодирования (Multi-Token Prediction, MTP) в моделях Qwen 3.6 27B и 35B на видеокарте RTX 4080 с 16 ГБ видеопамяти (VRAM).

Режим маршрутизации llama.cpp — одно из самых полезных изменений в llama-server за последние годы. Наконец-то локальным операторам LLM предоставляется опыт управления моделями, близкий к тому, к которому пользователи привыкли в Ollama, при этом сохраняются высокая производительность и низкоуровневый контроль, которые делают llama.cpp стоящими того, чтобы использовать их в первую очередь.

Основная идея проста: скомпилированные знания более пригодны для повторного использования, чем извлеченные фрагменты. RAG стал стандартным ответом на простой вопрос — как предоставить LLM доступ к внешним знаниям?

Большинство руководств по «структурированному выводу» (structured output) для больших языковых моделей (LLM) не обладают должной серьезностью. Они учат вас вежливо просить модель выдавать JSON и затем надеяться, что она поступит правильно. Это не валидация. Это оптимизм, обернутый в фигурные скобки.

Эта страница представляет собой практическое руководство по настройке агентов на базе LLM (температура, top_p, top_k, штрафы и их взаимодействие в многоступенчатых рабочих процессах с интенсивным использованием инструментов).

Вы уже общаетесь с агентом Hermes через телефон, используя текстовые сообщения. Теперь вы хотите говорить с ним напрямую и получать ответы голосом. Как правило, это правильное решение, особенно если вы уже используете Hermes как постоянно работающего автономного ассистента. Ввод длинных подсказок на маленьком экране медленный и подвержен ошибкам.

Агент Hermes поставляется с доской в стиле Канбан и шлюзом Hermes Gateway, который может перегрузить вашу локально развернутую модель LLM, если одновременно будет отправлено слишком много задач.

Hermes Agent рассматривает навыки (skills) как основной способ обучения повторяемым рабочим процессам. В официальной документации они описываются как документы с знаниями, доступные по требованию и соответствующие открытому формату agentskills.io. Они загружаются через механизм постепенного раскрытия (progressive disclosure), благодаря чему модель сначала видит небольшой индекс и извлекает полные инструкции только тогда, когда задача действительно в них нуждается.

Hermes Agent от Nous Research — это модельно-независимый ассистент, использующий инструменты, который вы можете запускать локально или на VPS.

Большинство стеков ИИ-агентов по-прежнему рассматривают безопасность как проблему, которую нужно решать после демонстрации. NemoClaw исходит из противоположного предположения и делает изоляцию, политики и маршрутизацию настройками по умолчанию с первого дня.

Этот раздел собирает руководства по постоянной памяти и сохранению знаний для систем ИИ — как ассистенты хранят факты, предпочтения и сжатый контекст между сессиями, не пытаясь впихнуть каждый токен в один промпт. Здесь под памятью подразумевается осознанное хранение (факты о пользователе, резюме, хранилища с поддержкой плагинов), а не оперативная память GPU или веса моделей.

Современные ассистенты по-прежнему забывают всё, когда вы закрываете вкладку, если ничего не сохраняется за пределами окна контекста. Провайдеры памяти агентов — это сервисы или библиотеки, которые хранят факты и резюме между сессиями; они часто подключаются как плагины, чтобы фреймворк оставался легковесным, в то время как память масштабируется.

Вы знаете, как это бывает. Вы открываете чат с ИИ-агентом, объясняете суть проекта, делитесь предпочтениями, выполняете работу и закрываете вкладку. Возвращаетесь на следующей неделе, и кажется, будто вы говорите с незнакомцем — весь контекст утерян, каждое предпочтение забыто, проект приходится объяснять заново с нуля.

OpenClaw не провалилась как продукт. Он потерял свое топливо.