Llm

Тихая лазейка, подпитывавшая волну экспериментов с агентами, теперь закрыта.

Vane — один из наиболее прагматичных проектов в сегменте «AI-поиск со ссылками на источники»: самохостингуемый движок ответов, который сочетает живой веб-поиск с локальными или облачными LLM, сохраняя при этом полный контроль над всем стеком за вами.

Claude Code — это не просто автодополнение с лучшей маркетинговой упаковкой. Это агентный инструмент для программирования: он анализирует вашу кодовую базу, редактирует файлы, выполняет команды и интегрируется с вашими инструментами разработки.

Hermes Agent — это хостящийся самостоятельно (self-hosted), независимый от модели ИИ-ассистент, который работает на локальном компьютере или недорогом VPS, функционирует через терминальные и мессенджерские интерфейсы и со временем совершенствуется, превращая повторяющиеся задачи в переиспользуемые навыки (skills).

Text Generation Inference (TGI) обладает очень специфической энергетикой. Это не самый новый проект на улице инференса, но это тот, который уже научился, как происходит работа в продакшене, —

Здесь я сравниваю скорость нескольких LLM, работающих на GPU с 16 ГБ видеопамяти, и выбираю лучшую для самохостинга.

В Австралии есть в наличии RTX 5090. Вроде бы. И если вам повезет ее найти, вы заплатите премию, оторванную от реальности.

Ollama чувствует себя наиболее комфортно, когда с ним обращаются как с локальным демоном: CLI и ваши приложения взаимодействуют с локальным HTTP-интерфейсом (loopback), а остальная сеть даже не знает о его существовании.

Ollama отлично работает на «голом железе». Всё становится ещё интереснее, когда вы начинаете относиться к нему как к сервису: стабильный эндпоинт, закреплённые версии, постоянное хранилище данных и GPU, который либо доступен, либо нет.

Запуск Ollama через обратный прокси — самый простой способ обеспечить поддержку HTTPS, опциональный контроль доступа и предсказуемое поведение потоковой передачи данных.

Если вы работаете с генерацией с расширением поиска (RAG), этот раздел объясняет векторные представления текста (эмбеддинги) простым языком: что это такое, как они работают в поиске и извлечении данных, и как вызывать два распространенных локальных режима из Python с помощью Ollama или OpenAI-совместимого HTTP API (так как многие серверы на базе llama.cpp поддерживают такой интерфейс).

SGLang — это высокопроизводительный фреймворк для развертывания больших языковых и мультимодальных моделей, созданный для обеспечения низколатентного и высокопроизводительного вывода на устройствах от одной GPU до распределенных кластеров.

Вскоре вы уже управляете несколькими инструментами: vLLM, llama.cpp и другими — каждый стек работает на своём собственном порту. При этом все последующие звенья цепочки по-прежнему ожидают один базовый URL /v1; иначе вам придётся постоянно перенастраивать порты, профили и разовые скрипты. llama-swap — это прокси для /v1, который размещается перед этими стеками.

Большинство локальных конфигураций ИИ начинаются с модели и среды выполнения.

Oh My Opencode обещает «виртуальную команду AI-разработчиков» — Сизиф координирует специалистов, задачи выполняются параллельно, а волшебное ключевое слово ultrawork активирует всё это.

Oh My Opencode превращает OpenCode в многоагентскую среду для разработки: оркестратор делегирует работу специализированным агентам, которые выполняются параллельно.