LLM

알다시피, AI 에이전트와 채팅을 열면 프로젝트를 설명하고 선호 사항을 공유하며 작업을 진행한 뒤 탭을 닫습니다. 다음 주에 다시 돌아와 보면 낯선 이와 대화하는 듯한 기분이 듭니다. 모든 컨텍스트가 사라지고, 모든 선호 사항은 잊혀졌으며, 프로젝트는 처음부터 다시 설명해야 합니다.

OpenClaw는 제품으로서 실패한 것이 아닙니다. 연료를 잃어버린 것입니다.

오랜 기간 동안 llama.cpp에는 뚜렷한 한계가 존재했습니다.
즉, 프로세스당 단 하나의 모델만 서빙(serving)할 수 있었으며, 모델을 변경하려면 재시작이 필요했습니다.

대부분의 팀은 Claude Skills 를 두 가지 방식 중 하나로 오용합니다. SKILL.md 를 쓰레기통으로 변하게 하거나, 거대한 복사 - 붙여넣기 프롬프트에서 벗어나지 못합니다.

공식 문서상 ‘Hermes 에이전트(Hermes Agent)‘로 기록된 허메스 AI 어시스턴트는 단순한 채팅 래퍼(chat wrapper)로 포지셔닝되지 않습니다.

OpenClaw에는 두 가지 확장이 있으며, 이들은 쉽게 혼동될 수 있습니다.

플러그인은 런타임을 확장합니다. 스킬(기술)은 에이전트의 행동을 확장합니다.

이 기사는 OpenClaw 플러그인에 대해 다룹니다. OpenClaw 플러그인은 채널, 모델 제공자, 도구, 음성, 메모리, 미디어, 웹 검색 및 기타 런타임 표면을 추가하는 네이티브 게이트웨이 패키지입니다.

데모에서는 OpenClaw가 단순해 보입니다. 하지만 프로덕션 환경에서는 하나의 시스템으로 진화합니다.

에이전트 실험의 물결을 이끈 조용한 루트가 이제 막혔습니다.

Vane 은 “인용된 AI 검색” 분야에서 더 실용적인 솔루션 중 하나입니다. 이는 실시간 웹 검색과 로컬 또는 클라우드 LLM 을 결합하면서도 전체 스택을 사용자의 통제 하에 두는 자체 호스팅형 답변 엔진입니다.

Claude Code는 마케팅만 뛰어난 자동 완성 도구가 아닙니다. 이것은 에이전트 기반 코딩 도구입니다. 코드베이스를 읽고, 파일을 편집하며, 명령을 실행하고, 개발 도구와 통합됩니다.

Hermes Agent은(는) 자체 호스팅(self-hosted) 방식이며 모델에 구애받지 않는 AI 어시스턴트로, 로컬 머신이나 저비용 VPS에서 실행됩니다. 터미널 및 메시징 인터페이스를 통해 작동하며, 반복적인 작업을 재사용 가능한 스킬(skill)로 변환함으로써 시간이 지남에 따라 성능이 향상됩니다.

Text Generation Inference(TGI) 는 매우 특유의 에너지를 지니고 있습니다. 추론 분야에서 가장 새로운 기술은 아니지만, 이미 프로덕션 환경에서 발생하는 문제를 잘 이해하고 있습니다.

여기서는 VRAM이 16GB인 GPU에서 여러 LLM의 속도를 비교하고, 자체 호스팅에 가장 적합한 모델을 선정해 보겠습니다.

호주에 RTX 5090 재고가 있습니다. 마침내. 하지만 하나를 찾아도 현실과 동떨어진 프리미엄 가격을 지불해야 합니다.

Ollama 는 로컬 데몬 (daemon) 으로 취급될 때 가장 행복해합니다: CLI 와 애플리케이션이 루프백 HTTP API 와 통신하며, 나머지 네트워크는 Ollama 의 존재를 전혀 알지 못합니다.