대부분의 엔지니어링 노트는 한 번 작성되고 나면 방치됩니다. 디버깅 세션에서 얻은 통찰을 기록하고 어딘가에 붙여 넣은 후, 2년이 지난 후에야 그 파일을 찾아보지만 당시 왜 중요했는지 맥락을 기억하지 못하는 경우가 많습니다.

온라인에서 지식을 게시하는 지배적인 모델은 2000년대 초 이후 크게 변하지 않았습니다. 무언가를 작성하고, 다듬고, 게시한 다음 넘어가는 방식입니다.

대형 언어 모델(LLM)은 예측 불가능합니다. 환각(hallucination) 현상이 발생하거나, 데이터가 유출되거나, 유해한 콘텐츠를 생성하거나, 합법적인 요청을 거부하기도 합니다. 가드레일(Guardrails)은 모델의 성능을 희생하지 않으면서도 모델의 행동을 제한합니다.

70B 파라미터 모델을 200단어짜리 이메일 요약에 사용하는 것은 낭비입니다. 3B 모델을 프로덕션 코드 리뷰에 사용하는 것은 무모합니다. 대부분의 시스템은 이 둘 사이의 어딘가에 위치하며, 바로 여기서 모델 라우팅이 핵심이 됩니다.

단일 모델 시스템은 간단합니다. 다중 모델 시스템은 강력합니다. 도전과제는 모델을 선택하는 것이 아니라, 이들을 조율하는 아키텍처를 설계하는 것입니다.

LLM 비용은 사용량에 따라 선형적으로 증가합니다. 하루에 10,000건의 요청을 처리하고 요청 건당 0.01달러를 지불하는 시스템의 경우, 일일 비용은 100달러이며 연간으로는 365달러가 됩니다. 엔터프라이즈 규모에서는 이 비용이 10,000달러를 넘습니다.

메모리는 어시스턴트를 반응형에서 지속형으로 바꾸지만, 동시에 많은 시스템이 조용히 부패하는 곳이기도 합니다. 최신 에이전트 메모리에 대해 단기 기억과 장기 기억의 이분법은 더 이상 충분하지 않다고 주장하는 조사가 있으며, OpenAI와 LangGraph SDK는 더 단순한 스택을 지시합니다 — 워킹 메모리(작업 메모리), 내구성 상태(durable state), 검색(retrieval).

프로덕션 AI 어시스턴트는 단순히 “프롬프트가 포함된 LLM"이 아닙니다. 사용자 의도를 수용하고, 상태를 유지하며, 검색 또는 실행 시점을 결정하고, 장애를 디버깅할 수 있도록 충분한 런타임 세부 정보를 노출하는 시스템입니다.

AI는 지식 관리를 대체하지 않습니다. 대신 개인과 팀 모두에게 지식 관리의 형태를 변화시키고 있습니다.

개발자들은 보통 정보 부족으로 고통받지 않습니다. 우리는 오히려 정보가 지나치게 많다는 점 때문에 고통받습니다.

GitHub에서 오픈소스 AI 에이전트 프레임워크의 인기가 폭발적으로 증가하고 있습니다. 셀프호스팅 AI 시스템 생태계의 핵심에 있는 두 프로젝트인 OpenClaw와 Hermes Agent는 나머지 분야와의 격차를 크게 벌려 두었으며, 나머지 프로젝트들은 멀리 떨어진 3위를 놓고 경쟁하고 있습니다.

Qwen 3.6 27B와 35B 모델에서 RTX 4080 16 GB VRAM 환경의 스펡추레이티브 디코딩(Speculative decoding, Multi-Token Prediction, MTP) 성능을 테스트했습니다.

llama.cpp 라우터 모드는 수년 동안 llama-server에 도입된 변화 중 가장 유용한 변화 중 하나입니다. 이는 로컬 LLM 운영자에게 Ollama에서 기대하는 모델 관리 경험에 가까운 기능을 제공하면서도, llama.cpp를 처음부터 사용하게 만드는 원시 성능과 저레벨 제어를 그대로 유지합니다.

대부분의 현대 지식 시스템은 검색(Retrieval) 최적화에 집중하며, 이는 이해할 수 있는 접근입니다. 검색은 가시적이며 데모하기 쉽고, 작동할 때 마법처럼 느껴집니다. 질문을 입력하면 답변이 돌아옵니다.

전제는 간단합니다. 컴파일된 지식은 검색된 단편보다 재사용성이 높습니다. RAG는 직관적인 질문—LLM에게 외부 지식을 어떻게 접근하게 할 것인가?—에 대한 기본 답변이 되었습니다.

PKM, RAG, 위키, AI 메모리 시스템, 그리고 최근 실용적인 AI 지원 워크플로우가 종종 동일한 문제를 해결하는 것처럼 논의됩니다. 하지만 그렇지 않습니다. 이들은 모두 지식과 관련되어 있지만, 서로 다른 계층에서 작동합니다: