Ollama

로컬에서 LLM 실행은 개발자와 조직이 보안을 강화하고 지연 시간을 줄이며 AI 인프라에 대한 통제력을 높이려는 노력에 따라 점점 더 인기를 얻고 있습니다.

AI의 민주화 시대가 도래했습니다.
Llama 3, Mixtral, Qwen과 같은 오픈소스 LLM이 이제는 전용 모델과 경쟁할 수 있을 정도로 발전했으며, 팀은 소비자 하드웨어를 사용하여 강력한 AI 인프라를 구축할 수 있습니다. 이는 비용을 절감하면서도 데이터 프라이버시와 배포에 대한 완전한 통제를 유지할 수 있습니다.

저는 NVIDIA DGX Spark, Mac Studio, 그리고 RTX 4080 세 가지 다른 플랫폼에서 Ollama를 사용하여 GPT-OSS 120b의 흥미로운 성능 테스트 결과를 조사했습니다. Ollama 라이브러리에서 제공하는 GPT-OSS 120b 모델은 65GB의 크기를 가지며, 이는 RTX 4080의 16GB VRAM에 맞지 않으므로, 또는 더 최근의 RTX 5080에도 맞지 않습니다.

로컬에서 대규모 언어 모델(LLM) 실행 는 프라이버시, 비용 관리, 오프라인 기능을 위해 점점 더 인기를 끌고 있습니다. 2025년 4월에 Docker가 Docker Model Runner (DMR), AI 모델 배포를 위한 공식 솔루션을 발표하면서 상황은 크게 변화했습니다.

이 가이드는 사용 가능한 Go SDKs for Ollama에 대한 종합적인 개요를 제공하고, 그 기능 세트를 비교합니다.

다음은 Qwen3:30b와 GPT-OSS:20b 사이의 비교입니다.
지시사항 준수 및 성능 파라미터, 사양 및 속도에 초점을 맞추고 있습니다:

이 게시물에서는 Python 애플리케이션을 Ollama에 연결하는 두 가지 방법을 살펴보겠습니다: 1. HTTP REST API를 통해; 2. 공식 Ollama Python 라이브러리를 통해.

Ollama의 GPT-OSS 모델은 특히 LangChain, OpenAI SDK, vllm 및 기타 프레임워크와 함께 사용될 때 구조화된 출력을 처리하는 데 반복적인 문제가 있습니다.

대규모 언어 모델(LLMs) 은 강력하지만, 실제 운영 환경에서는 일반적인 문장이 아닌 예측 가능한 데이터를 원합니다. 즉, 앱에 입력할 수 있는 속성, 사실 또는 구조화된 객체를 원합니다. 이에 대해 LLM 구조화된 출력을 살펴보겠습니다.

여기서 저는 새로운 버전의 Ollama가 모델에 할당하는 VRAM의 양을 이전 버전과 비교하고 있습니다.
새로운 버전은 더 나쁘다고 보입니다.

Ollama은 LLM을 로컬에서 실행하는 데 사용되는 가장 인기 있는 도구 중 하나로 빠르게 자리 잡았습니다.
간단한 CLI와 간소화된 모델 관리 기능 덕분에, 클라우드 외부에서 AI 모델을 사용하고자 하는 개발자들에게 필수적인 선택지가 되었습니다.
하지만 많은 유망한 플랫폼과 마찬가지로, 이미 **Enshittification**의 징후가 나타나고 있습니다.

로컬에서 호스팅된 Ollama는 대형 언어 모델을 자신의 컴퓨터에서 실행할 수 있게 해줍니다. 하지만 명령줄을 통해 사용하는 것은 사용자 친화적이지 않습니다. 다음은 로컬 Ollama에 연결되는 **ChatGPT 스타일의 인터페이스**를 제공하는 여러 오픈 소스 프로젝트입니다.

표준 Ollama에는 직접적인 재정렬 API가 없기 때문에, 쿼리-문서 쌍의 임베딩을 생성하고 이를 점수화하여 Qwen3 재정렬기 사용으로 재정렬하기(GO)를 구현해야 합니다.

이 테스트에서는 Ollama에 호스팅된 다양한 LLM이 Hugo 페이지를 영어에서 독일어로 번역하는 방법을 비교하고 있습니다. https://www.glukhov.org/ko/post/2025/06/translation-quality-comparison-llms-on-ollama/ "comparison how different LLMs hosted on Ollama translate Hugo page from English to German".

테스트한 세 페이지는 서로 다른 주제를 다루고 있으며, 마크다운 형식으로 구성되어 있습니다. 헤더, 목록, 표, 링크 등이 포함되어 있습니다.

이 작은
Reranking Go 코드 예제는 Ollama를 호출하여 쿼리와 각 후보 문서에 대한 임베딩을 생성
그런 다음 코사인 유사도에 따라 내림차순으로 정렬합니다.

Qwen3 Embedding 및 Reranker 모델은 Qwen 가족의 최신 출시물로, 고급 텍스트 임베딩, 검색 및 재정렬 작업에 특화되어 있습니다.