테스트: 인텔 CPU 성능과 효율적인 코어를 어떻게 Ollama가 사용하는가
인텔 CPU의 효율성 코어 vs 성능 코어에서의 Ollama
제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 부분적으로 CPU에서 실행되고 있다는 점이 제게 짜증을 주고 있습니다.
인텔 CPU의 효율성 코어 vs 성능 코어에서의 Ollama
제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 부분적으로 CPU에서 실행되고 있다는 점이 제게 짜증을 주고 있습니다.
유용한 MinIO 명령어
MinIO는 두 가지 표준 UI를 제공합니다: (1) MinIO Console - 이는 웹 UI이며,
(2) MinIO Command - 이는 명령줄 인터페이스입니다 util mc.
Minio 개요 및 설치
MinIO은 Amazon S3 API와 완전히 호환되도록 설계된 오픈 소스 고성능 분산 객체 저장소 시스템입니다.
AI는 많은 전력을 필요로 합니다...
현대 세계의 혼란 속에서 저는 AI 작업(딥러닝, 객체 탐지 및 LLM)에 적합한 다양한 그래픽 카드의 사양을 비교하고 있습니다. 하지만 이 카드들은 모두 가격이 매우 비쌉니다.
Hugo에서 가장 인기 있는 테마
깃허브에서 Hugo용 최고의 테마 목록을 확인해 보고,
별점 평가를 확인해 보세요.
공식적인 Hugo 테마 목록으로 이동할 수 있습니다: https://themes.gohugo.io/
Ollama의 동시성, 큐잉, 그리고 안정적인 병렬 요청을 위한 OLLAMA_NUM_PARALLEL 튜닝 방법을 이해합니다.
이 가이드는 Ollama가 병렬 요청을 처리하는 방식(동시성, 대기열, 리소스 한계)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정)를 사용하여 이를 조정하는 방법을 설명합니다.
시스템 관리의 기초
이제 이를 플랫폼 엔지니어링이라고 부르는 것이 더 적절할지도 모릅니다. 여기에는 Connect 설치 및 Portainer 제거 방법에 대한 몇 가지 참고 사항이 정리되어 있습니다. Connect와 Portainer는 도커 이미지 및 컨테이너 관리용 UI 도구입니다.
클라우드에서 비동기 처리가 신속하게 필요할 때
AWS EKS의 RabbitMQ와 AWS SQS 간 간략한 비교
가끔은 hugo 기반 웹사이트에 폼 제출 기능을 추가해야 할 때가 있습니다.
매주 두 번째 금요일은 아니지만, 여전히… 우리는 두 가지 주요 접근 방식을 가지고 있습니다.
리눅스 서비스로 실행 가능한 실행 파일 실행
다음은 Linux에서 Systemd를 사용하여 실행 가능한 파일을 서비스로 실행하는 방법에 대한 지침입니다.
두 개의 deepseek-r1 모델을 두 개의 기본 모델과 비교합니다.
DeepSeek’s 첫 세대 추론 모델로, OpenAI-o1과 유사한 성능을 보입니다. 이 모델은 Llama와 Qwen을 기반으로 한 DeepSeek-R1에서 추출한 6개의 밀집 모델입니다.
일부 POSSE 개념 및 예시
SearXNG 에 대한 몇 가지 세부 사항
SearXNG 는 Searx 에서 포크된 무료 오픈소스 페더레이션 메타검색 엔진입니다. GitHub 의 SearXNG 프로젝트 는 1 만 5 천 개 이상의 별점을 보유하고 있습니다.
파이썬 프로그램을 단일 파일로 결합하기
PyInstaller을 사용하여 Python 프로그램을 단일 실행 파일로 패키징할 수 있습니다. Linux, Windows, Mac에서 모두 작동합니다.
가장 효율적인 방법은 아니지만, 사용할 수 있습니다.
트위터/X/페이스북/레딧 대안
Hugo 테마가 구조화된 데이터를 지원하지 않는다면...
구글은 웹사이트에서 수집한 구조화된 데이터를 기반으로 검색 결과에 영화 정보, 일자리 공고, 이벤트 및 강의 정보와 같은 몇 가지 개선 사항을 표시하고 있습니다. 아래에 어떻게 해야 하는지 보여드리겠습니다.
How to add Structured Data to the site using Hugo generator.