RAG

Ollama가 병렬 요청을 처리하는 방식

Ollama가 병렬 요청을 처리하는 방식

ollama를 사용하여 병렬 요청 실행을 구성합니다.

Ollama 서버가 동일한 시간에 두 개의 요청을 받을 경우, 그 동작은 구성 설정과 사용 가능한 시스템 자원에 따라 달라집니다.

LLM을 위한 효과적인 프롬프트 작성

LLM을 위한 효과적인 프롬프트 작성

일부 실험을 필요로 하지만

아직도 LLM이 당신이 원하는 것을 이해하려고 애를 쓰지 않도록 하기 위해 효과적인 프롬프트를 작성하는 데 사용되는 일반적인 접근 방법이 몇 가지 있습니다.

LLM 요약 능력 비교

LLM 요약 능력 비교

8개의 llama3 (Meta+) 및 5개의 phi3 (Microsoft) LLM 버전

다양한 파라미터 수와 양자화 방식을 사용한 모델들이 어떻게 동작하는지 테스트해보았습니다.