임베딩 모델을 활용한 재순위화
RAG의 재순위화를 위한 Python 코드
RAG의 재순위화를 위한 Python 코드
두 개의 자체 호스팅 AI 검색 엔진 비교
아름다운 음식은 눈으로도 즐길 수 있는 즐거움입니다. 하지만 이번 포스팅에서는 두 가지 AI 기반 검색 시스템인 Farfalle 와 Perplexica 를 비교해 보겠습니다.
로컬에서 코파일럿 스타일 서비스를 실행하시나요? 간단합니다!
정말 흥미진진합니다!
코파일럿 (Copilot) 이나 perplexity.ai 에 접속하여 전 세계에 당신의 의도를 알릴 필요 없이, 이제 자신의 PC 나 노트북에서 유사한 서비스를 직접 호스팅할 수 있습니다!
논리적 오류 탐지 테스트
최근 몇몇 새로운 LLM이 출시되었습니다. 흥미로운 시기입니다. 논리적 오류를 감지하는 데 이 모델들이 어떻게 수행되는지 테스트해 보겠습니다.
선택지가 많지는 않지만 그래도....
LLM 실험을 처음 시작했을 당시, 관련 UI는 활발하게 개발 중이었으며 현재는 그 중 일부가 매우 우수합니다.
일부 실험을 필요로 하지만
아직도 LLM이 당신이 원하는 것을 이해하려고 애를 쓰지 않도록 하기 위해 효과적인 프롬프트를 작성하는 데 사용되는 일반적인 접근 방법이 몇 가지 있습니다.
8개의 llama3 (Meta+) 및 5개의 phi3 (Microsoft) LLM 버전
다양한 파라미터 수와 양자화된 모델들이 어떻게 작동하는지 테스트해보았습니다.
Ollama LLM 모델 파일은 많은 공간을 차지합니다.
ollama 설치 후 모델을 즉시 새 위치로 저장하도록 ollama 를 재구성하는 것이 좋습니다. 이렇게 하면 새로운 모델을 풀링 (pull) 할 때 이전 위치로 다운로드되지 않습니다.