Llm

정말 흥미진진합니다!

코파일럿 (Copilot) 이나 perplexity.ai 에 접속하여 전 세계에 당신의 의도를 알릴 필요 없이, 이제 자신의 PC 나 노트북에서 유사한 서비스를 직접 호스팅할 수 있습니다!

최근 몇몇 새로운 LLM이 출시되었습니다. 흥미로운 시기입니다. 논리적 오류를 감지하는 데 이 모델들이 어떻게 수행되는지 테스트해 보겠습니다.

LLM 실험을 처음 시작했을 당시, 관련 UI는 활발하게 개발 중이었으며 현재는 그 중 일부가 매우 우수합니다.

아직도 LLM이 당신이 원하는 것을 이해하려고 애를 쓰지 않도록 하기 위해 효과적인 프롬프트를 작성하는 데 사용되는 일반적인 접근 방법이 몇 가지 있습니다.

다양한 파라미터 수와 양자화된 모델들이 어떻게 작동하는지 테스트해보았습니다.

ollama 설치 후 모델을 즉시 새 위치로 저장하도록 ollama 를 재구성하는 것이 좋습니다. 이렇게 하면 새로운 모델을 풀링 (pull) 할 때 이전 위치로 다운로드되지 않습니다.

다양한 버전의 LLM(llama3, phi3, gemma, mistral)의 예측 속도를 CPU와 GPU에서 비교합니다.

여기에서 저는 여러 LLM 버전을 비교하고 있습니다: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo(Mistral AI), Qwen(Alibaba).