Hur Ollama Hanterar Parallella Förfrågningar
Konfigurera Ollama för parallella begäranden.
När Ollama-servern tar emot två förfrågningar samtidigt, beror dess beteende på dess konfiguration och tillgängliga systemresurser.
RAG
Testning av Deepseek-R1 på Ollama
Jämför två deepseek-r1-modeller med två basmodeller
DeepSeek’s första generation av resonemangsmodeller med jämförbar prestanda med OpenAI-o1, inklusive sex täta modeller destillerade från DeepSeek-R1 baserade på Llama och Qwen.
Reranking med inbäddningsmodeller
En Python-kod för RAG:s omrankning
Att skriva effektiva promptar för LLMs
Kräver lite experimenterande men
Även om det finns några vanliga metoder för att skriva bra instruktioner så att LLM inte blir förvirrad när den försöker förstå vad du vill ha av den.
Jämförelse av LLM:s sammanfattningsförmåga
8 versioner av llama3 (Meta+) och 5 versioner av phi3 (Microsoft) LLM
Testar hur modeller med olika antal parametrar och kvantisering beter sig.