Hastighetstest för stora språkmodeller
Låt oss testa LLM:s hastighet på GPU jämfört med CPU
Jämförelse av förutsägelsehastighet hos flera versioner av LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) på CPU och GPU.