E por que tenho estado vendo esse BSOD...
Fui muito impactado por esse problema. Mas você deve investigar e testar seu PC se seu BSOD for igual ao meu.
A causa foi o problema de degradação do CPU da Intel nas gerações 13ª e 14ª.
Ollama em CPU da Intel: núcleos eficientes vs. núcleos de desempenho
Tenho uma teoria para testar – se utilizar todos os núcleos de um processador Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está sendo executado parcialmente no CPU.
A IA exige muita potência...
No meio do caos do mundo moderno aqui estou comparando especificações técnicas de diferentes cartas adequadas para tarefas de IA
(Deep Learning,
Detecção de Objetos
e LLMs).
Elas são todas incrivelmente caras, no entanto.
Configurando ollama para execução de solicitações em paralelo.
Quando o servidor Ollama recebe duas solicitações ao mesmo tempo, seu comportamento depende da sua configuração e dos recursos do sistema disponíveis.
É muito mais simples do que comparar com os drivers de impressoras antigos.
A instalação do ET-8500 no Windows está bem documentada nas instruções.
A instalação do driver Linux ET-8500 é simples, mas não trivial.
Vamos testar a velocidade dos LLMs na GPU versus a CPU
Comparando a velocidade de previsão de várias versões de LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) em CPU e GPU.
