Ollama em CPU da Intel: núcleos eficientes vs. núcleos de desempenho
Tenho uma teoria para testar – se utilizar todos os núcleos de um processador Intel aumentaria a velocidade dos LLMs? Estou incomodado com o fato de que o novo modelo gemma3 27 bit (gemma3:27b, 17GB no ollama) não está cabendo na VRAM de 16GB da minha GPU, e está sendo executado parcialmente no CPU.
Configurando ollama para execução de solicitações em paralelo.
Quando o servidor Ollama recebe duas solicitações ao mesmo tempo, seu comportamento depende da sua configuração e dos recursos do sistema disponíveis.
Comparando dois modelos deepseek-r1 com dois modelos base
Primeira geração de modelos de raciocínio da DeepSeek com desempenho comparável ao de OpenAI-o1, incluindo seis modelos densos destilados a partir do DeepSeek-R1 baseados em Llama e Qwen.
Compilei esta lista de comandos do Ollama há algum tempo...
Aqui está a lista e exemplos dos comandos mais úteis do Ollama (folha de dicas dos comandos do Ollama) Compilei há algum tempo. Espero que também seja útil para você useful to you.
Próxima rodada de testes de LLM
Não há muito tempo foi lançado. Vamos nos atualizar e
teste como o Mistral Small se compara a outros LLMs.
Um código Python para reclassificação do RAG
Comparando duas ferramentas de busca por IA auto-hospedadas
Comida incrível é um prazer para os olhos também. Mas neste post, vamos comparar dois sistemas de busca baseados em IA, Farfalle e Perplexica.
Executando um serviço do tipo copilot localmente? Fácil!
Isso é muito emocionante! Em vez de chamar o copilot ou perplexity.ai e contar ao mundo inteiro o que você está buscando, agora você pode hospedar um serviço semelhante no seu próprio PC ou laptop!
Não há tantas opções assim, mas ainda assim...
Quando comecei a experimentar com LLMs, as interfaces deles estavam em desenvolvimento ativo e agora algumas delas são realmente boas.
Testando a detecção de falácias lógicas
Recentemente, vimos a liberação de vários novos LLMs. Tempos emocionantes. Vamos testar e ver como eles se saem ao detectar falácias lógicas.
Requer algum experimento, mas
Ainda assim, existem algumas abordagens comuns para escrever prompts eficazes, de modo que os LLMs não fiquem confusos ao tentar entender o que você deseja.
8 versões do llama3 (Meta+) e 5 versões do phi3 (Microsoft) LLM
Testando como modelos com diferentes números de parâmetros e quantização estão se comportando.
Os arquivos do modelo LLM Ollama ocupam muito espaço.
Após instalar ollama é melhor reconfigurar ollama para armazená-los em um novo local imediatamente. Assim, após puxarmos um novo modelo, ele não será baixado para o local antigo.
