Selfhosting

Inicio rápido de llama.cpp con CLI y servidor

Inicio rápido de llama.cpp con CLI y servidor

Ejecuta modelos GGUF con la CLI y el servidor

llama.cpp es un motor de inferencia en C/C++ para modelos GGUF: llama-cli para chat interactivo, llama-completion para prompts guiados por guion, y llama-server para una API HTTP compatible con OpenAI.

Interfases de LLM

Interfases de LLM

No hay tantas opciones para elegir, pero aun así....

Cuando comencé a experimentar con LLM, las interfaces de usuario para ellos estaban en pleno desarrollo y ahora algunas de ellas son realmente buenas.