LLM

NVIDIA DGX Spark jest prawdziwy, trafił do sprzedaży 15.10.2025 i jest skierowany do developerów CUDA, potrzebujących lokalnej pracy z LLM z zintegrowanym stakiem AI od NVIDII. amerykańska cena katalogowa (MSRP) wynosi 3 999 USD; ceny detaliczne w Wielkiej Brytanii/Niemczech/Japonii są wyższe ze względu na VAT i marże kanałowe. Publiczne ceny w AUD/KRW nie są jeszcze szeroko opublikowane.

Oto porównanie Qwen3:30b i GPT-OSS:20b z naciskiem na przestrzeganie instrukcji oraz parametry wydajności, specyfikacje i prędkość.

W tym wpisie omówimy dwa sposoby połączenia swojej aplikacji Python z Ollama: 1. Poprzez HTTP REST API; 2. Poprzez oficjalną bibliotekę Pythona do Ollama.

Modely GPT-OSS z Ollama mają powtarzające się problemy z obsługą strukturalnego wyjścia, szczególnie gdy są używane wraz z frameworkami takimi jak LangChain, OpenAI SDK, vllm i innymi.

Oto porównanie wsparcia dla ustrukturyzowanego wyjścia (podejmowanie wiarygodnego JSON z powrotem) między popularnymi dostawcami LLM, oraz minimalistyczne przykłady w Pythonie

Wielkie modele językowe (LLM) są potężne, ale w środowisku produkcyjnym rzadko chcemy otrzymywać swobodne akapity. Zamiast tego oczekujemy przewidywalnych danych: atrybutów, faktów lub strukturyzowanych obiektów, które możemy podać jako dane wejściowe do aplikacji. Oto czym jest Strukturyzowany Output LLM.

Oto porównanie jak dużo VRAM nowa wersja Ollama przydziela modelowi z poprzednią wersją Ollama. Nowa wersja jest gorsza.

Ollama szybko stało się jednym z najpopularniejszych narzędzi do uruchamiania modeli LLM lokalnie. Jego prosty CLI oraz uproszczone zarządzanie modelami sprawiły, że stało się ono chętnie wybieraną opcją dla programistów, którzy chcą pracować z modelami AI poza chmurą.

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

Nvidia wkrótce wypuści NVIDIA DGX Spark – mały superkomputer AI oparty na architekturze Blackwell, z ponad 128 GB pamięci unifikowanej i wydajnością AI na poziomie 1 PFLOPS. Wspaniałe urządzenie do uruchamiania LLM.

Oto opis Protokołu Kontekstu Modelu (MCP), krótkie uwagi dotyczące sposobu implementacji serwera MCP w Go, w tym struktura wiadomości i specyfikacja protokołu.

Ponieważ standardowe Ollama nie posiada bezpośredniego interfejsu API do ponownego rankingu (reranking), musisz zaimplementować ponowny ranking przy użyciu Qwen3 Reranker w GO, generując wektory (embeddings) dla par zapytanie-dokument i przypisując im oceny.

W tym teście porównuję, jak różne LLMs hostowane na Ollama tłumaczą stronę Hugo z języka angielskiego na niemiecki.

Ten niewielki przykład kodu Go do rerankingu wywołuje Ollamę do generowania wektorów dla zapytania oraz dla każdego dokumentu kandydackiego, następnie sortuje wyniki malejąco według podobieństwa kosinusowego.

Modele Qwen3 Embedding i Reranker (https://www.glukhov.org/pl/rag/embeddings/ “Modele Qwen3 Embedding i Reranker na platformie ollama”) to najnowsze wydania z rodziny Qwen, zaprojektowane specjalnie do zaawansowanych zadań związanych z tworzeniem wektorów tekstu (embedding), odnajdywaniem informacji (retrieval) oraz ponownym ocenianiem wyników (reranking).

Wpływ linii PCIe na wydajność LLM? W zależności od zadania. W przypadku treningu i inferencji wielokartowej – spadek wydajności jest istotny.