Bezpieczeństwo protokołu określa, kto może podejmować działania, a nie model.
Iniekcja promptów przyciąga większość uwagi w zakresie bezpieczeństwa systemów LLM i zasługuje na nią, ale nie jest jedynym problemem, gdy agenty zaczynają korzystać z narzędzi i delegować zadania innym agentom.
Kontroluj ryzyko, nie tylko model.
Modele językowe (LLM) są nieprzewidywalne. Mogą halucynować, wyciekać dane, generować szkodliwe treści lub odmawiać spełnienia legalnych żądań. Mechanizmy ochronne (guardrails) ograniczają zachowanie modelu, nie tracąc przy tym jego możliwości.
Wykorzystuj tokeny tam, gdzie naprawdę liczą się one najbardziej.
Koszt LLM-ów rośnie liniowo wraz z wolumenem używania. System przetwarzający 10 000 zapytań dziennie przy cenie 0,01 USD za zapytanie kosztuje 100 USD dziennie — 365 USD rocznie. W skali przedsiębiorstwa to ponad 10 000 USD.
Wybierz najprostszy wzorzec, który spełnia zadanie.
Systemy oparte na pojedynczym modelu są proste. Systemy wielomodelowe są potężne. Wyzwanie nie polega na wyborze modeli – ale na zaprojektowaniu architektury, która je orkiestruje.
Dopasuj odpowiedni model do właściwego zadania.
Uruchamianie modelu o 70 miliardach parametrów w celu podsumowania maila na 200 słów to marnotrawstwo. Używanie 3-miliardowego modelu do weryfikacji kodu produkcyjnego jest z kolei nieodpowiedzialne. Większość systemów funkcjonuje gdzieś pomiędzy tymi skrajnościami — i właśnie tutaj wchodzi model routing.
