Cache Key-Value (KV)
Cache KV przechowuje tensory klucz-wartość z poprzednich tokenów podczas generowania autoregresyjnego. Zamiast ponownie obliczać cały prefiks dla każdego nowego tokenu, model wykorzystuje zapisane reprezentacje. Zmniejsza to opóźnienia przy długich wynikach, ale zwiększa zużycie pamięci na każde aktywne żądanie.
Produkcyjna warstwa sterująca aplikacji LLM
Systemy LLM na poziomie eksperckim w mniejszym stopniu dotyczą jednego idealnego modelu, a bardziej routingu, cache, ewaluacji, kontroli bezpieczeństwa i pętli informacji zwrotnej. Niezawodna platforma decyduje, który model wywołać, jaki kontekst pobrać, kiedy użyć tańszego modelu, kiedy eskalować oraz jak wykrywać regresje.
Normalizuje żądania, stosuje limity wywołań, dołącza metadane tenantów i wybiera modele kandydujące.
Wybiera mały, duży lub wyspecjalizowany model na podstawie trudności zadania, budżetu opóźnień i ryzyka.
Ocenia jakość wyszukiwania, jakość odpowiedzi, zgodność cytowań ze źródłami, bezpieczeństwo i poprawność schematu.
Śledzi prompty, pobrane fragmenty, wersje modeli, liczbę tokenów, percentyle opóźnień i tryby awarii.
Mixture of Experts
Mixture of Experts kieruje tokeny lub przykłady przez podzbiór wyspecjalizowanych sieci ekspertów. Pozwala to zwiększyć liczbę parametrów bez używania każdego parametru dla każdego tokenu. Kompromisy obejmują złożoność routingu, równoważenie obciążenia, narzut komunikacyjny i trudniejsze debugowanie.
Dekodowanie spekulacyjne
Dekodowanie spekulacyjne używa modelu roboczego lub procedury roboczej do proponowania tokenów, a modelu docelowego do ich weryfikacji. Dokładne algorytmy próbkowania spekulacyjnego mogą zachować rozkład wyników modelu docelowego; warianty heurystyczne mogą zamieniać dokładność na szybkość. Przyspieszenie zależy od współczynnika akceptacji, kosztu modelu roboczego, sekwencji i kształtu batcha, środowiska wykonawczego oraz sprzętu.
Kwantyzacja
Kwantyzacja zmniejsza precyzję wag modelu, aktywacji lub cache, na przykład z 16 bitów do 8 lub 4 bitów. Może zmniejszyć zużycie pamięci i poprawić przepustowość, jeśli sprzęt, kernele, runtime i obciążenie wspierają wybrany format; może też pogorszyć jakość, kalibrację lub niezawodność wywołań narzędzi.
LoRA i dostrajanie modelu
LoRA zwykle zamraża model bazowy i trenuje parametry adapterów niskiego rzędu, zmniejszając liczbę trenowanych parametrów i często wymagania pamięciowe w porównaniu z pełnym dostrajaniem. Jest przydatna do adaptacji zachowania, stylu, formatu, zadania lub domeny, ale nie jest niezawodnym zamiennikiem wyszukiwania, gdy fakty często się zmieniają; każda adaptacja wiedzy nadal zależy od danych, konfiguracji treningu i ewaluacji.
Przejdź od optymalizacji modelu do dostrajania preferencji, obserwowalności, ewaluacji, bezpieczeństwa, routingu i kontroli kosztów.
Direct Preference Optimization (DPO) i reinforcement learning from human feedback (RLHF)
RLHF i DPO optymalizują zachowanie modelu z użyciem danych od ludzi lub danych preferencyjnych. RLHF zwykle obejmuje modelowanie nagrody i optymalizację polityki. DPO bezpośrednio optymalizuje preferencje prostszą funkcją celu. Obie metody zależą od jakości preferencji i mogą nadmiernie dopasować model do tego, co nagradzają oceniający.
Obserwowalność LLM
Obserwowalność LLM śledzi prompty, wyniki wyszukiwania, wywołania narzędzi, opóźnienia, koszty, opinie użytkowników, zdarzenia bezpieczeństwa i wyniki ewaluacji. Logowanie musi uwzględniać prywatność: zapisuj tyle, ile potrzeba do debugowania, ale unikaj przechowywania zbędnych danych wrażliwych.
Ewaluacja generowania wspomaganego wyszukiwaniem (RAG)
Ewaluacja RAG oddziela jakość wyszukiwania od jakości odpowiedzi. Mierz, czy znaleziono właściwe dokumenty, czy odpowiedź z nich korzystała, czy cytowania wspierają twierdzenia i czy końcowy wynik spełnia zadanie.
Konkretny przykład ewaluacji odpowiedzi poza stosem produkcyjnym znajdziesz w Testach jakości odpowiedzi, gdzie te same prompty są porównywane między czterema asystentami.
Routing modeli
Routing modeli wysyła każde zadanie do najtańszego wystarczającego modelu lub procesu. Prosta klasyfikacja może używać małego modelu; złożone rozumowanie może wymagać silniejszego modelu; ryzykowne odpowiedzi mogą wymagać wyszukiwania i kontroli. Routing oszczędza koszty tylko wtedy, gdy mechanizmy jakości wychwytują błędne skierowania.
Red teaming bezpieczeństwa AI
Red teaming sprawdza, jak systemy zawodzą pod wpływem wrogich lub nietypowych danych wejściowych. W aplikacjach LLM testuj wstrzykiwanie promptów, wycieki danych, niebezpieczne użycie narzędzi, obchodzenie zasad, ukryte instrukcje i prompty socjotechniczne. Celem jest poprawa zabezpieczeń, a nie udowodnienie perfekcji.
Optymalizacja kosztów aplikacji opartych na dużych modelach językowych (LLM)
Optymalizacja kosztów łączy kompresję promptów, cache, routing, batching, przycinanie kontekstu, jakość wyszukiwania, kwantyzację i ewaluację. Optymalizuj koszt na poprawnie wykonane zadanie, a nie wyłącznie koszt tokenu. Tani model wymagający trzech ponowień może być droższy niż jednorazowe użycie silnego modelu.