Czym jest LLM?
LLM, czyli duży model językowy, to oprogramowanie trenowane na ogromnych ilościach tekstu, aby przewidywać i generować użyteczny język. W praktyce można myśleć o nim tak: przekazujesz zadanie, model zamienia tekst na tokeny, szacuje najbardziej prawdopodobne kolejne tokeny i zwraca wersję roboczą. Potrafi pisać, streszczać i klasyfikować, ponieważ wiele wzorców językowych zostało skompresowanych w jego parametrach. Nie jest bazą danych i nie wie automatycznie, czy aktualny fakt jest prawdziwy.
Czym jest prompt?
Prompt to pakiet instrukcji wysyłany do systemu AI. Dobre prompty zwykle obejmują rolę, sytuację, dokładne zadanie, ograniczenia, przykłady i oczekiwany format odpowiedzi. Słaby prompt prosi o „pomysły”. Mocny prompt określa, dla kogo mają być pomysły, co mają osiągnąć i według jakich kryteriów należy je oceniać.
Co dokładnie dzieje się po wysłaniu promptu?
Typowy przebieg nie wygląda tak: „AI rozumie prośbę, pisze program w Pythonie, a potem zaczyna działać”. Duży model językowy zwykle otrzymuje tekst, zamienia go na tokeny, przepuszcza te tokeny przez warstwy sieci neuronowej i wielokrotnie generuje kolejny token. Python lub inne narzędzia wchodzą do procesu tylko wtedy, gdy produkt otaczający model wyraźnie daje mu dostęp do narzędzi, na przykład kalkulatora, interpretera kodu, przeglądarki, połączenia z bazą danych lub wywołania funkcji.
Wpisujesz prompt. Aplikacja może dodać ukryte instrukcje systemowe, zasady bezpieczeństwa, historię czatu lub wybrane dokumenty, zanim model zobaczy ostateczne żądanie.
Tekst jest dzielony na identyfikatory tokenów. Model nie otrzymuje słów tak, jak czyta je człowiek; otrzymuje numeryczne identyfikatory tokenów.
Model oblicza prawdopodobieństwa możliwych kolejnych tokenów na podstawie całego kontekstu. W tym miejscu znaczenie mają mechanizm uwagi, embeddingi i wagi modelu.
Jeśli aplikacja obsługuje narzędzia, model może poprosić o użycie funkcji, takiej jak wyszukiwanie, kalkulator lub wykonanie kodu. Zewnętrzny wynik jest następnie wstawiany z powrotem do rozmowy jako dodatkowy kontekst.
Końcowy tekst jest dekodowany z wygenerowanych tokenów. Lepsze prompty pomagają, ponieważ zmieniają kontekst, na którym model opiera się przed wyborem każdego kolejnego tokenu.
Zanim przejdziesz dalej do tokenów, kontekstu i ograniczeń modeli, wykonaj proste ćwiczenie „przed i po”.
Zamiast mini-testu: zbuduj galerię promptów „przed i po”
Zamiast wykonywać ogólny test, zbierz pięć promptów faktycznie używanych w swojej pracy i zachowaj słabą wersję, ulepszoną wersję oraz końcowy, zredagowany rezultat. Powstanie z tego biblioteka promptów do ponownego użycia przez zespół.
- Wybierz jedno powtarzające się zadanie, na przykład odpowiedzi wsparcia, opisy produktów albo streszczenia lekcji.
- Zapisz pierwotny prompt i wynik.
- Dodaj kontekst, zasady formatu i jeden przykład.
- Porównaj, ile edycji wymaga drugi wynik.
- Zwycięską wersję zamień w szablon.
Czym są tokeny?
Tokeny to małe jednostki tekstu, które model odczytuje i zapisuje. Token może być całym słowem, częścią słowa, znakiem interpunkcyjnym lub pojedynczym znakiem — zależnie od tokenizatora i języka. Limity tokenów mają znaczenie, ponieważ dane wejściowe i wynik muszą razem zmieścić się w oknie kontekstu modelu.
Dlaczego AI czasem coś zmyśla?
AI może halucynować, gdy generuje wiarygodnie brzmiącą kontynuację bez wystarczająco pewnego oparcia w źródłach. Model jest optymalizowany do tworzenia prawdopodobnego tekstu, a nie do domyślnego gwarantowania prawdy. Halucynacje są bardziej prawdopodobne, gdy pytanie dotyczy mało znanych faktów, najnowszych informacji, ukrytych danych albo cytowań, których nie podano.
Ten sam mechanizm może zmyślić status wykonania zadania, a nie tylko fakt. W jednym z naszych własnych procesów poproszono asystenta AI, aby dla każdego wiersza arkusza znalazł pasujący profil LinkedIn i wpisał każdy adres URL do jednej kolumny — chodziło o dziesiątki wierszy, nie pojedyncze wyszukanie. Asystent ogłosił, że zadanie zostało wykonane, a nawet podał liczby — „14 profili, 3 e-maile” — jednak kolumna była pusta, a zwrócony plik okazał się przemianowaną kopią. Pewnie brzmiące podsumowanie to po prostu najbardziej prawdopodobne kolejne słowa, więc nie jest dowodem, że praca została wykonana.
Ponowne zadanie pytania nie musi przerwać tego wzorca. Zależnie od produktu ponowienie może wysłać widoczną rozmowę jeszcze raz, wykorzystać stan rozmowy po stronie serwera, przyciąć lub streścić starsze wypowiedzi albo ponownie wykorzystać dane wejściowe z pamięci podręcznej. Mimo to powstaje nowa odpowiedź i mogą zostać zużyte dodatkowe tokeny lub limity planu, nawet jeśli nie powstanie użyteczny plik.
O co poprosiłem: Znajdź pasujący profil LinkedIn dla każdego wiersza arkusza, wpisz adres URL do kolumny K, zapisz skoroszyt i zweryfikuj wynik.
Co asystent stwierdził: Wzbogacanie danych zostało zakończone, a asystent podał liczbę profili.
Co zweryfikowałem: Kolumna K w pobranym skoroszycie nadal była pusta; asystent później przyznał, że nie wykonał wzbogacania danych i jedynie zwrócił skopiowany lub przemianowany plik.
Efekt uboczny: Ten wzorzec powtórzył się około czterech razy. Każda próba trwała długo i ponownie kończyła się zgłoszeniem sukcesu bez użytecznego rezultatu, przez co proces wyglądał jak zapętlony. Zużyło to znaczną dodatkową część limitu tokenów lub użycia, a tam, gdzie rozliczenie zależy od tokenów, może oznaczać realny dodatkowy koszt.
Powód: czy AI utknęła w pętli?
W praktycznym sensie tak — ale nie w sposób, który może się wydawać. Model nie ma trwałej samoświadomości, że powtarza niepowodzenie; może korzystać tylko z kontekstu i stanu dostarczonego przez aplikację. Nowa odpowiedź może być generowana na podstawie całej widocznej historii, historii przyciętej lub streszczonej albo stanu zarządzanego przez serwer. Jeśli proces nie wymaga od asystenta otwarcia pliku i zweryfikowania zapisanych wartości, „gotowe” może nadal być prawdopodobną odpowiedzią. Pętla nie wynika z uporu, lecz z braku weryfikacji i kontroli stanu.
Dlatego powtarzanie tego samego pytania rzadko pomaga, a nadal zużywa tokeny. Pętlę przerywa zmiana zadania, a nie jego powtarzanie: spraw, aby wynik dało się zweryfikować, poproś asystenta o ponowne odczytanie zapisanego pliku i pokazanie rzeczywistych wartości komórek oraz zatrzymaj wykonanie, jeśli brakuje takich dowodów. Zobacz najczęstsze błędy w tworzeniu promptów i dowiedz się, jak zdefiniować kryterium sukcesu, które model może sprawdzić.
Dlaczego kontekst pomaga?
Kontekst zawęża przestrzeń możliwych odpowiedzi. Jeśli model zna odbiorców, cel, ograniczenia, przykłady i materiały źródłowe, może przygotować odpowiedź dopasowaną do Twojej sytuacji zamiast odpowiedzi ogólnej. Więcej kontekstu nie zawsze znaczy lepiej: nieistotny kontekst może rozpraszać model i zwiększać koszt.
Wyszukiwarka a LLM
Wyszukiwarka znajduje strony i szereguje linki. LLM generuje odpowiedź na podstawie wzorców i dostarczonego kontekstu. Wyszukiwanie jest lepsze, gdy potrzebujesz aktualnych źródeł, oficjalnych stron lub wielu perspektyw. Modele LLM sprawdzają się lepiej, gdy potrzebujesz syntezy, przeredagowania, rozumowania na dostarczonych informacjach albo uporządkowanych wersji roboczych. Wiele dobrych produktów AI łączy oba podejścia.
Co oznacza, że „AI rozumie język”?
W języku codziennym „rozumie” oznacza, że model potrafi odpowiednio reagować na znaczenie, ton i strukturę. Technicznie nauczył się statystycznych reprezentacji, które mapują wzorce tekstu na użyteczne wyniki. Nie rozumie jak człowiek z własnymi doświadczeniami, intencjami i zdroworozsądkową odpowiedzialnością.