Czym jest RAG (retrieval-augmented generation)?
RAG polega na wyszukaniu pasujących fragmentów w Twoich dokumentach i przekazaniu ich modelowi razem z pytaniem, żeby odpowiedź powstała na podstawie Twoich materiałów, a nie pamięci modelu. Niczego się nie dotrenowuje. Dokumenty zostają u Ciebie, a ich edycja od razu zmienia odpowiedzi.
Werdykt w skrócie
Gdy dostawca mówi, że model jest „trenowany na Twoich danych”, dopytaj, co dokładnie ma na myśli. Zwykle chodzi o wyszukiwanie, które jest tańsze, aktualizuje się natychmiast i potrafi wskazać źródło. To lepsze rozwiązanie, więc nie ma powodu udawać, że to trenowanie.
| RAG (wyszukiwanie) | Fine-tuning | |
|---|---|---|
| Co się zmienia | To, co model widzi | Wagi modelu |
| Aktualizacja faktu | Edytujesz dokument | Trenujesz i wdrażasz od nowa |
| Potrafi wskazać źródło | Tak, znaleziony fragment | Nie |
| Dokument dodany dzisiaj | Działa od razu | Dopiero po kolejnym treningu |
| Dobre do | Faktów, regulaminów, danych o produktach | Tonu, formatu, wąskiego zadania |
| Od czego zależy koszt | Tokeny na pytanie | Treningi, potem hosting |
| Typowy błąd | Znalezienie niewłaściwego fragmentu | Powtarzanie nieaktualnych danych z pełnym przekonaniem |
Co byśmy wybrali, scenariusz po scenariuszu
Bot obsługi klienta oparty na bazie wiedzy
Każda odpowiedź opiera się na artykule, nad którym masz kontrolę, i zawiera link do niego. Gdy we wtorek zmienia się polityka zwrotów, bot już we wtorek odpowiada zgodnie z nią. Właśnie do takich zastosowań powstał RAG.
Asystent sprzedaży korzystający z cennika
Dzięki wyszukiwaniu ceny są aktualne i można je zacytować. Mimo to dodajemy twardą regułę: asystent może podać cenę tylko ze znalezionego wiersza, nigdy z pamięci, a gdy nic nie pasuje, mówi, że sprawdzi.
Wyszukiwanie po umowach
Ludzie pytają zwykłym językiem i dostają klauzulę razem z dokumentem, z którego pochodzi. Wskazanie źródła jest tu ważniejsze niż płynność odpowiedzi, bo i tak otworzą plik.
Gdzie fine-tuning nadal wygrywa
Chcesz uzyskać stały format odpowiedzi albo firmowy ton w zadaniu, w którym fakty prawie się nie zmieniają. To problem do rozwiązania treningiem, a nie wyszukiwaniem. W praktyce łączymy jedno z drugim rzadko i dopiero wtedy, gdy zmierzymy, jak radzi sobie sam RAG.
Wyszukiwanie jest mało efektowne i wygrywa w większości przypadków z prostego powodu: firmy zmieniają swoje dane szybciej, niż ktokolwiek chciałby dotrenowywać model. Cennik, zasady dostaw, lista tego, kto obsługuje który region. Wrzuć to do bazy dokumentów, wyszukuj właściwe fragmenty przy każdym pytaniu, a system będzie poprawny od chwili, gdy ktoś zmieni dokument.
Często nie docenia się tego, że jakość RAG-a zależy od wyszukiwania, a nie od modelu. Jeśli wyszukiwanie poda trzy niewłaściwe akapity, nawet najlepszy model napisze płynną, ale błędną odpowiedź. Dlatego w takich projektach najwięcej czasu poświęcamy na podział na fragmenty, metadane i ewaluację: czy dla pięćdziesięciu pytań, które klienci naprawdę zadają, wraca właściwy fragment? Mierzymy to, zanim ktokolwiek zobaczy bota. Sama technika wywodzi się z pracy Lewisa i współautorów z 2020 roku i jej podstawowy schemat od tamtej pory prawie się nie zmienił; dojrzały za to narzędzia wokół niej. Dobrze łączy się z agentami AI, dla których wyszukiwanie jest jednym z narzędzi. Jak ją wdrażamy, zobaczysz na stronie chatbotów AI.
Źródła
Częste pytania
Czy RAG to to samo co trenowanie modelu na moich danych?
Nie, i ta różnica ma znaczenie biznesowe. RAG pokazuje modelowi Twoje dokumenty w momencie pytania i nie zmienia samego modelu, a trenowanie właśnie go zmienia. RAG jest tańszy, aktualizuje się w chwili edycji dokumentu i potrafi wskazać źródło, z którego skorzystał.
Czy przy RAG moje dane wychodzą poza moje systemy?
Do dostawcy modelu trafiają przy każdym pytaniu tylko znalezione fragmenty, a dostawcę i region wybierasz Ty. Sama baza dokumentów może działać w Twojej infrastrukturze w UE. Klientom z restrykcyjnymi wymogami uruchamiamy i bazę, i model w ich własnym środowisku.
Dlaczego chatbot na RAG-u wciąż się myli?
Prawie zawsze dlatego, że wyszukiwanie zwróciło niewłaściwy fragment, a nie dlatego, że model był słaby. Naprawa to lepszy podział na fragmenty, lepsze metadane i zestaw testowy z prawdziwych pytań. Na to idzie większość pracy przy budowie.
Ile dokumentów obsłuży RAG?
Rzadko ogranicza liczba dokumentów, częściej jakość wyszukiwania. Uruchamialiśmy to na kilkudziesięciu stronach regulaminów i na dziesiątkach tysięcy rekordów. To drugie wymaga porządnej bazy wektorowej i ewaluacji, a nie większego modelu.
Ile kosztuje utrzymanie RAG-a?
Koszt bieżący to znalezione fragmenty plus pytanie i odpowiedź, rozliczane za tokeny według cennika wybranego modelu, plus niewielki koszt hostingu bazy dokumentów. Najdroższe są długie konteksty, więc węższe wyszukiwanie jest też tańsze.
Który proces kosztuje Cię najwięcej?
Trzydzieści minut, bezpłatnie. Wychodzisz z konkretnym planem naprawy i kwotą, jaką ten proces kosztuje. Plan zostaje u Ciebie, nawet jeśli wdrożysz go bez nas.
Zamów bezpłatny audyt