Baza wektorowa, która dobrze wygląda w teście „na szybko”, potrafi zaskoczyć w kontakcie z prawdziwymi pytaniami klientów. Kilka rzeczy wartych sprawdzenia, zanim widget trafi na publiczną stronę.
Przetestuj realnymi pytaniami, nie tylko oczywistymi
Zadaj w Zapytaj pytania sformułowane tak, jak pisze klient, nie tak, jak brzmi tytuł artykułu źródłowego - to pokazuje, czy wyszukiwanie faktycznie rozumie znaczenie, a nie tylko dopasowuje słowa. Patrz Zapytaj.
Ustaw uczciwą frazę „nie wiem”
Baza bez sensownej frazy „nie wiem” potrafi zmyślać odpowiedź zamiast przyznać, że nie ma danych. Sprawdź w prompcie systemowym, że model ma wyraźny nakaz trzymania się kontekstu - patrz Formatka.
Przejrzyj źródła pod kątem treści, których AI nie powinna cytować
Zanim podłączysz cały desk albo całą bazę wiedzy, upewnij się, że nie ma tam wersji roboczych, wewnętrznych ustaleń czy danych, które nie powinny trafić do odpowiedzi dla klienta. Pojedyncze elementy da się wykluczyć bez ruszania reszty źródła - patrz Elementy źródła.
Sprawdź próg distance na realnym zestawie pytań
Zbyt niski próg wpuszcza przypadkowe, luźno powiązane fragmenty jako kontekst - zbyt wysoki odrzuca trafne, inaczej sformułowane pytania. Dobierz go w Wyszukiwaniu, patrząc, gdzie zaczyna się szum - patrz Wyszukiwanie.
Wróć do logów po pierwszym tygodniu
Prawdziwe pytania klientów rzadko pokrywają się w stu procentach z tym, co przetestowano ręcznie. Logi odpowiedzi pokazują, o co pytają naprawdę i gdzie baza odpowiada „nie wiem” najczęściej - to gotowa lista tematów do uzupełnienia w źródłach, patrz Pytania i testowanie.