Jak zbudowaliśmy agenta AI do kwalifikacji prospektów, który sam rozmawia i analizuje potrzeby Klienta
Zamiast trzydziestu minut rozmowy telefonicznej: kilka minut w przeglądarce. Historia budowy naszego pierwszego agenta: decyzje, koszty i stan na dziś.
Zespół Partnerzy IT
Zanim ktokolwiek u nas przygotuje ofertę, musi wiedzieć o firmie kilkanaście rzeczy: ile osób pracuje w systemach, czy jest ERP, gdzie powstają faktury, kto pilnuje kopii zapasowej. Zbieranie tego zajmowało konsultantowi około 30 minut rozmowy, rozłożonych u nas na trzy kontakty w ciągu dwóch dni. Pierwsza rozmowa zwykle odsłania pytania, których nikt wcześniej nie zadał.
To był oczywisty kandydat do automatyzacji. Pierwsze podejście okazało się nieudane i to ono zdecydowało o kształcie całej reszty.
Pierwsza wersja odpowiadała ładnie i bezużytecznie
Najprostszy pomysł brzmi: dajmy modelowi językowemu formularz i pozwólmy mu pytać. Zrobiliśmy dokładnie tak i wyszedł z tego rozmówca, który brzmiał świetnie, a pytał źle.
Pierwsze przejścia wyglądały mniej więcej tak:
Agent pytał mniej więcej tak: dziękował za odpowiedzi i prosił, żeby powiedzieć coś więcej o wyzwaniach, przed którymi stoi firma. To jest parafraza, nie zapis konkretnego przejścia. Cudzysłów zostawiamy dla cytatów, które umiemy podpisać źródłem.
Grzecznie, gładko i bez żadnej wartości. Model nie wiedział, czego jeszcze nie wie, więc pytał o to, co brzmiało naturalnie w rozmowie, a nie o to, czego brakowało w formularzu. Zdarzało mu się dopytywać o rzeczy już zaznaczone dwa ekrany wcześniej.
Wniosek z tego podejścia, na którym stoi cała reszta: w naszych próbach model dobrze układał pytanie i źle wybierał, o co zapytać.
Podział pracy: reguły wybierają temat, model dobiera słowa
Dziś działa to tak, że o kolejnym pytaniu decyduje kod, nie model.
W katalogu siedzi 26 wpisów: braki i sprzeczności. Brak to rzecz, której o firmie nie wiemy; sprzeczność to rzecz, którą powiedziano, a która się nie składa: magazyn prowadzony mimo ERP, sklep bez integracji, chmura bez kopii. Każdy wpis ma priorytet i warunek, kiedy w ogóle wolno o niego zapytać; sprzeczności biją braki. Po każdej odpowiedzi kod przelicza, które luki są nadal otwarte, i wybiera najważniejszą. Dopiero wtedy do modelu leci polecenie: zapytaj o to, nawiązując do tego, co klient właśnie powiedział.
Rozmowa ma cztery fazy:
- ból: drążymy problem, który klient sam zgłosił (do pięciu pytań),
- brama: pytamy o pozwolenie na domknięcie pól pominiętych w formularzu,
- luki: domykamy te pola,
- koniec: podsumowanie.
Kolejność jest odwrotna do tej, którą narzucałby sam priorytet: najpierw drążymy to, z czym klient przyszedł, a dopiero potem prosimy o pozwolenie na resztę. Nie jest też sztywna: gdy nie ma czego drążyć, rozmowa zaczyna się od luk, a po bramie można wrócić do drążenia.
Sufit całej rozmowy to 14 wymian, tyle, żeby zmieścił się komplet luk razem ze sprzecznościami i pytaniami kontekstowymi. Chroni przed rozmową, która się nie kończy, a nie przed rozmową, która jest długa. Osobny sufit ma drążenie problemu: pięć pytań, żeby wywiad nie zamienił się w przesłuchanie.
Dzięki temu podziałowi powtarzalne jest to, o co agent zapyta: przy tych samych odpowiedziach wybierze te same luki, choć ubierze je w inne słowa. Model wpływa na to, kiedy przestać drążyć: powyżej trzeciego pytania o problem może zasygnalizować, że dość. Ocena, którą klient dostaje na końcu, w ogóle nie pochodzi od modelu. Liczą ją reguły w kodzie, z wag przypisanych odpowiedziom. To nie jest ostrożność dla samej ostrożności: liczba, którą model może wymyślić, jest bezwartościowa jako podstawa oferty.
Czytanie strony zamiast pytania o branżę
Druga rzecz, którą agent robi sam: czyta stronę firmy. Nie po to, żeby ją oceniać, tylko po to, żeby nie pytać o rzeczy, które i tak są napisane publicznie.
Gałąź odczytu pobiera stronę główną i do trzech podstron, po czym przepuszcza je przez pięć wywołań modelu: wybór podstron, trzy ekstrakcje i scalenie. Całość trwa około 20 sekund i kończy się jednym zdaniem o tym, czym firma się zajmuje. To zdanie pokazujemy klientowi do potwierdzenia albo poprawienia, nigdy jako fakt.
Gdy odczyt się nie uda, nie podstawiamy niczego. Zmyślenie komuś, czym zajmuje się jego własna firma, jest gorsze niż przyznanie, że nie wiemy.
Ile to kosztuje naprawdę
Koszty są policzone z zapisanych wykonań, a nie zgadnięte – choć pozostają szacunkiem. Telemetrii nie mamy, więc liczby pochodzą z ręcznego odczytu i z przelicznika waluty. Wymianę z agentem liczymy z około 25 wykonań gałęzi rozmowy:
| Pozycja | Zużycie | Koszt |
|---|---|---|
| jedna wymiana z agentem | ~2 400 tokenów wejścia, ~205 wyjścia | ok. 4,4 gr |
| jednorazowy odczyt strony | ~6 050 tokenów wejścia, ~860 wyjścia | ok. 13 gr |
Odczyt strony i cztery do ośmiu wymian zamykają się więc w granicach 30–50 groszy. Rozmowa dobita do sufitu czternastu wymian kosztuje około 75 groszy. Za coś, co wcześniej zajmowało pół godziny pracy konsultanta i trzy kontakty rozłożone na dwa dni.
To jest cała odpowiedź na pytanie „dlaczego robicie to bezpłatnie”. Nie dlatego, że jesteśmy szczodrzy – dlatego, że kosztuje to tyle, co nic, a my dostajemy komplet informacji, zanim odezwiemy się pierwszy raz.
Stan na dziś
Agent stoi na produkcji, prowadzi rozmowę w kroku „Doprecyzowanie” i oddaje gotowy wywiad razem z oceną trzech obszarów. Gdy model nie odpowie, rozmowę przejmują reguły z katalogu. Plakietka przy wypowiedziach zmienia się wtedy z „asystent AI” na „pytania z reguł”, żeby nikt nie był przekonany, że rozmawia z czymś, z czym akurat nie rozmawia.
Sam kreator pokrywa test przechodzący w prawdziwej przeglądarce wszystkie siedem kroków (128 asercji na jedno uruchomienie). Backendu i tras ten test nie dotyka; biegnie ze świadomie wyczyszczonym środowiskiem, więc ani model, ani odczyt strony do niego nie wchodzą. Powód, dla którego w ogóle powstał, opisujemy w drugiej części: logika, której nie widzi żaden test, myli się tak długo, aż ktoś na nią trafi.
Co z tego wynika dla Waszej firmy
Ten sam schemat (reguły decydują, model rozmawia) nadaje się tam, gdzie ktoś u Was regularnie zbiera od klientów ten sam zestaw informacji: przyjęcie zgłoszenia serwisowego, kwalifikacja zapytania, wywiad przed wyceną. Warunek jest jeden i jest twardy: musi istnieć lista rzeczy, które trzeba ustalić. Jeśli jej nie ma, model jej nie wymyśli. Będzie tylko ładnie pytał o nic.
