Scoring

Dowiedz się, jak scoring i modele predykcyjne
mogą pomóc lepiej działać Twojemu biznesowi.

DO CZEGO PRZYDAJE SIĘ SCORING I MODELE PREDYKCYJNE?

Wiele firm stosuje modele statystyczne w optymalizacji swoich działań.

Przykładem tego rodzaju modeli są systemy scoringowe stosowane w bankach w ocenie wiarygodności kredytowej, modele stosowane do optymalizacji działań firm windykacyjnych, modele optymalizujące marketing bezpośredni czy stosowane w CRM (Customer Relationship Management). Takie modele nazywane są często modelami predykcyjnymi, ponieważ pozwalają na predykcję (prognozę) przyszłego zachowania klientów. Modele scoringowe to szczególny rodzaj modeli predykcyjnych.

Modele predykcyjne mogą przewidywać szansę wystąpienia dowolnego zjawiska lub fakt jego wystąpienia: zaniechania spłat, wystąpienia wypadku, odejścia klienta, czy dokonania zakupu.

Zastosowanie do wspomagania decyzji modelu predykcyjnego w porównaniu do stosowania reguł zdroworozsądkowych lub zaproponowanych przez eksperta daje zysk rzędu 10-30% większy.

PRZYKŁADOWE ZASTOSOWANIA MODELI SCORINGOWYCH

Wiadomo, że modele predykcyjne i scoringowe mogą przewidywać szansę wystąpienia dowolnego zjawiska lub fakt jego wystąpienia: zaniechania spłat, wystąpienia wypadku, odejścia klienta, czy dokonania zakupu. Oczywiście, konieczne jest posiadanie odpowiednich danych do budowy tych modeli.

Mogą być zbudowane i wykorzystane w sytuacji, gdy mamy dowolne dwie grupy obiektów, które chcemy od siebie odróżnić na podstawie ich cech. Jakie to są grupy — zależy od zadania i rodzaju działalności firmy. Klasycznym przykładem jest odróżnianie na podstawie cech z wniosku kredytowego kredytobiorców, którzy spłacą kredyt od tych, którzy go nie spłacą. To jest przykład scoringu aplikacyjnego.

Poniżej podajemy inne przykłady:

  • Ryzyko kredytowe:
    • Przewidywanie ryzyka kredytu przed jego udzieleniem (scoring aplikacyjny, application scoring)
    • Przewidywanie ryzyka dla obsługiwanego kredytu (scoring behawioralny, behavioral scoring)
  • Wykrywanie oszustw / transakcji nietypowych (fraud detection)
  • Przewidywanie odpowiedzi na akcje mailingowe (response scoring)
  • Wycena pakietów wierzytelności
  • Wybieranie optymalnych akcji windykacyjnych
  • Czy klient będzie używał kupionego produktu? (activation scoring)
  • W jakim stopniu klient będzie używał produktu? (usage scoring)
  • Może klient kupi inny produkt zaproponowany mu przy okazji kupowania wybranego przez niego? (cross-selling)
  • Może klient zechce kupić więcej danego produktu (np. zdecyduje się na wyższy limit kredytowy)? (up-selling)
  • Zmniejszenie używania produktu (attrition scoring)
  • Zaprzestanie używania jednego produktu w połączeniu z rozpoczęciem używania drugiego — częsty problem w branży telekomunikacyjnej (churn)

CO ROBIMY INACZEJ NIŻ KONKURENCJA?

Przygotowanie modelu predykcyjnego czy scoringowego jest zadaniem wymagającym dużej wiedzy eksperckiej i doświadczenia. Budowa takiego modelu często jest dla firmy jednorazowym zadaniem. Nie wszystkie firmy budują na tyle dużo modeli, że mają potrzebę utrzymywania zespołu wykwalifikowanych statystyków. Wobec tego modele predykcyjne są często tworzone przez firmy zewnętrzne.

Konkurencyjne dla QuantUp firmy budujące modele predykcyjne i analizujące dane najczęściej stosują tylko standardowe metody statystyczne (tzw. best practices). Te metody nie wykorzystują optymalnie informacji zawartej w danych. W niektórych przypadkach standardowe metody w ogóle nie pozwalają na zbudowanie modelu.

Zastosowanie w budowie tych modeli zaawansowanych metod współczesnej statystyki (bootstrap, metody statystyki obliczeniowej, metody eksploracji danych) pozwoli na budowę lepszych, bardziej efektywnych modeli.

Jest to szczególnie ważne, gdy mamy do dyspozycji mało danych. Na przykład, gdy budujemy model oceniający wiarygodność kredytową osób wnioskujących o kredyt hipoteczny, to mamy do czynienia z dużo mniejszą próbą, niż gdy budujemy analogiczny model dla kredytu gotówkowego. Im mniej danych jest do dyspozycji, tym większe znaczenie ma wybór metod zastosowanych do budowy modelu. W przypadku, gdy dane są wyjątkowo duże — na przykład dysponujemy kilkuset cechami potencjalnie przydatnymi do budowy modelu — optymalny dobór metod i doświadczenie w analizie też ma duże znaczenie.

Wiadomo z doświadczenia, że odpowiednio dobrane metody pozwalają na zbudowanie lepszych modeli. Pozwalają także na ocenę niepewności i w związku z tym zmniejszenie ryzyka związanego z wdrożeniem modelu. Zastosowanie lepszych modeli bezpośrednio przełoży się na zwiększenie twojego zysku i w związku z tym zwiększy również Twoją konkurencyjność. A wzrost konkurencyjności poprzez optymalizację działań jest szczególnie ważny w okresie spowolnienia wzrostu gospodarczego.

Mamy bardzo duże doświadczenie w budowie modeli scoringowych, tworzeniu oprogramowania do ich budowy oraz szkoleniu z ich budowy. Dowiedz się, jakie.

JAK PRZEBIEGA BUDOWA MODELU?

Proces budowy modelu jest złożony i wieloetapowy:

  • określenie parametrów:
    • uzgodnienie definicji dobrego i złego klienta lub definicji grup klientów, które model ma rozróżniać,
    • określenie application window i performance window,
    • definicja wykluczeń,
  • przygotowanie wstępne danych:
    • wstępny wybór cech do budowy modelu,
    • zgromadzenie i oczyszczenie danych (w tym analiza obserwacji brakujących i odstających),
    • analiza i przedziałowanie poszczególnych cech,
    • konstrukcja cech pochodnych,
    • dodatkowe przekształcenia cech (opcjonalne),
  • wybór najlepszych cech do budowy modelu (wykorzystujemy metody statystyczne i kierujemy się logiką biznesową),
  • budowa modelu i wszechstronna ocena jego jakości (z wykorzystaniem testów statystycznych, metody bootstrap i pokrewnych),
  • analiza potencjalnych segmentacji — czy jeden model wystarczy, czy może lepiej podzielić dane na segmenty i zbudować więcej modeli (opcjonalnie),
  • analiza interakcji (opcjonalnie),
  • analiza jakości danych dotyczących wniosków odrzuconych oraz uwzględnienie wniosków odrzuconych — reject inference (opcjonalnie),
  • przygotowanie raportów podsumowujących budowę modelu.

Bardziej szczegółowo przedstawiamy ten proces w programie naszego szkolenia z budowy modeli scoringowych. Tam możesz też poczytać o stosowanych przez nas metodach.

Bardzo ważna jest walidacja (ocena jakości i adekwatności) modelu:

  • w trakcie budowy,
  • tuż po zakończeniu budowy — przed wdrożeniem,
  • w trakcie jego działania.

Bardziej szczegółowo o metodach stosowanych przez nas w walidacji możesz przeczytać w programie naszego szkolenia z walidacji modeli scoringowych.

Kroki, wybrane metody statystyczne i pracochłonność procesu zależą od specyfiki portfela, specyfiki procesu kredytowego, wielkości próbki konstrukcyjnej i rodzaju scoringu (aplikacyjny / behawioralny). Może okazać się konieczne zastosowanie metod reject inference oraz specjalnych metod dla małych prób.

CO DOSTARCZAMY WRAZ Z MODELEM?

Dostaczamy model w postaci tabeli scoringowej, w postaci reguł (jeśli drzewo klasyfikacyjne) albo w postaci PMML — zależnie od potrzeb.

Dostarczamy też dokumentację zawierającą:

  • opis procesu budowy modelu,
  • przyjęte założenia,
  • wyjaśnienie decyzji metodologicznych i analitycznych podjętych w procesie modelowania,
  • krótkie informacje o wykorzystanych metodach analizy i modelowania,
  • opis i charakterystyki cech wstępnie wybranych do modelowania (wykresy, tabele),
  • opis i charakterystyki cech wykorzystanych w modelu (wykresy, tabele),
  • ocenę jakości modelu -– wszystkie standardowo stosowane kryteria (wykresy, tabele),
  • raporty podsumowujące proces budowy modelu:
  • gains table (cut-off analysis),
  • characteristic reports.

Jeśli umowa obejmuje usługę monitorowania, to dostarczamy także cyklicznie:

  • raporty (wymienione poniżej), na przykład w postaci plików MS Excel z wykresami,
  • krótką ekspercką analiza wyników i zalecenia (usuwanie cech z modelu, kalibracja modelu, przebudowa modelu).

Raportowanie dla celów monitorowania jest zgodne z best practices. Obejmuje raporty z następujących grup:

  • monitorowanie akceptowalnosci i ryzyka (jeśli potrzebne),
  • monitorowanie siły predykcyjnej systemu,
  • monitorowanie siły predykcyjnej cech,
  • monitorowanie stabilnosci populacji.

Szczegóły, stosowane miary jakości i kryteria, częstotliwość raportowania i rozwiązanie techniczne stosowane do monitorowania — do uzgodnienia.

JAKIE METODY STOSUJEMY?

Jakie metody stosujemy? Takie, jakich stosowania uczymy i wiele innych — zależnie od potrzeb. Przejrzyj programy tych szkoleń, aby poznać nasze metody:

Spróbuj ponownie