Wnioskowanie i związki przyczynowe w Pythonie. Nowoczesne uczenie maszynowe z wykorzystaniem bibliotek DoWhy, EconML, PyTorch i nie tylko Sieradz

W uczeniu maszynowym odkrywanie związków przyczynowych daje możliwości, jakich nie można uzyskać tradycyjnymi technikami statystycznymi. Najnowsze trendy w programowaniu pokazują, że przyczynowość staje się kluczowym zagadnieniem dla generatywnej sztucznej inteligencji. Niezbędna okazuje się więc znajomość grafów przyczynowych i zapytań konfrontacyjnych. Dzięki tej książce łatwo przyswoisz teoretyczne podstawy i zaczniesz je płynnie wdrażać w rzeczywistych scenariuszach. Dowiesz się, w jaki sposób myślenie przyczynowe ułatwia rozwiązywanie problemów, i poznasz pojęcia Pearla, takie jak strukturalny model przyczynowy, interwencje, kontrfakty itp. Każde zagadnienie zostało dokładnie wyjaśnione i opatrzone zbiorem praktycznych ćwiczeń z kodem w Pythonie. Nauczysz się także implementować poszczególne modele i zrozumiesz, czym się kierować przy wyborze technik i algorytmów do rozwiązywania konkretnych scenariuszy przyczynowych. To przewodnik, który docenią szczególnie inżynierowie uczenia maszynowego i analitycy danych. W książce: wnioskowanie związków przyczynowych budowa i działanie strukturalnych modeli przyczynowych czteroetapowy proces wnioskowania związków przyczynowych w Pythonie techniki modelowania efektu interwencji nowoczesne metody odkrywania związków przyczynowych za pomocą Pythona korzystanie z wnioskowania związków przyczynowych Przyczyna i skutek, nic więcej. Pomyłki jako takie nie istnieją... Jose Antonio Cotrina, hiszpański pisarz science fiction Spis treści: O autorze O recenzentach Podziękowania Słowo wstępne Przedmowa CZĘŚĆ 1. Przyczynowość - wprowadzenie Rozdział 1. Związki przyczynowe? Przecież jest uczenie maszynowe, więc po co zawracać sobie tym głowę? Krótka historia przyczynowości Dlaczego przyczynowość? Zapytaj dzieci! Interakcje ze światem Zakłócenia - związki, które nie są prawdziwe Jak nie stracić pieniędzy. i ludzkich istnień Dylemat marketera Pobawmy się w doktora! Asocjacje w realnym świecie Podsumowanie Bibliografia Rozdział 2. Judea Pearl i drabina przyczynowości Od asocjacji do logiki i wyobraźni. Drabina przyczynowości Asocjacje Ćwiczenie Czym są interwencje? Zmienianie świata Korelacja i przyczynowość Czym są kontrfakty? Zanurzmy się w dziwactwa (zapis formalny) Podstawowy problem wnioskowania przyczynowego Obliczanie kontrfaktów Czas na kodowanie! Dodatek. Czym jest uczenie maszynowe z perspektywy przyczynowości? Przyczynowość a uczenie ze wzmocnieniem Przyczynowość a uczenie półnadzorowane i nienadzorowane Podsumowanie Bibliografia Rozdział 3. Regresja, obserwacje i interwencje Wprowadzenie. Dane obserwacyjne a regresja liniowa Regresja liniowa Wartości p i istotność statystyczna Interpretacja geometryczna regresji liniowej Odwrócenie kolejności Czy zawsze należy kontrolować wszystkie dostępne współzmienne? Poruszanie się po labiryncie Jeśli nie wiesz, dokąd zmierzasz, możesz trafić gdzie indziej Pójdźmy dalej! Kontrolować czy nie kontrolować? Modele regresyjne a modele strukturalne Modele SCM Regresja liniowa a modele SCM Szukanie powiązania Regresja a skutki przyczynowe Podsumowanie Bibliografia Rozdział 4. Modele grafów Grafy, grafy, grafy Rodzaje grafów Reprezentacje grafów Grafy w Pythonie Czym jest model grafów? Skierowane grafy acykliczne w świecie związków przyczynowych Definicje przyczynowości Grafy DAG a przyczynowość Formalna definicja grafów DAG Ograniczenia grafów DAG Źródła grafów przyczynowych w świecie rzeczywistym Odkrywanie związków przyczynowych Wiedza ekspercka Połączenie technik odkrywania związków przyczynowych i wiedzy eksperckiej Dodatek. Czy można opisywać związki przyczynowe bez grafów DAG? Układy dynamiczne Cykliczne modele SCM Podsumowanie Bibliografia Rozdział 5. Rozwidlenia, łańcuchy i kolidery Grafy i rozkłady oraz sposoby mapowania między nimi Jak opisywać niezależność? Wybór właściwego kierunku Warunki i założenia Łańcuchy, rozwidlenia i kolidery Łańcuch zdarzeń Łańcuchy Rozwidlenia Kolidery lub struktury v Przypadki niejednoznaczne Rozwidlenia, łańcuchy, kolidery i regresja Tworzenie zbioru danych dla łańcucha Tworzenie zestawu danych dla rozwidlenia Tworzenie zbioru danych dla kolidera Dopasowanie modeli regresji Podsumowanie Bibliografia CZĘŚĆ 2. Wnioskowanie związków przyczynowych Rozdział 6. Węzły, krawędzie i statystyczna (nie)zależność Zadbaj o separację d! Trening czyni mistrza - separacja d Najpierw estymandy! Żyjemy w świecie estymatorów Czym są estymandy? Kryterium back-door Czym jest kryterium back-door? Kryterium back-door a estymandy równoważne Kryterium front-door Czy GPS może nas wyprowadzić na manowce? Londyńskie taksówki i magiczny kamień Otwarcie frontowych drzwi Trzy proste kroki w kierunku kryterium front-door Kryterium front-door w praktyce Czy są jakieś inne kryteria? Zastosujmy rachunek do! Trzy zasady rachunku do Zmienne instrumentalne Podsumowanie Odpowiedź Bibliografia Rozdział 7. Czteroetapowy proces wnioskowania przyczynowego Wprowadzenie do bibliotek DoWhy i EconML Ekosystem analizy przyczynowej Pythona Dlaczego DoWhy? Czym jest pakiet DoWhy? A co z biblioteką EconML? Krok 1. Modelowanie problemu Utworzenie grafu Tworzenie obiektu CausalModel Krok 2. Identyfikacja estymand Krok 3. Wyznaczanie oszacowań Krok 4. Zestaw walidacyjny. Testy obalające Jak walidować modele przyczynowe? Wprowadzenie do testów obalających Pełny przykład Krok 1. Zakodowanie założeń Krok 2. Wyznaczenie estymandy Krok 3. Wyznaczenie oszacowania Krok 4. Obalenie oszacowania Podsumowanie Bibliografia Rozdział 8. Modele przyczynowe. Założenia i wyzwania Jestem królem świata! Czy rzeczywiście tak jest? Gdzieś pośrodku Identyfikowalność Brak grafów przyczynowych Za mało danych Nieweryfikowalne założenia Słoń w pokoju - nadzieja czy beznadzieja? Zjedzmy słonia Dodatniość Wymienność Podmioty wymienne Wymienność a zakłócenia .i inne Modułowość SUTVA Spójność Nazywaj mnie po imieniu - relacje pozorne Nazwy, nazwy, nazwy Czy powinienem zapytać Ciebie, czy kogoś, kogo tu nie ma? Stwórzcie graf DAG! Dodatkowe informacje o stronniczości wyboru Podsumowanie Bibliografia Rozdział 9. Wnioskowanie związków przyczynowych i uczenie maszynowe - od dopasowywania do metalearnerów Podstawy I. Dopasowywanie Rodzaje dopasowywania Efekty interwencji - ATE w porównaniu z ATT i ATC Estymatory dopasowywania Implementacja dopasowywania Podstawy II. Współczynniki skłonności Dopasowywanie w praktyce Zmniejszenie wymiarowości za pomocą współczynników skłonności Dopasowywanie współczynników skłonności (PSM) Odwrotne ważenie prawdopodobieństwa (IPW) Wiele twarzy współczynników skłonności Formalizacja techniki IPW Implementacja IPW IPW - względy praktyczne S-Learner - samotny stróż Diabeł tkwi w szczegółach Mamo, tato, poznajcie CATE Żarty na bok. Pozdrowienia dla heterogenicznego tłumu Machanie flagą założeń Jesteś jedyny. Modelowanie z wykorzystaniem techniki S-Learner Dane o niewielkiej objętości Słabe punkty modelu S-Learner T-Learner. Razem możemy więcej Wymuszenie właściwego podziału zmiennych T-Learner w czterech krokach i wzory Implementacja modelu T-Learner X-Learner. Krok dalej Wyciskanie cytryny Rekonstrukcja modelu X-Learner X-Learner. Formuła alternatywna Implementacja X-Learner Podsumowanie Bibliografia Rozdział 10. Wnioskowanie związków przyczynowych i uczenie maszynowe - zaawansowane estymatory, eksperymenty, oceny i nie tylko Metody DR. Spróbujmy uzyskać więcej! Czy potrzebujemy czegoś więcej? Podwójnie wzmocniony nie oznacza niezniszczalny... ...ale pozwala wiele zyskać Sekretny, podwójnie mocny sos Estymator DR a założenia DR-Learner. Przechodzenie nad przepaścią Modele DR-Learner - opcje dodatkowe Ukierunkowany estymator maksymalnego prawdopodobieństwa Jeśli uczenie maszynowe jest fajne, to co powiesz na podwójne uczenie maszynowe? Dlaczego DML i co jest w nim podwójnego? Implementacja DML za pomocą bibliotek DoWhy i EconML Dostrajanie hiperparametrów za pomocą bibliotek DoWhy i EconML Czy DML jest srebrną kulą? Techniki DR a DML Co z tego będę miał? Lasy przyczynowe i nie tylko Drzewa przyczynowe Przepełnienia lasów Zalety lasów przyczynowych Lasy przyczynowe z wykorzystaniem bibliotek DoWhy i EconML Niejednorodne efekty interwencji z danymi eksperymentalnymi - odyseja upliftingu Dane Wybór frameworka Nie znamy połowy tej historii Wyzwanie Kevina Otwarcie skrzynki z narzędziami Modele uplift a wydajność Inne wskaźniki dla wyników ciągłych z wieloma interwencjami Przedziały ufności Zwycięski wynik w wyzwaniu Kevina Kiedy należy stosować estymatory CATE dla danych eksperymentalnych? Wybór modelu. Uproszczony przewodnik Dodatek. Objaśnienia kontrfaktyczne Zła wola czy nieodpowiednia technologia? Podsumowanie Bibliografia Rozdział 11. Wnioskowanie związków przyczynowych i uczenie maszynowe - uczenie głębokie, przetwarzanie języka naturalnego i inne techniki Wykorzystanie technik uczenia głębokiego do wyznaczania heterogenicznych efektów interwencji Wskaźniki CATE sięgają głębiej SNet Transformatory i wnioskowanie związków przyczynowych Teoria znaczenia w pięciu akapitach Co zrobić, by komputery rozumiały język naturalny? Od filozofii do kodu Pythona Modele LLM a przyczynowość Trzy scenariusze CausalBert Przyczynowość i szeregi czasowe, czyli kiedy ekonometryk przechodzi na Bayesa Metody quasi-eksperymentalne Przejęcie Twittera i wzorce googlowania Logika syntetycznych kontroli Wizualne wprowadzenie do logiki kontroli syntetycznej Na początek dane Kontrola syntetyczna w kodzie Wyzwania Podsumowanie Bibliografia CZĘŚĆ 3. Odkrywanie związków przyczynowych Rozdział 12. Czy można prosić o graf przyczynowy? Źródła wiedzy przyczynowej Zalew informacji Siła zaskoczenia Spostrzeżenia naukowe Logika nauki Hipotezy są gatunkiem Jedna logika, wiele dróg Eksperymenty kontrolowane Randomizowane badania kontrolowane Od eksperymentów do grafów Symulacje Osobiste doświadczenia i wiedza dziedzinowa Osobiste doświadczenia Wiedza dziedzinowa Uczenie się struktury przyczynowej Podsumowanie Bibliografia Rozdział 13. Odkrywanie związków przyczynowych i uczenie maszynowe - od założeń do zastosowań Odkrywanie związków przyczynowych - przypomnienie informacji o założeniach Przygotowania Należy zawsze dążyć do zapewnienia wierności... ...ale czasami to jest trudne Minimalizm jest cnotą Cztery (i pół) rodziny Cztery strumienie Wprowadzenie do pakietu gCastle Witaj, gCastle! Dane syntetyczne w gCastle Dopasowywanie pierwszego modelu odkrywania związków przyczynowych Wizualizacja modelu Wskaźniki oceny modelu Odkrywanie związków przyczynowych oparte na ograniczeniach Ograniczenia i niezależność Wykorzystanie struktury niezależności w celu odtworzenia grafu Algorytm PC - ukryte wyzwania Algorytm PC dla danych kategorialnych Odkrywanie związków przyczynowych na podstawie punktacji Tabula rasa - zaczynamy od nowa GES - punktacja Algorytm GES w bibliotece gCastle Funkcyjne odkrywanie związków przyczynowych Błogosławieństwa asymetrii Model ANM Ocena niezależności Czas na LiNGAM Odkrywanie związków przyczynowych oparte na gradientach Czym jest ten gradient? Proszę nie ronić łez! Nie płacz, GOLEM! Porównanie Kodowanie wiedzy eksperckiej Czym jest wiedza ekspercka? Wiedza ekspercka w bibliotece gCastle Podsumowanie Bibliografia Rozdział 14. Odkrywanie związków przyczynowych i uczenie maszynowe - zaawansowane uczenie głębokie i nie tylko Zaawansowane odkrywanie związków przyczynowych za pomocą uczenia głębokiego Od modeli generatywnych do przyczynowości Spójrz wstecz, aby dowiedzieć się, kim jesteś Elementy składowe frameworka DECI Implementacja DECI DECI to rozwiązanie kompleksowe Odkrywanie związków przyczynowych w wypadku występowania ukrytych zakłóceń Algorytm FCI Inne podejścia do danych z zakłóceniami Dodatek. Nie tylko obserwacje ENCO ABCI Odkrywanie związków przyczynowych - praktyczne zastosowania, wyzwania i otwarte problemy Podsumowanie Bibliografia Rozdział 15. Epilog Czego nauczyłeś się z tej książki? Pięć kroków do jak najlepszego wykorzystania projektów przyczynowych Zadaj pytanie Zdobądź wiedzę ekspercką Wygeneruj hipotetyczny graf (grafy) Sprawdź identyfikowalność Dokonaj falsyfikacji hipotez Przyczynowość w biznesie Jak eksperci analizy przyczynowej przechodzą od wizji do implementacji? Przyszłość przyczynowego uczenia maszynowego Gdzie jesteśmy dziś i dokąd zmierzamy? Wskaźniki przyczynowe Fuzja danych przyczynowych Agenty interwencji Uczenie się struktury przyczynowej Uczenie się przez naśladowanie Studiowanie przyczynowości Pozostańmy w kontakcie Podsumowanie Bibliografia Skorowidz O autorze: Aleksander Molak jest niezależnym badaczem i konsultantem w dziedzinie uczenia maszynowego. Współpracował z licznymi firmami w Europie, USA i Izraelu, gdzie uczestniczył w tworzeniu wielkoskalowych systemów uczenia maszynowego. Jest też współzałożycielem firmy Lespire.io, dostawcy szkoleń z zakresu sztucznej inteligencji dla zespołów korporacyjnych.