Jak ogarnąć trudne dane? Praktyczne podejście profesjonalnego analityka Lubin

Analiza trudnych danych w rzeczywistym świecie? Cóż to skomplikowane. Trzeba sobie poradzić z takimi wyzwaniami jak niewiarygodne źródła danych, niejednoznaczne zapytania i niekompatybilne formaty. Rzeczywistość wykracza poza czyste, ustrukturyzowane przykłady z podręczników. Jak więc z trudnymi danymi radzą sobie zawodowcy? Dobrze napisana książka, pokazująca podejścia do rozwiązywania wielu rodzajów problemów w analizie danych. Naomi Ceder, członkini Python Software Foundation Za sprawą tej książki poznasz metodologię rozwiązywania różnorodnych problemów związanych z pracą na danych. Poszczególne techniki zostały tu wyjaśnione krok po kroku, tak by odzwierciedlić tok myślenia i sposób działania profesjonalnego analityka. Znajdziesz tu osiem często spotykanych scenariuszy, z którymi można się zetknąć w tej dziedzinie. Stosując zorientowane na wyniki podejście autora, nauczysz się modelować dane poprzez odnajdywanie rekordów klientów, pracę ze słabo zdefiniowanymi wskaźnikami, wydobywanie informacji z plików PDF i wiele więcej! Dowiesz się również, jak przejmować niedokończone projekty i tworzyć szybkie prototypy z rzeczywistymi danymi. Możesz podglądać pracę wytrawnego analityka danych, który wyjaśnia, jak radzić sobie ze wszystkimi nieprzyjemnymi pułapkami! Randy Au, Google W książce: rozkładanie problemów na części pierwsze praca z niejasnymi wskaźnikami modelowanie danych manipulacja danymi kategorycznymi Jasna i powtarzalna metodologia ułatwi Ci pewne i szybkie dochodzenie do odpowiedzi! Shaun McGirr, DevOn Software Services Doskonałe źródło dla każdego aspirującego analityka danych! Andrew R. Freed, IBM Spis treści: Przedmowa Wstęp Podziękowania O książce O autorze 1. Łączenie teorii z praktyką w nauce o danych 1.1. Zestaw narzędzi analityka danych 1.2. Podejście zorientowane na wyniki 1.2.1. Zrozum problem 1.2.2. Zacznij od końca 1.2.3. Poszukaj dodatkowych źródeł 1.2.4. Pozyskaj dane 1.2.5. Wykonaj pracę 1.2.6. Przedstaw minimalną satysfakcjonującą odpowiedź 1.2.7. W razie potrzeby iteruj 1.3. Struktura projektu Podsumowanie 2. Praca z danymi geograficznymi 2.1. Projekt 1. Określenie lokalizacji klientów 2.1.1. Słownik danych 2.2. Przykładowe rozwiązanie: odnajdywanie Londynu 2.2.1. Przygotowanie do sukcesu 2.2.2. Tworzenie pierwszej wersji rozwiązania 2.2.3. Podsumowanie i kolejne kroki 2.3. Jak czytać pozostałą część książki? Podsumowanie 3. Modelowanie danych 3.1. Znaczenie modelowania danych 3.1.1. Typowe zadania w modelowaniu danych 3.2. Projekt 2. Kim są Twoi klienci? 3.2.1. Założenia projektu 3.2.2. Słownik danych 3.2.3. Oczekiwane rezultaty 3.2.4. Niezbędne narzędzia 3.3. Planowanie podejścia do modelowania danych klientów 3.3.1. Zastosowanie procesu zorientowanego na wyniki do modelowania danych 3.3.2. Pytania warte uwagi 3.4. Przykładowe rozwiązanie: identyfikacja klientów na podstawie danych transakcyjnych 3.4.1. Opracowanie planu działania 3.4.2. Odkrywanie, pozyskiwanie i łączenie danych z wielu źródeł 3.4.3. Rozwiązywanie problemu encji w celu usunięcia duplikatów 3.4.4. Wnioski i zalecenia 3.5. Podsumowanie modelowania danych 3.5.1. Umiejętności modelowania danych przydatne w każdym projekcie Podsumowanie 4. Wskaźniki 4.1. Znaczenie dobrze zdefiniowanych wskaźników 4.2. Projekt 3. Definiowanie precyzyjnych wskaźników po to, by podejmować lepsze decyzje 4.2.1. Opis problemu 4.2.2. Słownik danych 4.2.3. Oczekiwane rezultaty 4.2.4. Wymagane narzędzia 4.3. Zastosowanie metody zorientowanej na wyniki do różnych definicji wskaźników 4.3.1. Pytania warte uwagi 4.4. Przykładowe rozwiązanie: identyfikacja najlepiej sprzedających się produktów 4.4.1. Łączenie i analiza danych o produktach 4.4.2. Obliczanie wskaźników na poziomie produktu 4.4.3. Znajdowanie najlepszych produktów z użyciem zdefiniowanych wskaźników 4.5. Podsumowanie rozdziału o wskaźnikach 4.5.1. Umiejętności definiowania lepszych wskaźników dla dowolnego projektu Podsumowanie 5. Nietypowe źródła danych 5.1. Szukanie nowych źródeł danych 5.1.1. Kwestie do rozważenia przy korzystaniu z nowych zbiorów danych 5.2. Projekt 4. Analiza trendów w branży filmowej z użyciem danych z plików PDF 5.2.1. Opis problemu 5.2.2. Słownik danych 5.2.3. Oczekiwane rezultaty 5.2.4. Wymagane narzędzia 5.3. Zastosowanie metody zorientowanej na wyniki do ekstrakcji danych z plików PDF 5.4. Przykładowe rozwiązanie: wpływ ograniczeń związanych z COVID-19 na przemysł filmowy 5.4.1. Analiza dostępnych danych 5.4.2. Wyodrębnianie danych z plików PDF 5.4.3. Analiza danych wyodrębnionych z plików PDF 5.4.4. Wnioski i zalecenia dotyczące projektu 5.5. Podsumowanie rozważań na temat eksploracji nowych źródeł danych 5.5.1. Umiejętności badania nietypowych źródeł danych dla dowolnego projektu Podsumowanie 6. Dane kategoryczne 6.1. Praca z danymi kategorycznymi 6.1.1. Metody obsługi danych kategorycznych 6.1.2. Praca z danymi z ankiet 6.2. Projekt 5. Analiza ankiety badającej nastawienie programistów do narzędzi AI 6.2.1. Założenia projektu 6.2.2. Słownik danych 6.2.3. Oczekiwane rezultaty 6.2.4. Wymagane narzędzia 6.3. Zastosowanie metody zorientowanej na wyniki do analizy ankiety dla programistów 6.4. Przykładowe rozwiązanie: Jak programiści wykorzystują sztuczną inteligencję? 6.4.1. Analiza danych kategorycznych 6.4.2. Analiza danych kategorycznych z ankiet 6.4.3. Dotychczasowy postęp projektu Podsumowanie 7. Dane kategoryczne - metody zaawansowane 7.1. Powrót do Projektu 5. Analiza ankiety badającej nastawienie programistów do narzędzi AI 7.1.1. Słownik danych 7.1.2. Oczekiwane rezultaty 7.1.3. Podsumowanie dotychczasowych prac nad projektem 7.2. Zaawansowane metody analizy danych kategorycznych 7.2.1. Grupowanie wartości ciągłych w kategorie dyskretne 7.2.2. Stosowanie testów statystycznych do danych kategorycznych 7.2.3. Odpowiadanie na nowe pytanie od początku do końca 7.2.4. Wyniki projektu 7.3. Podsumowanie na temat danych kategorycznych 7.3.1. Umiejętności potrzebne do pracy z danymi kategorycznymi w dowolnym projekcie Podsumowanie 8. Szeregi czasowe - przygotowanie danych 8.1. Praca z szeregami czasowymi 8.1.1. Ukryta głębia szeregów czasowych 8.1.2. Jak pracować z szeregami czasowymi? 8.2. Projekt 6. Analiza szeregów czasowych w celu poprawy infrastruktury rowerowej 8.2.1. Problem 8.2.2. Słownik danych 8.2.3. Oczekiwane rezultaty 8.2.4. Wymagane narzędzia 8.3. Zastosowanie metody zorientowanej na wyniki do analizy danych o ruchu drogowym 8.4. Przykładowe rozwiązanie: Gdzie należy skupić się na ulepszeniach infrastruktury rowerowej? 8.4.1. Badanie dostępnych danych i wyodrębnianie szeregów czasowych 8.4.2. Dotychczasowy postęp projektu Podsumowanie 9. Szeregi czasowe - analiza danych 9.1. Powrót do projektu 6. Analiza szeregów czasowych w celu poprawy infrastruktury rowerowej 9.1.1. Opis problemu 9.1.2. Słownik danych 9.1.3. Oczekiwane rezultaty 9.2. Gdzie należy skupić się na poprawie infrastruktury rowerowej? 9.2.1. Analiza szeregów czasowych 9.2.2. Wnioski i zalecenia wynikłe z projektu 9.3. Podsumowanie: szeregi czasowe 9.3.1. Umiejętności potrzebne do pracy z danymi szeregów czasowych w dowolnym projekcie Podsumowanie 10. Szybkie prototypowanie - analiza danych 10.1. Proces szybkiego prototypowania 10.1.1. Przykład szybkiego prototypowania 10.2. Projekt 7. Stworzenie prototypu do analizy cen nieruchomości w Walii 10.2.1. Sformułowanie problemu 10.2.2. Słownik danych 10.2.3. Oczekiwane rezultaty 10.2.4. Wymagane narzędzia 10.3. Zastosowanie metody zorientowanej na wyniki w analizie danych dotyczących nieruchomości w Walii 10.4. Przykładowe rozwiązanie: budowa prototypu do analizy danych o cenach nieruchomości 10.4.1. Analiza danych przed prototypowaniem 10.4.2. Analiza aspektów geograficznych zbioru danych 10.4.3. Określanie sposobu prezentacji danych w prototypie 10.4.4. Dotychczasowy postęp projektu Podsumowanie 11. Szybkie prototypowanie - tworzenie dowodu koncepcji 11.1. Powrót do projektu 7. Budowa prototypu do analizy cen nieruchomości w Walii 11.1.1. Słownik danych 11.1.2. Oczekiwane rezultaty 11.1.3. Podsumowanie dotychczasowych prac nad projektem 11.2. Tworzenie dowodu koncepcji 11.2.1. Przygotowanie do budowy dowodu koncepcji 11.2.2. Wykorzystanie biblioteki streamlit do stworzenia dowodu koncepcji 11.2.3. Wyniki projektu i dalsze działania 11.3. Podsumowanie na temat szybkiego prototypowania pomysłów 11.3.1. Umiejętności szybkiego prototypowania w dowolnym projekcie Podsumowanie 12. Rozbudowa rozwiązania innego analityka - przygotowanie danych 12.1. Wyszukiwanie podobnych obiektów 12.2. Kontynuowanie pracy rozpoczętej przez kogoś innego 12.3. Projekt 8. Identyfikacja segmentów klientów na podstawie aktywności mobilnej 12.3.1. Opis problemu 12.3.2. Słownik danych 12.3.3. Pożądane rezultaty 12.3.4. Wymagane narzędzia 12.4. Zastosowanie metody zorientowanej na wyniki do stworzenia drugiej iteracji segmentacji klientów 12.5. Przykładowe rozwiązanie: tworzenie segmentów klientów 12.5.1. Odtwarzanie analizy innej osoby 12.5.2. Analiza danych o zdarzeniach w celu poznania zachowań klientów 12.5.3. Dotychczasowy postęp projektu Podsumowanie 13. Rozbudowa rozwiązania innego analityka - segmentacja użytkowników 13.1. Powrót do projektu 8. Identyfikacja segmentów klientów na podstawie aktywności mobilnej 13.1.1. Słownik danych 13.1.2. Oczekiwane wyniki 13.1.3. Podsumowanie dotychczasowych prac nad projektem 13.1.4. Segmentacja użytkowników mobilnych z użyciem grupowania 13.1.5. Wnioski i dalsze działania 13.2. Podsumowanie: segmentacja i grupowanie 13.2.1. Podsumowanie umiejętności przydatnych w każdym projekcie Podsumowanie Dodatek. Instrukcje instalacji Pythona A.1. Instalacja Pythona A.2. Instalacja poetry A.3. Tworzenie środowiska wirtualnego O autorze: David Asboth jest doświadczonym analitykiem danych, łączącym wiedzę z zakresu tworzenia oprogramowania i projektowania systemów. Współprowadzi podcast Half Stack Data Science, występuje także na konferencjach, między innymi na londyńskim Data Science Festival.