Python Data Science. Niezbędne narzędzia do pracy z danymi. Wydanie II Strzelce Opolskie

Python udostępnia pierwszorzędne narzędzia i biblioteki przeznaczone specjalnie do pracy z danymi. Zdobyły one uznanie wielu naukowców i ekspertów, ceniących ten język za wysoką jakość rozwiązań służących do wydobywania wiedzy z danych. Aby uzyskać najlepsze możliwe efekty, trzeba dobrze poznać zarówno poszczególne biblioteki Pythona, jak i zasady pracy z nimi. Ta książka stanowi wszechstronne omówienie wszystkich bibliotek Pythona, potrzebnych naukowcom i specjalistom pracującym z danymi. Znalazł się tu dokładny opis IPythona, NumPy, Pandas, Matplotlib, Scikit-Learn i innych narzędzi. Podręcznik uwzględnia przede wszystkim ich aspekty praktyczne, dzięki czemu świetnie się sprawdzi w rozwiązywaniu codziennych problemów z manipulowaniem, przekształcaniem, oczyszczaniem i wizualizacją różnych typów danych, a także jako pomoc podczas tworzenia modeli statystycznych i modeli uczenia maszynowego. Docenią go wszyscy, którzy zajmują się obliczeniami naukowymi w Pythonie. To wydanie zawiera jasne przykłady, które pomogą Ci skonfigurować i wykorzystać narzędzia do nauki o danych i uczenia maszynowego. Anne Bonner, założycielka i dyrektor generalna Content Simplicity Nauczysz się: pracować w naukowym środowisku obliczeniowym IPythona korzystać ze specjalistycznych bibliotek przeznaczonych do pracy z danymi stosować typy ndarray i DataFrame do przechowywania i przetwarzania danych tworzyć różnego rodzaju wizualizacje danych za pomocą Matplotlib implementować najważniejsze algorytmy uczenia maszynowego z pakietu Scikit-Learn Wydobywaj z danych mądre odpowiedzi na trudne pytania! Spis treści: Wprowadzenie Część I. Jupyter - coś więcej niż zwykły Python 1. Wprowadzenie do IPythona oraz Jupytera Uruchamianie powłoki IPythona Uruchamianie Jupyter Notebook IPython - pomoc i dokumentacja Dostęp do dokumentacji za pomocą ? Dostęp do kodu źródłowego za pomocą ?? Przeglądanie zawartości modułów za pomocą autouzupełniania z tabulatorem Skróty klawiaturowe w powłoce IPython Skróty do nawigacji Skróty do wprowadzania tekstu Skróty związane z historią poleceń Pozostałe skróty 2. Funkcje interaktywne Magiczne polecenia IPythona Uruchamianie zewnętrznego kodu za pomocą %run Pomiar czasu wykonania za pomocą %timeit Pomoc dotycząca magicznych poleceń ?, %magic i %lsmagic Historia wejścia i wyjścia Obiekty In i Out IPythona Symbol podkreślenia i poprzednie wyjścia Wyłączanie wyjścia Inne magiczne polecenia Polecenia IPythona i powłoki Krótkie wprowadzenie do powłoki Polecenia powłoki w IPythonie Przekazywanie wartości do i z powłoki Magiczne polecenia związane z powłoką 3. Debugowanie i profilowanie Błędy i debugowanie Kontrolowanie wyjątków za pomocą %xmode Debugowanie - gdy lektura śladu nie wystarcza Profilowanie kodu i pomiary czasu jego wykonania Pomiar czasu wykonania fragmentu kodu za pomocą %timeit i %time Profilowanie całych skryptów za pomocą %prun Profilowanie linia po linii za pomocą %lprun Profilowanie pamięci za pomocą %memit i %mprun Więcej materiałów na temat IPythona Materiały dostępne w sieci Książki Część II. Wprowadzenie do NumPy 4. Zrozumieć typy danych w Pythonie Typ całkowitoliczbowy w Pythonie to coś więcej niż zwykły int Lista w Pythonie to coś więcej niż zwykła lista Tablice o stałym typie w Pythonie Tworzenie tablic z list Tworzenie tablic od podstaw Standardowe typy danych NumPy 5. Podstawy pracy z tablicami NumPy Atrybuty tablicy NumPy Indeksowanie tablicy - dostęp do pojedynczych elementów Slicing, czyli sposób na dostęp do podtablic Jednowymiarowe podtablice Wielowymiarowe podtablice Podtablice jako widoki bez kopiowania Kopiowanie tablic Zmiana kształtu tablic Konkatenacja i dzielenie tablic Konkatenacja tablic Dzielenie tablic 6. Obliczenia z użyciem tablic NumPy - funkcje uniwersalne Powolność pętli Wprowadzenie do funkcji uniwersalnych Przegląd funkcji uniwersalnych dostępnych w NumPy Arytmetyka tablicowa Wartość bezwzględna Funkcje trygonometryczne Potęgi i logarytmy Funkcje uniwersalne do zastosowań specjalnych Zaawansowane możliwości funkcji uniwersalnych Określanie miejsca zapisu danych wyjściowych Agregacje Metoda outer Więcej materiałów na temat funkcji uniwersalnych 7. Agregacje - minimum, maksimum i wszystko pomiędzy nimi Sumowanie wartości w tablicy Minimum i maksimum Agregacja w wielu wymiarach Inne funkcje agregujące Przykład: jaki jest średni wzrost prezydenta USA? 8. Obliczenia na tablicach - broadcasting Co to jest broadcasting? Zasady broadcastingu Pierwszy przykład Drugi przykład Trzeci przykład Broadcasting w praktyce Centrowanie wartości w tablicy Rysowanie wykresów funkcji dwuwymiarowych 9. Porównania, maski i logika boolowska Przykład: sprawdzanie, przez ile dni padało Operatory porównania jako funkcje uniwersalne Praca z tablicami wartości logicznych Zliczanie wpisów Operatory logiczne Tablice wartości logicznych jako maski Słowa kluczowe and i or kontra operatory &/| 10. Fancy indexing Jak działa fancy indexing? Łączenie różnych metod indeksowania Przykład: wybieranie losowych punktów Modyfikowanie wartości za pomocą fancy indexingu Przykład: podział danych na kubełki 11. Sortowanie tablic Szybkie sortowanie w NumPy - np.sort i np.argsort Sortowanie wzdłuż wierszy lub kolumn Sortowanie częściowe - partycjonowanie Przykład: metoda k najbliższych sąsiadów 12. Dane ustrukturyzowane - ustrukturyzowane tablice NumPy Tworzenie ustrukturyzowanych tablic Bardziej zaawansowane typy złożone Tablice rekordów - ustrukturyzowane tablice z niespodzianką W stronę Pandas Część III. Przekształcanie danych za pomocą Pandas 13. Wprowadzenie do obiektów Pandas Obiekt typu Series Obiekty typu Series jako uogólnienie tablic NumPy Obiekt typu Series jako szczególny rodzaj słownika Tworzenie obiektów typu Series Obiekt typu DataFrame Ramka danych jako uogólnienie tablicy NumPy Ramka danych jako szczególny rodzaj słownika Tworzenie obiektów typu DataFrame Obiekt typu Index Indeks jako niemutowalna tablica Indeks jako uporządkowany zbiór 14. Indeksowanie i wybieranie Wybór danych z obiektów typu Series Obiekt typu Series jako słownik Obiekt typu Series jako jednowymiarowa tablica Indeksatory: loc i iloc Wybór danych z obiektów typu DataFrame Obiekt typu DataFrame jako słownik Obiekt typu DataFrame jako dwuwymiarowa tablica Inne konwencje związane z indeksowaniem 15. Operacje na danych w Pandas Funkcje uniwersalne - zachowanie indeksu Funkcje uniwersalne - dopasowanie indeksu Dopasowanie indeksu w obiektach typu Series Dopasowanie indeksu w obiektach typu DataFrame Funkcje uniwersalne - operacje pomiędzy ramkami danych a obiektami typu Series 16. Obsługa brakujących danych Kompromisy w konwencjach dotyczących brakujących danych Brakujące dane w Pandas None jako rodzaj wartownika NaN - brakujące dane liczbowe NaN i None w Pandas Nullowalne typy danych w Pandas Praca z wartościami typu null Wykrywanie wartości typu null Usuwanie wartości typu null Uzupełnianie braków 17. Indeksowanie hierarchiczne Wielokrotnie indeksowane obiekty typu Series Zły sposób Lepszy sposób - MultiIndex z Pandas MultiIndex jako dodatkowy wymiar MultiIndex - metody tworzenia Tworzenie indeksu hierarchicznego z użyciem jawnego konstruktora Nazwy poziomów indeksu hierarchicznego MultiIndex dla kolumn MultiIndex - indeksowanie i slicing Obiekty typu Series z wielokrotnymi indeksami Obiekty typu DataFrame z wielokrotnymi indeksami MultiIndex - zmiana kolejności Posortowane i nieposortowane indeksy Metody stack i unstack Ustawianie i resetowanie indeksu 18. Łączenie zbiorów danych - concat i append Przypomnienie: konkatenacja tablic NumPy Prosta konkatenacja za pomocą pd.concat Zduplikowane indeksy Konkatenacja za pomocą złączeń Metoda append 19. Łączenie zbiorów danych - merge i join Algebra relacji Rodzaje złączeń Złączenia jeden-do-jednego Złączenia wiele-do-jednego Złączenia wiele-do-wielu Określanie klucza, na podstawie którego ma być wykonane złączenie Słowo kluczowe on Słowa kluczowe left_on i right_on Słowa kluczowe left_index i right_index Wykorzystanie arytmetyki zbiorów w złączeniach Nakładające się nazwy kolumn - słowo kluczowe suffixes Przykład: dane dotyczące stanów USA 20. Agregacja i grupowanie Dane na temat planet Prosta agregacja w Pandas Grupowanie - podziel, zastosuj funkcję, połącz Podziel, zastosuj funkcję, połącz Obiekt GroupBy Agregacja, filtrowanie, transformacja, wywoływanie funkcji Określanie sposobu podziału Przykład grupowania 21. Tabele przestawne Dane na potrzeby przykładu Ręczne tworzenie tabel przestawnych Składnia tabel przestawnych Wielopoziomowe tabele przestawne Dodatkowe opcje tabel przestawnych Przykład: dane dotyczące liczby urodzeń 22. Zwektoryzowane operacje na łańcuchach znaków Wprowadzenie do pracy z łańcuchami znaków w Pandas Metody pracujące na łańcuchach znaków w Pandas Metody podobne do metod znanych z Pythona Metody wykorzystujące wyrażenia regularne Różne metody Przykład: baza przepisów Prosty system rekomendacji przepisów Jak można rozwinąć ten projekt? 23. Praca z szeregami czasowymi Daty i godziny w Pythonie Daty i godziny w Pythonie - datetime i dateutil Typowane tablice znaczników czasu - datetime64 z NumPy Daty i godziny w Pandas - najlepsze elementy z obu światów Szeregi czasowe w Pandas - indeksowanie według czasu Struktury danych do przechowywania szeregów czasowych w Pandas Regularne sekwencje dat - pd.date_range Częstotliwości i przesunięcia Ponowne próbkowanie, przesuwanie i okna Ponowne próbkowanie i zmiana częstotliwości Przesunięcia w czasie Ruchome okna Przykład: wizualizacja danych o liczbie rowerów w Seattle Wizualizacja danych Zagłębianie się w dane 24. Wysoka wydajność w Pandas - eval i query Dlaczego warto zastosować query i eval - wyrażenia złożone Wydajne operacje z użyciem pandas.eval Operacje na kolumnach z użyciem DataFrame.eval Przypisanie w DataFrame.eval Zmienne lokalne w DataFrame.eval Metoda DataFrame.query Wydajność - kiedy warto korzystać z tych funkcji Materiały dodatkowe Część IV. Wizualizacja z użyciem Matplotlib 25. Wskazówki dotyczące korzystania z Matplotlib Importowanie Matplotlib Ustawianie stylów Czy trzeba używać show()? Jak wyświetlić wygenerowane wykresy? Rysowanie z poziomu skryptu Rysowanie z poziomu IPythona Rysowanie z poziomu notatnika Jupytera Zapisywanie rysunków do pliku Dwa interfejsy w cenie jednego 26. Proste wykresy liniowe Dostosowywanie wykresu - kolory i style linii Dostosowywanie wykresu - granice osi Etykietowanie wykresów Pułapki Matplotlib 27. Proste wykresy punktowe Tworzenie wykresów punktowych za pomocą plt.plot Tworzenie wykresów punktowych za pomocą plt.scatter plot a scatter - uwaga na temat wydajności Wizualizacja niepewności Słupki błędów Błędy ciągłe 28. Wykresy gęstości i wykresy konturowe Wizualizacja trójwymiarowych funkcji Histogramy, kubełki i gęstości Dwuwymiarowe histogramy i podział danych na kubełki plt.hist2d - dwuwymiarowy histogram plt.hexbin - podział na sześciokątne kubełki Jądrowy estymator gęstości 29. Dostosowywanie legend Wybór elementów do legendy Legenda opisująca rozmiary punktów Wiele legend 30. Dostosowywanie pasków kolorów Dostosowywanie pasków kolorów Wybór mapy kolorów Granice kolorów i wartości spoza zakresu Dyskretne paski kolorów Przykład: odręcznie zapisane cyfry 31. Podwykresy plt.axes - manualne tworzenie podwykresów plt.subplot - proste siatki podwykresów plt.subplots - cała siatka za jednym zamachem plt.GridSpec - bardziej skomplikowane układy 32. Tekst i adnotacje Przykład: wpływ świąt na liczbę urodzeń w Stanach Zjednoczonych Transformacje i położenie tekstu Strzałki i adnotacje 33. Dostosowywanie znaczników osi Główne i dodatkowe podziałki Ukrywanie podziałek lub ich etykiet Zmniejszenie lub zwiększenie liczby podziałek Inne możliwości formatowania podziałek Lokalizatory i formatery - podsumowanie 34. Dostosowywanie wykresów - konfiguracja i style Ręczne dostosowywanie wykresów Zmiana ustawień domyślnych - rcParams Arkusze stylów Styl domyślny Styl FiveThiryEight Styl ggplot Styl z książki Bayesian Methods for Hackers Ciemne tło Rysunki w skali szarości Styl Seaborn 35. Wykresy w przestrzeni trójwymiarowej Trójwymiarowe punkty i krzywe Trójwymiarowe wykresy konturowe Wykresy typu wireframe i wykresy powierzchniowe Triangulacja powierzchni Przykład: wizualizacja wstęgi Möbiusa 36. Wizualizacje z użyciem pakietu Seaborn Przegląd możliwości pakietu Seaborn Histogramy, jądrowy estymator gęstości i wykresy gęstości Wykresy typu pairplot Grupy histogramów Wykresy typu catplot Wspólne rozkłady prawdopodobieństwa Wykresy słupkowe Przykład: eksploracja danych na temat czasu ukończenia maratonu Materiały dodatkowe Inne biblioteki do wizualizacji danych w Pythonie Część V. Uczenie maszynowe 37. Czym jest uczenie maszynowe? Rodzaje uczenia maszynowego Przykłady problemów uczenia maszynowego Klasyfikacja, czyli przewidywanie dyskretnych etykiet Regresja, czyli przewidywanie ciągłych etykiet Klasteryzacja, czyli ustalanie etykiet w oparciu o nieetykietowane dane Redukcja wymiarowości - wnioskowanie o strukturze danych pozbawionych etykiet Podsumowanie 38. Wprowadzenie do Scikit-Learn Reprezentacja danych w Scikit-Learn Macierz cech Tablica wartości docelowych API Estimator Podstawy korzystania z API Przykład uczenia nadzorowanego: prosta regresja liniowa Przykład uczenia nadzorowanego: klasyfikacja irysów Przykład uczenia nienadzorowanego: redukcja wymiarowości w zbiorze Iris Przykład uczenia nienadzorowanego: klasteryzacja irysów Zastosowanie: eksploracja zbioru odręcznie zapisanych cyfr Wczytywanie i wizualizacja danych Przykład uczenia nienadzorowanego: redukcja wymiarowości Klasyfikacja cyfr Podsumowanie 39. Hiperparametry i walidacja modelu Walidacja modelu Niewłaściwy sposób walidacji modelu Właściwy sposób walidacji modelu, czyli podział danych na zbiór uczący i testowy Walidacja modelu za pomocą walidacji krzyżowej Wybór najlepszego modelu Kompromis pomiędzy obciążeniem a wariancją Krzywe walidacji w Scikit-Learn Krzywe uczenia Walidacja w praktyce - wyszukiwanie w siatce Podsumowanie 40. Inżynieria cech Cechy o charakterze kategorialnym Cechy tekstowe Konwersja obrazów na cechy Cechy pochodne Imputacja brakujących danych Potoki przetwarzania w inżynierii cech 41. Dogłębne spojrzenie - naiwny klasyfikator Bayesa Klasyfikacja bayesowska Naiwny gaussowski klasyfikator Bayesa Naiwny wielomianowy klasyfikator Bayesa Przykład: klasyfikacja tekstu Kiedy korzystać z naiwnego klasyfikatora Bayesa 42. Dogłębne spojrzenie - regresja liniowa Prosta regresja liniowa Regresja funkcjami bazowymi Wielomianowe funkcje bazowe Gaussowskie funkcje bazowe Regularyzacja Regresja grzbietowa (regularyzacja L) Regresja lasso (regularyzacja L) Przykład: przewidywanie ruchu rowerowego 43. Dogłębne spojrzenie - maszyny wektorów nośnych Motywacje dla maszyn wektorów nośnych Maszyny wektorów nośnych - maksymalizacja marginesu Dopasowywanie maszyny wektorów nośnych Maszyny wektorów nośnych z nieliniowymi granicami - jądrowy SVM Dostrajanie SVM - zmiękczanie marginesów Przykład: rozpoznawanie twarzy Podsumowanie 44. Dogłębne spojrzenie - drzewa decyzyjne i lasy losowe Motywacje dla lasów losowych - drzewa decyzyjne Tworzenie drzewa decyzyjnego Drzewa decyzyjne i nadmierne dopasowanie Zespoły estymatorów - lasy losowe Regresja z użyciem lasów losowych Przykład: wykorzystanie lasu losowego do klasyfikacji cyfr Podsumowanie 45. Dogłębne spojrzenie - analiza głównych składowych Wprowadzenie do analizy głównych składowych PCA jako metoda redukcji wymiarowości Wykorzystanie PCA do wizualizacji - odręcznie zapisane cyfry Co reprezentują składowe? Wybór liczby składowych PCA jako metoda filtrowania szumów Przykład: rozpoznawanie twarzy Podsumowanie 46. Dogłębne spojrzenie - manifold learning Manifold learning - słowo "hello" Skalowanie wielowymiarowe Skalowanie wielowymiarowe jako metoda manifold learningu Osadzenia nieliniowe - gdy zawodzi skalowanie wielowymiarowe Rozmaitości nieliniowe - lokalnie liniowe osadzanie Kilka przemyśleń na temat metod manifold learningu Przykład: mapowanie izometryczne w zbiorze zdjęć twarzy Przykład: wizualizacja struktury w liczbach 47. Dogłębne spojrzenie - klasteryzacja za pomocą algorytmu k-średnich Wprowadzenie do algorytmu k-średnich Estymacja-maksymalizacja Przykłady Przykład 1. Algorytm k-średnich w zbiorze digits Przykład 2. Algorytm k-średnich w kompresji kolorów 48. Dogłębne spojrzenie - modele mieszanin rozkładów Gaussa Motywacje dla modeli mieszanin rozkładów Gaussa - słabości algorytmu k-średnich Uogólnienie algorytmu EM - modele mieszanin rozkładów Gaussa Wybór rodzaju kowariancji Modele mieszanin rozkładów Gaussa jako narzędzie do szacowania gęstości Przykład: wykorzystanie GMM do generowania nowych danych 49. Dogłębne spojrzenie - jądrowy estymator gęstości Motywacje dla jądrowego estymatora gęstości - histogramy Jądrowy estymator gęstości w praktyce Wybór parametru wygładzania za pomocą walidacji krzyżowej Przykład: nie tak naiwny klasyfikator Bayesa Anatomia niestandardowego estymatora Korzystanie z naszego niestandardowego estymatora 50. Zastosowanie - potok przetwarzania do wykrywania twarzy Cechy HOG HOG w akcji - prosty detektor twarzy 1. Stwórz zbiór "pozytywnych" próbek 2. Stwórz zbiór "negatywnych" próbek 3. Połącz zbiory i wyodrębnij cechy HOG 4. Wytrenuj maszynę wektorów nośnych 5. Znajdź twarze na nowym zdjęciu Zastrzeżenia i ulepszenia Materiały dodatkowe na temat uczenia maszynowego O autorze: Jake VanderPlas jest inżynierem oprogramowania w Google Research. Współtworzy i rozwija narzędzia do przetwarzania dużych ilości danych, w tym pakiety Scikit-Learn, SciPy, Astropy, Altair i JAX. Jest także twórcą samouczków, często występuje jako prelegent na branżowych konferencjach.