Uczenie maszynowe z użyciem Scikit-Learn, Keras i TensorFlow. Wydanie III Gliwice

Pojęcia, techniki i narzędzia służące do tworzenia systemów inteligentnych Głębokie sieci neuronowe mają niesamowity potencjał. Osiągnięcia ostatnich lat nadały procesom uczenia głębokiego zupełnie nową jakość. Obecnie nawet programiści niezaznajomieni z tą technologią mogą korzystać z prostych i niezwykle skutecznych narzędzi, pozwalających na sprawne implementowanie programów uczących się z danych. Znajdziesz tu rozsądne, intuicyjne objaśnienia, a także mnóstwo praktycznych porad! Francois Chollet, twórca interfejsu Keras To trzecie wydanie bestsellerowego przewodnika po uczeniu maszynowym. Książka jest adresowana do osób, które chcą wejść w świat uczenia maszynowego ... przy czym wystarczą do tego minimalne umiejętności programistyczne. Zawarto tu minimum teorii, a proces nauki ułatwiają liczne przykłady i ćwiczenia. Dzięki temu przyswoisz niezbędne pojęcia i nauczysz się korzystać z gotowych platform produkcyjnych Pythona: Scikit-Learn, Keras i TensorFlow. W tym wydaniu pokazano różnorodne techniki, od prostej regresji liniowej aż po głębokie sieci neuronowe. Szybko nauczysz się tworzyć działające systemy inteligentne! W książce między innymi: korzystanie ze Scikit-Learn, z TensorFlow i Keras modele: maszyny wektorów nośnych, drzewa decyzyjne, lasy losowe i metody zespołowe uczenie nienadzorowane: redukcja wymiarowości, analiza skupień, wykrywanie anomalii sieci neuronowe: sieci splotowe, rekurencyjne, modele dyfuzyjne i transformatory trenowanie i implementacje sieci neuronowych To znakomite wprowadzenie do teoretycznych i praktycznych rozważań na temat rozwiązywania problemów za pomocą sieci neuronowych! Pete Warden, mobile lead projektu Tensor Flow Twórz i trenuj nowoczesne sieci neuronowe! Spis treści: Przedmowa Część I. Podstawy uczenia maszynowego1. Krajobraz uczenia maszynowegoCzym jest uczenie maszynowe? Dlaczego warto korzystać z uczenia maszynowego? Przykładowe zastosowania Rodzaje systemów uczenia maszynowego Nadzorowanie uczenia Uczenie wsadowe i uczenie przyrostowe Uczenie z przykładów i uczenie z modelu Główne problemy uczenia maszynowego Niedobór danych uczących Niereprezentatywne dane uczące Dane kiepskiej jakości Nieistotne cechy Przetrenowanie danych uczących Niedotrenowanie danych uczących Podsumowanie Testowanie i ocenianie Strojenie hiperparametrów i dobór modelu Niezgodność danych Ćwiczenia 2. Nasz pierwszy projekt uczenia maszynowegoPraca z rzeczywistymi danymi Przeanalizuj całokształt projektu Określ zakres problemu Wybierz wskaźnik wydajności Sprawdź założenia Zdobądź dane Uruchom przykładowy kod w serwisie Google Colab Zapisz zmiany w kodzie i w danych Zalety i wady interaktywności Kod w książce a kod w notatnikach Jupyter Pobierz dane Rzut oka na strukturę danych Stwórz zbiór testowy Odkrywaj i wizualizuj dane, aby zdobywać nowe informacje Zwizualizuj dane geograficzne Poszukaj korelacji Eksperymentuj z kombinacjami atrybutów Przygotuj dane pod algorytmy uczenia maszynowego Oczyść dane Obsługa tekstu i atrybutów kategorialnych Skalowanie i przekształcanie cech Niestandardowe transformatory Potoki transformujące Wybierz i wytrenuj model Trenuj i oceń model za pomocą zbioru uczącego Dokładniejsze ocenianie za pomocą sprawdzianu krzyżowego Wyreguluj swój model Metoda przeszukiwania siatki Metoda losowego przeszukiwania Metody zespołowe Analizowanie najlepszych modeli i ich błędów Oceń system za pomocą zbioru testowego Uruchom, monitoruj i utrzymuj swój system Teraz Twoja kolej! Ćwiczenia 3. KlasyfikacjaZbiór danych MNIST Uczenie klasyfikatora binarnego Miary wydajności Pomiar dokładności za pomocą sprawdzianu krzyżowego Macierz pomyłek Precyzja i pełność Kompromis pomiędzy precyzją a pełnością Wykres krzywej ROC Klasyfikacja wieloklasowa Analiza błędów Klasyfikacja wieloetykietowa Klasyfikacja wielowyjściowa Ćwiczenia 4. Uczenie modeliRegresja liniowa Równanie normalne Złożoność obliczeniowa Gradient prosty Wsadowy gradient prosty Stochastyczny spadek wzdłuż gradientu Schodzenie po gradiencie z minigrupami Regresja wielomianowa Krzywe uczenia Regularyzowane modele liniowe Regresja grzbietowa Regresja metodą LASSO Regresja metodą elastycznej siatki Wczesne zatrzymywanie Regresja logistyczna Szacowanie prawdopodobieństwa Funkcje ucząca i kosztu Granice decyzyjne Regresja softmax Ćwiczenia 5. Maszyny wektorów nośnychLiniowa klasyfikacja SVM Klasyfikacja miękkiego marginesu Nieliniowa klasyfikacja SVM Jądro wielomianowe Cechy podobieństwa Gaussowskie jądro RBF Klasy SVM i złożoność obliczeniowa Regresja SVM Mechanizm działania liniowych klasyfikatorów SVM Problem dualny Kernelizowane maszyny SVM Ćwiczenia 6. Drzewa decyzyjneUczenie i wizualizowanie drzewa decyzyjnego Wyliczanie prognoz Szacowanie prawdopodobieństw przynależności do klas Algorytm uczący CART Złożoność obliczeniowa Wskaźnik Giniego czy entropia? Hiperparametry regularyzacyjne Regresja Wrażliwość na orientację osi Drzewa decyzyjne mają znaczną wariancję Ćwiczenia 7. Uczenie zespołowe i losowe lasyKlasyfikatory głosujące Agregacja i wklejanie Agregacja i wklejanie w module Scikit-Learn Ocena OOB Rejony losowe i podprzestrzenie losowe Losowe lasy Zespół Extra-Trees Istotność cech Wzmacnianie AdaBoost Wzmacnianie gradientowe Wzmacnianie gradientu w oparciu o histogram Kontaminacja Ćwiczenia 8. Redukcja wymiarowościKlątwa wymiarowości Główne strategie redukcji wymiarowości Rzutowanie Uczenie rozmaitościowe Analiza PCA Zachowanie wariancji Główne składowe Rzutowanie na d wymiarów Implementacja w module Scikit-Learn Współczynnik wariancji wyjaśnionej Wybór właściwej liczby wymiarów Algorytm PCA w zastosowaniach kompresji Losowa analiza PCA Przyrostowa analiza PCA Rzutowanie losowe Algorytm LLE Inne techniki redukowania wymiarowości Ćwiczenia 9. Techniki uczenia nienadzorowanegoAnaliza skupień: algorytm centroidów i DBSCAN Algorytm centroidów Granice algorytmu centroidów Analiza skupień w segmentacji obrazu Analiza skupień w uczeniu półnadzorowanym Algorytm DBSCAN Inne algorytmy analizy skupień Mieszaniny gaussowskie Wykrywanie anomalii za pomocą mieszanin gaussowskich Wyznaczanie liczby skupień Bayesowskie modele mieszane Inne algorytmy służące do wykrywania anomalii i nowości Ćwiczenia Część II. Sieci neuronowe i uczenie głębokie10. Wprowadzenie do sztucznych sieci neuronowych i ich implementacji z użyciem interfejsu KerasOd biologicznych do sztucznych neuronów Neurony biologiczne Operacje logiczne przy użyciu neuronów Perceptron Perceptron wielowarstwowy i propagacja wsteczna Regresyjne perceptrony wielowarstwowe Klasyfikacyjne perceptrony wielowarstwowe Implementowanie perceptronów wielowarstwowych za pomocą interfejsu Keras Tworzenie klasyfikatora obrazów za pomocą interfejsu sekwencyjnego Tworzenie regresyjnego perceptronu wielowarstwowego za pomocą interfejsu sekwencyjnego Tworzenie złożonych modeli za pomocą interfejsu funkcyjnego Tworzenie modeli dynamicznych za pomocą interfejsu podklasowego Zapisywanie i odczytywanie modelu Stosowanie wywołań zwrotnych Wizualizacja danych za pomocą narzędzia TensorBoard Dostrajanie hiperparametrów sieci neuronowej Liczba warstw ukrytych Liczba neuronów w poszczególnych warstwach ukrytych Współczynnik uczenia, rozmiar grupy i pozostałe hiperparametry Ćwiczenia 11. Uczenie głębokich sieci neuronowychProblemy zanikających/eksplodujących gradientów Inicjalizacje wag Glorota i He Lepsze funkcje aktywacji Normalizacja wsadowa Obcinanie gradientu Wielokrotne stosowanie gotowych warstw Uczenie transferowe w interfejsie Keras Nienadzorowane uczenie wstępne Uczenie wstępne za pomocą dodatkowego zadania Szybsze optymalizatory Optymalizacja momentum Przyspieszony spadek wzdłuż gradientu (algorytm Nesterova) AdaGrad RMSProp Optymalizator Adam AdaMax Nadam AdamW Harmonogramowanie współczynnika uczenia Regularyzacja jako sposób zapobiegania przetrenowaniu Regularyzacja l1 i l2 Porzucanie Regularyzacja typu Monte Carlo (MC) Regularyzacja typu max-norm Podsumowanie i praktyczne wskazówki Ćwiczenia 12. Modele niestandardowe i uczenie za pomocą modułu TensorFlowKrótkie omówienie modułu TensorFlow Korzystanie z modułu TensorFlow jak z biblioteki NumPy Tensory i operacje Tensory a biblioteka NumPy Konwersje typów Zmienne Inne struktury danych Dostosowywanie modeli i algorytmów uczenia Niestandardowe funkcje straty Zapisywanie i wczytywanie modeli zawierających elementy niestandardowe Niestandardowe funkcje aktywacji, inicjalizatory, regularyzatory i ograniczenia Niestandardowe wskaźniki Niestandardowe warstwy Niestandardowe modele Funkcje straty i wskaźniki oparte na elementach wewnętrznych modelu Obliczanie gradientów za pomocą różniczkowania automatycznego Niestandardowe pętle uczenia Funkcje i grafy modułu TensorFlow AutoGraph i kreślenie Reguły związane z funkcją TF Ćwiczenia 13. Wczytywanie i wstępne przetwarzanie danych za pomocą modułu TensorFlowInterfejs tf.data Łączenie przekształceń Tasowanie danych Przeplatanie wierszy z różnych plików Wstępne przetwarzanie danych Składanie wszystkiego w całość Pobieranie wstępne Stosowanie zestawu danych z interfejsem Keras Format TFRecord Skompresowane pliki TFRecord Wprowadzenie do buforów protokołów Bufory protokołów w module TensorFlow Wczytywanie i analizowanie składni obiektów Example Obsługa list list za pomocą bufora protokołów SequenceExample Warstwy przetwarzania wstępnego Keras Warstwa Normalization Warstwa Discretization Warstwa CategoryEncoding Warstwa StringLookup Warstwa Hashing Kodowanie cech kategorialnych za pomocą wektorów właściwościowych Wstępne przetwarzanie tekstu Korzystanie z wytrenowanych składników modelu językowego Warstwy wstępnego przetwarzania obrazów Projekt TensorFlow Datasets (TFDS) Ćwiczenia 14. Głębokie widzenie komputerowe za pomocą splotowych sieci neuronowychStruktura kory wzrokowej Warstwy splotowe Filtry Stosy map cech Implementacja warstw splotowych w interfejsie Keras Zużycie pamięci operacyjnej Warstwa łącząca Implementacja warstw łączących w interfejsie Keras Architektury splotowych sieci neuronowych LeNet-5 AlexNet GoogLeNet VGGNet ResNet Xception SENet Inne interesujące struktury Wybór właściwej struktury CNN Implementacja sieci ResNet-34 za pomocą interfejsu Keras Korzystanie z gotowych modeli w interfejsie Keras Gotowe modele w uczeniu transferowym Klasyfikowanie i lokalizowanie Wykrywanie obiektów W pełni połączone sieci splotowe Sieć YOLO Śledzenie obiektów Segmentacja semantyczna Ćwiczenia 15. Przetwarzanie sekwencji za pomocą sieci rekurencyjnych i splotowychNeurony i warstwy rekurencyjne Komórki pamięci Sekwencje wejść i wyjść Uczenie sieci rekurencyjnych Prognozowanie szeregów czasowych Rodzina modeli ARMA Przygotowywanie danych dla modeli uczenia maszynowego Prognozowanie za pomocą modelu liniowego Prognozowanie za pomocą prostej sieci rekurencyjnej Prognozowanie za pomocą głębokich sieci rekurencyjnych Prognozowanie wielowymiarowych szeregów czasowych Prognozowanie kilka taktów w przód Prognozowanie za pomocą modelu sekwencyjnego Obsługa długich sekwencji Zwalczanie problemu niestabilnych gradientów Zwalczanie problemu pamięci krótkotrwałej Ćwiczenia 16. Przetwarzanie języka naturalnego za pomocą sieci rekurencyjnych i mechanizmów uwagiGenerowanie tekstów szekspirowskich za pomocą znakowej sieci rekurencyjnej Tworzenie zestawu danych uczących Budowanie i uczenie modelu char-RNN Generowanie sztucznego tekstu szekspirowskiego Stanowe sieci rekurencyjne Analiza opinii Maskowanie Korzystanie z gotowych reprezentacji właściwościowych i modeli językowych Sieć typu koder - dekoder służąca do neuronowego tłumaczenia maszynowego Dwukierunkowe sieci rekurencyjne Przeszukiwanie wiązkowe Mechanizmy uwagi Liczy się tylko uwaga: pierwotna architektura transformatora Zatrzęsienie modeli transformatorów Transformatory wizualne Biblioteka Transformers firmy Hugging Face Ćwiczenia 17. Autokodery, generatywne sieci przeciwstawne i modele rozpraszająceEfektywne reprezentacje danych Analiza PCA za pomocą niedopełnionego autokodera liniowego Autokodery stosowe Implementacja autokodera stosowego za pomocą interfejsu Keras Wizualizowanie rekonstrukcji Wizualizowanie zestawu danych Fashion MNIST Nienadzorowane uczenie wstępne za pomocą autokoderów stosowych Wiązanie wag Uczenie autokoderów pojedynczo Autokodery splotowe Autokodery odszumiające Autokodery rzadkie Autokodery wariacyjne Generowanie obrazów Fashion MNIST Generatywne sieci przeciwstawne Problemy związane z uczeniem sieci GAN Głębokie splotowe sieci GAN Rozrost progresywny sieci GAN Sieci StyleGAN Modele rozpraszające Ćwiczenia 18. Uczenie przez wzmacnianieUczenie się optymalizowania nagród Wyszukiwanie strategii Wprowadzenie do narzędzia OpenAI Gym Sieci neuronowe jako strategie Ocenianie czynności: problem przypisania zasługi Gradienty strategii Procesy decyzyjne Markowa Uczenie metodą różnic czasowych Q-uczenie Strategie poszukiwania Przybliżający algorytm Q-uczenia i Q-uczenie głębokie Implementacja modelu Q-uczenia głębokiego Odmiany Q-uczenia głębokiego Ustalone Q-wartości docelowe Podwójna sieć DQN Odtwarzanie priorytetowych doświadczeń Walcząca sieć DQN Przegląd popularnych algorytmów RN Ćwiczenia 19. Wielkoskalowe uczenie i wdrażanie modeli TensorFlowEksploatacja modelu TensorFlow Korzystanie z systemu TensorFlow Serving Tworzenie usługi predykcyjnej na platformie Vertex AI Uwierzytelnianie i autoryzacja w serwisie GCP Wykonywanie zadań predykcji wsadowych w usłudze Vertex AI Wdrażanie modelu na urządzeniu mobilnym lub wbudowanym Przetwarzanie modelu na stronie internetowej Przyspieszanie obliczeń za pomocą procesorów graficznych Zakup własnej karty graficznej Zarządzanie pamięcią operacyjną karty graficznej Umieszczanie operacji i zmiennych na urządzeniach Przetwarzanie równoległe na wielu urządzeniach Uczenie modeli za pomocą wielu urządzeń Zrównoleglanie modelu Zrównoleglanie danych Uczenie wielkoskalowe za pomocą interfejsu strategii rozpraszania Uczenie modelu za pomocą klastra TensorFlow Realizowanie dużych grup zadań uczenia za pomocą usługi Vertex AI Strojenie hiperparametrów w usłudze Vertex AI Ćwiczenia Dziękuję! A. Lista kontrolna projektu uczenia maszynowegoB. Różniczkowanie automatyczneC. Specjalne struktury danychD. Grafy TensorFlowSkorowidz O autorze: Aurélien Géron - jest konsultantem do spraw uczenia maszynowego. Wcześniej pracował w korporacji Google, a w latach 2013 – 2016 kierował zespołem klasyfikowania filmów w firmie YouTube. Był również założycielem i dyrektorem do spraw technicznych (w latach 2002 – 2012) w firmie Wifirst — czołowym francuskim dostawcy bezprzewodowych usług internetowych; te same funkcje pełnił w 2001 roku w firmie Polyconseil — obecnie zarządza ona usługą udostępniania samochodów elektrycznych Autolib’.