Matematyka w deep learningu. Co musisz wiedzieć... Siewierz

Uczenie maszynowe niesie ze sobą obietnicę niezwykłych wynalazków: od samochodów autonomicznych po systemy medyczne diagnozujące choroby lepiej niż doświadczeni lekarze, ale także daje pole do rozwijania dziesiątków innych mniej lub bardziej niepokojących innowacji. Dziś do budowania systemów uczenia maszynowego można posłużyć się wygodnymi frameworkami, jednak rzeczywiste zrozumienie uczenia głębokiego wymaga znajomości kilku koncepcji matematycznych. Koncepcje te zostały przystępnie wyjaśnione właśnie w tej książce. W szczególności zapoznasz się z praktycznymi aspektami probabilistyki, statystyki, algebry liniowej i rachunku różniczkowego. Prezentacji tych zagadnień towarzyszą fragmenty kodu w Pythonie i praktyczne przykłady zastosowań w uczeniu głębokim. Rozpoczniesz od zapoznania się z podstawami, takimi jak twierdzenie Bayesa, a następnie przejdziesz do bardziej zaawansowanych zagadnień, w tym uczenia sieci neuronowych przy użyciu wektorów, macierzy i pochodnych. Dwa ostatnie rozdziały dadzą Ci szansę użycia nowej wiedzy do zaimplementowania propagacji wstecznej i metody gradientu prostego - dwóch podstawowych algorytmów napędzających rozwój sztucznej inteligencji. W książce między innymi: zastosowanie statystyki do zrozumienia danych i oceny modeli prawidłowe korzystanie z reguł prawdopodobieństwa użycie wektorów i macierzy do przesyłania danych w sieciach neuronowych algebra liniowa w analizie głównych składowych i rozkładu według wartości osobliwych gradientowe metody optymalizacji, takie jak RMSprop, Adagrad i Adadelta Chcesz zrozumieć sieci neuronowe? Odpowiedzi szukaj w matematyce! Spis treści: Przedmowa Wprowadzenie 1. Przygotowanie środowiska pracy Instalowanie zestawu narzędzi Linuks macOS Windows NumPy Definiowanie tablic Typy danych Tablice dwuwymiarowe np.zeros i np.ones Zaawansowane indeksowanie Odczyt i zapis na dysku SciPy Matplotlib Scikit-learn Podsumowanie 2. Prawdopodobieństwo Podstawowe koncepcje Przestrzeń próbek i zdarzenia Zmienne losowe Ludzie nie radzą sobie z prawdopodobieństwem Reguły prawdopodobieństwa Prawdopodobieństwo zdarzenia Reguła dodawania Reguła mnożenia Ponowne spojrzenie na regułę dodawania Paradoks dnia urodzin Prawdopodobieństwo warunkowe Prawdopodobieństwo całkowite Prawdopodobieństwo łączne i brzegowe Tabele prawdopodobieństwa łącznego Reguła łańcuchowa dla prawdopodobieństwa Podsumowanie 3. Więcej prawdopodobieństwa Rozkłady prawdopodobieństwa Histogramy i prawdopodobieństwa Dyskretne rozkłady prawdopodobieństwa Ciągłe rozkłady prawdopodobieństwa Centralne twierdzenie graniczne Prawo wielkich liczb Twierdzenie Bayesa Rak czy nie rak Aktualizacja prawdopodobieństwa a priori Twierdzenie Bayesa w uczeniu maszynowym Podsumowanie 4. Statystyka Rodzaje danych Dane nominalne Dane porządkowe Dane interwałowe Dane ilorazowe Wykorzystanie danych nominalnych w uczeniu głębokim Statystyki podsumowujące Średnie i mediana Miary zmienności Kwantyle i wykresy pudełkowe Braki w danych Korelacja Współczynnik korelacji Pearsona Korelacja Spearmana Testowanie hipotez Hipotezy Test t Test U Manna-Whitneya Podsumowanie 5. Algebra liniowa Skalary, wektory, macierze i tensory Skalary Wektory Macierze Tensory Arytmetyka tensorów Operacje tablicowe Operacje wektorowe Mnożenie macierzy Iloczyn Kroneckera Podsumowanie 6. Więcej algebry liniowej Macierze kwadratowe Dlaczego macierze kwadratowe? Transpozycja, ślad i potęgowanie Specjalne macierze kwadratowe Macierz jednostkowa Wyznaczniki Odwrotności Macierze symetryczne, ortogonalne i unitarne Określoność macierzy symetrycznych Wektory i wartości własne Znajdowanie wartości i wektorów własnych Normy wektorowe i miary odległości L-normy oraz miary odległości Macierze kowariancji Odległość Mahalanobisa Dywergencja Kullbacka-Leiblera Analiza głównych składowych Rozkład według wartości osobliwych i pseudoodwrotności SVD w akcji Dwa zastosowania Podsumowanie 7. Rachunek różniczkowy Nachylenie Pochodne Definicja formalna Podstawowe zasady Funkcje trygonometryczne Funkcje wykładnicze i logarytmy Minima i maksima funkcji Pochodne cząstkowe Mieszane pochodne cząstkowe Reguła łańcuchowa dla pochodnych cząstkowych Gradienty Obliczanie gradientu Wizualizacja gradientu Podsumowanie 8. Macierzowy rachunek różniczkowy Formuły Funkcja wektorowa z argumentem skalarnym Funkcja skalarna z argumentem wektorowym Funkcja wektorowa przyjmująca wektor Funkcja macierzowa przyjmująca skalar Funkcja skalarna przyjmująca macierz Tożsamości Funkcja skalarna z argumentem wektorowym Funkcja wektorowa z argumentem skalarnym Funkcja wektorowa przyjmująca wektor Funkcja skalarna przyjmująca macierz Macierze Jacobiego i hesjany Macierze Jacobiego Hesjany Wybrane przykłady z macierzowego rachunku różniczkowego Pochodna operacji na elementach Pochodna funkcji aktywacji Podsumowanie 9. Przepływ danych w sieciach neuronowych Reprezentacja danych Tradycyjne sieci neuronowe Głębokie sieci konwolucyjne Przepływ danych w tradycyjnych sieciach neuronowych Przepływ danych w konwolucyjnych sieciach neuronowych Konwolucja Warstwy konwolucyjne Warstwy łączące Warstwy w pełni połączone Przepływ danych w konwolucyjnej sieci neuronowej Podsumowanie 10. Propagacja wsteczna Czym jest propagacja wsteczna? Ręczne przeprowadzanie propagacji wstecznej Pochodne cząstkowe Zamiana formuł na kod w Pythonie Uczenie i testowanie modelu Propagacja wsteczna w sieciach w pełni połączonych Wsteczna propagacja błędu Obliczanie pochodnych cząstkowych wag i wyrazów wolnych Implementacja w Pythonie Korzystanie z implementacji Grafy obliczeniowe Podsumowanie 11. Metoda gradientu prostego Podstawowa idea Jednowymiarowa metoda gradientu prostego Metoda gradientu prostego w dwóch wymiarach Stochastyczna metoda gradientu prostego Pęd Czym jest pęd? Pęd w jednym wymiarze Pęd w dwóch wymiarach Uczenie modeli za pomocą metod z pędem Pęd Niestierowa Adaptacyjna metoda gradientu prostego RMSprop Adagrad i Adadelta Adam Kilka uwag na temat metod optymalizacji Podsumowanie Epilog Dodatek. Co dalej? Skorowidz O autorze: Dr Ron Kneusel zawodowo zajmuje się uczeniem maszynowym od 2003 roku. W 2016 roku obronił doktorat z tej dziedziny na Uniwersytecie Kolorado w Boulder. Jest autorem kilku książek, w tym Deep learning. Praktyczne wprowadzenie z zastosowaniem środowiska Pythona (Helion, 2022).