Zrozumieć głębokie uczenie (MOBI) Dobczyce

Książka Zrozumieć głębokie uczenie pokazuje, jak od zera budować sieci neuronowe głębokiego uczenia. Andrew Trask - doświadczony ekspert w tej dziedzinie, w swobodnym i przejrzystym stylu prezentuje leżącą w tle naukę, dzięki czemu możesz samodzielnie zrozumieć każdy szczegół nauczania sieci neuronowych. Jedynie przy użyciu Pythona i jego biblioteki matematycznej NumPy będziesz mógł uczyć swoje własne sieci neuronowe, aby samodzielnie zobaczyć i zrozumieć jak działa rozpoznawanie obrazów, tłumaczenie tekstów na różne języki, a nawet w jaki sposób pisać jak Szekspir! Po ukończeniu lektury będziesz gotów do poznawania platform głębokiego uczenia. Zawartość książki: Wiedza, na której opiera się głębokie uczenie Budowanie i uczenie swoich własnych sieci neuronowych Koncepcje ochrony prywatności, w tym uczenie sfederowane Wskazówki na temat dalszego studiowania głębokiego uczenia Książka przeznaczona jest dla czytelników dysponujących wiedzą matematyczną na poziomie szkoły średniej i średnimi umiejętnościami programistycznymi. Spis treści: Okładka Strona tytułowa Strona redakcyjna Przedmowa Podziękowania O tej książce O autorze 1. Wprowadzenie do głębokiego uczenia: dlaczego warto się tego nauczyć W tym rozdziale Zapraszamy do grokowania głębokiego uczenia Dlaczego warto opanować głębokie uczenie się Czy trudno będzie się tego nauczyć? Dlaczego powinieneś przeczytać tę książkę Co jest potrzebne, aby zacząć Zapewne potrzebna jest jakaś znajomość Pythona Podsumowanie 2. Podstawowe koncepcje: jak maszyny się uczą? W tym rozdziale Czym jest głębokie uczenie? Czym jest uczenie się maszyn? Nadzorowane uczenie się maszyn Nienadzorowane uczenie się maszyn Uczenie parametryczne kontra nieparametryczne Nadzorowane uczenie parametryczne Parametryczne uczenie nienadzorowane Uczenie nieparametryczne Podsumowanie 3. Wprowadzenie do prognozowania neuronowego: propagacja w przód W tym rozdziale Krok 1: Prognoza Wykonywanie prognozy przez prostą sieć neuronową Czym jest sieć neuronowa? Co robi ta sieć neuronowa? Wykonywanie prognozy dla wielu danych wejściowych Wiele danych wejściowych: Co robi ta sieć neuronowa? Wykonywanie prognozy z wieloma danymi wyjściowymi Prognozowanie z wieloma danymi wejściowymi i wyjściowymi Wiele wejść i wyjść: jak to działa? Prognozowanie na podstawie prognoz Elementarz NumPy Podsumowanie 4. Wprowadzenie do prognozowania neuronowego: metoda gradientowa W tym rozdziale Przewidywanie, porównywanie i nauka Porównywanie Nauka Po co mierzyć błędy? Jaka jest najprostsza forma uczenia się sieci neuronowej? Nauka metodą ciepło-zimno Charakterystyka uczenia metodą ciepło-zimno Obliczanie jednocześnie kierunku i wielkości na podstawie błędu Jedna iteracja metody gradientowej Uczenie się jest po prostu redukowaniem błędu Przyjrzyjmy się kilku krokom uczenia się Dlaczego to działa? Czym naprawdę jest weight_delta? Skupmy całą uwagę na jednej idei Pudełko z wystającymi drążkami Pochodne: Podejście drugie Co naprawdę trzeba wiedzieć Czego nie musimy naprawdę wiedzieć Jak użyć pochodnych do uczenia się Psucie metody gradientowej Wizualizacja nadmiernych korekt Rozbieżność Wprowadzenie parametru alpha Alpha w kodzie źródłowym Zapamiętywanie 5. Uczenie się dla wielu wag jednocześnie: uogólnienie metody gradientowej W tym rozdziale Uczenie się metodą gradientową przy wielu danych wejściowych Prosty gradient z wieloma danymi wejściowymi objaśnienie Przyjrzyjmy się kilku krokom uczenia się Zamrożenie jednej wagi: co to daje? Uczenie się metodą gradientową z wieloma wyjściami Metoda gradientowa z wieloma wejściami i wyjściami Czego uczą się te wagi? Wizualizacja wartości wag Wizualizowanie iloczynów skalarnych (sum ważonych) Podsumowanie 6. Budowanie pierwszej głębokiej sieci neuronowej: wprowadzenie do propagacji wstecznej W tym rozdziale Problem świateł ulicznych Przygotowywanie danych Macierze i relacje macierzowe Tworzenie macierzy w Pythonie Budowanie sieci neuronowej Uczenie się całego zbioru danych Pełna, wsadowa i stochastyczna metoda gradientowa Sieci neuronowe uczą się korelacji Presja w górę i w dół Przypadek brzegowy: przeuczenie (overfitting) Przypadek brzegowy: sprzeczne presje Uczenie się pośredniej korelacji Tworzenie korelacji Układanie sieci neuronowych w stos: przegląd Propagacja wsteczna: długodystansowy wkład błędu Propagacja wsteczna: dlaczego to działa? Liniowe czy nieliniowe Dlaczego sieć neuronowa nadal nie działa Tajemnica korelacji warunkowej Krótka przerwa Nasza pierwsza głęboka sieć neuronowa Propagacja wsteczna w kodzie Jedna iteracja propagacji wstecznej Zebranie wszystkiego razem Dlaczego głębokie sieci są ważne? 7. Jak obrazować sieci neuronowe: w myślach i na papierze W tym rozdziale Czas na uproszczenie Korelacja zbiorcza Wcześniejsza, zbyt złożona wizualizacja Uproszczona wizualizacja Jeszcze większe upraszczanie Zobaczmy, jak prognozuje ta sieć Wizualizacja przy użyciu liter zamiast obrazów Łączenie zmiennych Wszystko obok siebie Ważność narzędzi wizualizacji 8. Uczenie się sygnałów i ignorowanie szumu: wprowadzenie do regularyzacji i przetwarzania wsadowego W tym rozdziale Trójwarstwowa sieć dla danych MNIST No dobrze, to było łatwe Zapamiętywanie a uogólnianie Przeuczenie w sieciach neuronowych Skąd bierze się przeuczenie Najprostsza regularyzacja: wczesne zatrzymanie Branżowy standard regularyzacji: wykluczanie (dropout) Dlaczego wykluczanie działa: działanie zespołowe Wykluczanie w kodzie Przetwarzanie z wykluczeniem dla danych MNIST Miniwsadowa metoda gradientowa Podsumowanie 9. Modelowanie prawdopodobieństwa i nieliniowość: funkcje aktywacji W tym rozdziale Czym jest funkcja aktywacji? Standardowe funkcje aktywacji dla ukrytych warstw Standardowe funkcje aktywacji dla warstwy wyjściowej Kluczowy problem: Dane wejściowe zawierają podobieństwa Obliczanie funkcji softmax Stosowanie funkcji aktywacji Mnożenie delta przez nachylenie Przełożenie wielkości wyjścia na nachylenie (pochodną) Aktualizowanie sieci MNIST 10. Neuronowe uczenie się krawędzi i narożników: wprowadzenie do konwolucyjnych sieci neuronowych W tym rozdziale Wielokrotne wykorzystanie tych samych wag w wielu miejscach Warstwa konwolucyjna Prosta implementacja w NumPy Podsumowanie 11. Sieci neuronowe rozumiejące język: kingman+woman ==? W tym rozdziale Czym jest rozumienie języka? Przetwarzanie języka naturalnego (NLP) Nadzorowane NLP Zbiór danych recenzji filmowych z IMDB Przechwytywanie korelacji słów w danych wejściowych Prognozowanie recenzji filmów Wprowadzenie do warstw osadzających Interpretowanie wyjścia Architektura sieci neuronowej Porównywanie osadzeń słów Czym jest znaczenie neuronu? Wypełnianie pustych miejsc Znaczenie wynika ze straty King Man + Woman ~= Queen Analogie słów Podsumowanie 12. Sieci neuronowe piszące jak Szekspir: warstwy rekurencyjne dla danych o zmiennej długości W tym rozdziale Wyzwanie: dane o dowolnej długości Czy porównywanie naprawdę ma znaczenie? Zaskakująca siła uśrednionych wektorów słów Jak informacja jest przechowywana w tych osadzeniach? Jak sieć neuronowa wykorzystuje osadzenia? Ograniczenia wektorów worka słów Wykorzystanie macierzy jednostkowych do sumowania osadzeń słów Macierze, które niczego nie zmieniają Uczenie się macierzy przejść Uczenie się w celu tworzenia użytecznych wektorów zdań Propagacja w przód w Pythonie Jak zastosować do tego propagację wsteczną? Nauczmy tę sieć! Przygotowania Propagacja w przód przy danych dowolnej długości Propagacja wsteczna dla danych o dowolnej długości Aktualizowanie wag przy danych dowolnej długości Uruchomienie i analiza wyjścia Podsumowanie 13. Przedstawiamy automatyczną optymalizację: budujemy platformę głębokiego uczenia W tym rozdziale Czym jest platforma głębokiego uczenia? Wprowadzenie do tensorów Wprowadzenie do automatycznego obliczania gradientu (autograd) Małe podsumowanie Tensory używane wielokrotnie Ulepszenie funkcji autograd w celu obsługi wielokrotnie używanych tensorów Jak działa wsteczna propagacja dodawania? Dodawanie obsługi zmiany znaku Dodawanie obsługi dodatkowych funkcji Wykorzystanie autograd do uczenia sieci neuronowej Dodanie automatycznej optymalizacji Dodanie wsparcia dla różnych typów warstw Warstwy zawierające warstwy Warstwy funkcji straty Jak uczyć platformę Warstwy nieliniowości Warstwa osadzająca Dodawanie indeksowania do mechanizmu autograd Warstwa osadzająca powraca Warstwa entropii krzyżowej Warstwa rekurencyjna Podsumowanie 14. Uczenie się pisania jak Szekspir: długa pamięć krótkotrwała (LSTM) W tym rozdziale Modelowanie znaków języka Potrzeba obcięcia propagacji wstecznej Obcięta propagacja wsteczna Próbka wyjścia Zanikające i eksplodujące gradienty Mały przykład propagacji wstecznej w RNN Komórki LSTM Intuicyjne rozumienie bramek LSTM Warstwa LSTM Ulepszanie modelu znaków języka Uczenie LSTM modelu znaków języka Dostrajanie modelu LSTM znaków języka Podsumowanie 15. Głębokie uczenie się na niewidzianych danych: wprowadzenie do uczenia sfederowanego W tym rozdziale Problem prywatności w głębokim uczeniu się Sfederowane uczenie się Uczenie się wykrywania spamu Stwórzmy federację Włamywanie się do sfederowanego uczenia się Bezpieczne agregowanie Szyfrowanie homomorficzne Homomorficznie szyfrowane sfederowane uczenie się Podsumowanie 16. Co dalej: krótki przewodnik W tym rozdziale Gratulacje! Krok 1: Początek nauki PyTorch Krok 2: Udział w innych kursach głębokiego uczenia się Krok 3: Matematyczne podręczniki głębokiego uczenia się Krok 4: Utworzenie bloga i nauczanie głębokiego uczenia się Krok 5: Twitter Krok 6: Stosowanie wiedzy z artykułów naukowych Krok 7: Zdobądź dostęp do GPU Krok 8: Zarabianie przy zdobywaniu praktyki Krok 9: Dołączenie do projektu open source Krok 10: Rozwijanie lokalnej społeczności Przypisy