Matematyka i sztuczna inteligencja. Kluczowe koncepcje zwiększania skuteczności i wydajności systemów - Nelson Hala Olsztyn

Sztuczna inteligencja i technologie oparte na danych są coraz częściej integrowane z istniejącymi systemami i operacjami. Ta tendencja dotyczy licznych branż. Dziś przy budowaniu systemów SI można korzystać z gotowych bibliotek, jeżeli jednak zależy Ci na w pełni świadomym tworzeniu doskonalszych aplikacji, musisz dobrze opanować matematykę leżącą u podstaw sztucznej inteligencji. Nawet jeśli nie darzysz królowej nauk płomiennym uczuciem, dzięki temu kompleksowemu opracowaniu z łatwością poradzisz sobie z jej lepszym poznaniem. Nie znajdziesz tu skomplikowanych teorii naukowych, tylko przystępnie podane koncepcje matematyczne niezbędne do rozwoju w dziedzinie sztucznej inteligencji, w szczególności do praktycznego stosowania najnowocześniejszych modeli. Poznasz takie zagadnienia jak regresja, sieci neuronowe, sieci konwolucyjne, optymalizacja, prawdopodobieństwo, procesy Markowa, równania różniczkowe i wiele innych w ekskluzywnym kontekście sztucznej inteligencji. Książkę docenią pasjonaci nowych technologii, twórcy aplikacji, inżynierowie i analitycy danych, a także matematycy i naukowcy. W książce: wyjaśnienie pojęć z zakresu uczenia maszynowego, inżynierii danych i matematyki ujednolicanie modeli w ramach jednej struktury matematycznej grafy i dane sieciowe eksploracja rzeczywistych danych, zmniejszanie liczby wymiarów i przetwarzanie obrazów korzystanie z modeli w różnych projektach opartych na danych implikacje i ograniczenia sztucznej inteligencji Ta książka w zachwycający sposób sprawia, że matematyka staje się zabawą dla licznych uczestników przyszłości opartej na sztucznej inteligencji! Adri Purkayastha, analityk oceny ryzyka, BNP Paribas Spis treści: Przedmowa Rozdział 1. Dlaczego warto poznać matematykę zarządzającą sztuczną inteligencją? Czym jest sztuczna inteligencja? Dlaczego sztuczna inteligencja jest dziś tak popularna? Co potrafi sztuczna inteligencja? Specyficzne zadania agenta AI Jakie są ograniczenia sztucznej inteligencji? Co się stanie, gdy systemy AI zawiodą? Dokąd zmierza sztuczna inteligencja? Kim są obecni główni twórcy w dziedzinie sztucznej inteligencji? Jakie obliczenia matematyczne są zwykle stosowane w sztucznej inteligencji? Podsumowanie i spojrzenie w przyszłość Rozdział 2. Dane, dane, dane Dane dla AI Dane rzeczywiste a dane symulowane Modele matematyczne - liniowe kontra nieliniowe Przykład danych rzeczywistych Przykład danych symulowanych Modele matematyczne - symulacje i sztuczna inteligencja Skąd pochodzą dane? Słownictwo związane z rozkładem danych, prawdopodobieństwem i statystyką Zmienne losowe Rozkłady prawdopodobieństwa Prawdopodobieństwa krańcowe Rozkład równomierny i normalny Prawdopodobieństwa warunkowe i twierdzenie Bayesa Prawdopodobieństwa warunkowe i rozkłady łączne Rozkład aprioryczny, rozkład a posteriori i funkcja wiarygodności Kombinacje rozkładów Sumy i iloczyny zmiennych losowych Wykorzystanie grafów do przedstawienia łącznych rozkładów prawdopodobieństwa Wartość oczekiwana, średnia, wariancja i niepewność Kowariancja i korelacja Procesy Markowa Normalizacja, skalowanie i (lub) standaryzacja zmiennej losowej lub zbioru danych Typowe przykłady Rozkłady ciągłe a rozkłady dyskretne (gęstość kontra masa) Potęga funkcji gęstości prawdopodobieństwa łącznego Równomierny rozkład danych Rozkład normalny (Gaussa) w kształcie dzwonu Rozkłady danych - inne ważne i powszechnie używane rozkłady Różne zastosowania słowa "rozkład" Testy A/B Podsumowanie i spojrzenie w przyszłość Rozdział 3. Dopasowywanie funkcji do danych Tradycyjne i bardzo przydatne modele uczenia maszynowego Rozwiązania numeryczne a rozwiązania analityczne Regresja - przewidywanie wartości liczbowej Funkcja szkoleniowa Funkcja straty Optymalizacja Regresja logistyczna - klasyfikacja do dwóch klas Funkcja szkoleniowa Funkcja straty Optymalizacja Regresja softmax - przyporządkowanie do wielu klas Funkcja szkoleniowa Funkcja straty Optymalizacja Wykorzystanie omówionych modeli do ostatniej warstwy sieci neuronowej Inne popularne techniki i zestawy technik uczenia maszynowego Maszyny wektorów nośnych Drzewa decyzyjne Lasy losowe Klasteryzacja k-średnich Miary wydajności dla modeli klasyfikacji Podsumowanie i perspektywy na przyszłość Rozdział 4. Optymalizacja w sieciach neuronowych Kora mózgowa a sztuczne sieci neuronowe Funkcja szkoleniowa - w pełni połączone (gęste) sieci neuronowe z przekazem w przód Sieć neuronowa jest reprezentacją grafu obliczeniowego funkcji szkoleniowej Łączenie liniowe, dodawanie przesunięcia i aktywacja Popularne funkcje aktywacji Uniwersalna aproksymacja funkcji Teoria aproksymacji dla uczenia głębokiego Funkcje straty Optymalizacja Matematyka sieci neuronowych i ich tajemniczy sukces Zstępowanie gradientowe ?i+1=?i-??L?i Rola hiperparametru szybkości uczenia Wykresy wypukłe i niewypukłe Stochastyczne zstępowanie gradientowe Inicjalizacja wag ?0 dla procesu optymalizacji Techniki regularyzacji Dropout Wczesne zatrzymanie Normalizacja wsadowa każdej warstwy Kontrola rozmiaru wag poprzez penalizowanie ich normy Penalizacja normy l2 a penalizacja normy l1 Wyjaśnienie roli hiperparametru regularyzacji ? Przykłady hiperparametrów występujących w uczeniu maszynowym Reguła łańcuchowa i propagacja wstecz: Obliczanie ?L?i Propagacja wsteczna nie różni się zbytnio od sposobu, w jaki uczy się ludzki mózg Dlaczego propagacja wstecz daje lepsze efekty? Propagacja wsteczna w szczegółach Ocena znaczenia cech danych wejściowych Podsumowanie i perspektywy na przyszłość Rozdział 5. Konwolucyjne sieci neuronowe i komputerowe przetwarzanie obrazów Splot i korelacja krzyżowa Niezmienność translacji i równoważność translacji Splot w zwykłej przestrzeni jest iloczynem w przestrzeni częstotliwości Splot z perspektywy projektowania systemów Splot i odpowiedź impulsowa w systemach liniowych i niezmiennych względem translacji Operacja splotu a jednowymiarowe sygnały dyskretne Operacja splotu a dwuwymiarowe sygnały dyskretne Filtrowanie obrazów Mapy cech Notacja algebry liniowej Przypadek jednowymiarowy - mnożenie przez macierz Toeplitza Przypadek dwuwymiarowy - mnożenie przez podwójną blokową macierz cykliczną Pooling Konwolucyjna sieć neuronowa do klasyfikacji obrazów Podsumowanie i perspektywy na przyszłość Rozdział 6. Rozkład według wartości osobliwych - przetwarzanie obrazów, przetwarzanie języka naturalnego i media społecznościowe Faktoryzacja macierzy Macierze diagonalne Macierze jako przekształcenia liniowe działające na przestrzeń Działanie macierzy A na prawe wektory osobliwe Działanie macierzy A na standardowe wektory jednostkowe i wyznaczony przez nie kwadrat jednostkowy Działanie macierzy A na jednostkowym okręgu Transformacja okręgu w elipsę zgodnie z rozkładem według wartości osobliwych Macierze obrotu i odbić Działanie macierzy A na ogólny wektor x Trzy sposoby mnożenia macierzy Ogólny zarys Współczynnik uwarunkowania i stabilność obliczeniowa Elementy rozkładu wartości osobliwych Rozkład według wartości osobliwych a rozkład według wartości własnych Obliczanie rozkładu według wartości osobliwych Numeryczne obliczanie wektora własnego Pseudoinwersja Zastosowanie rozkładu według wartości osobliwych w przetwarzaniu obrazów Analiza składowych głównych a redukcja wymiarów Analiza składowych głównych a grupowanie Aplikacje społecznościowe Utajona analiza semantyczna Losowy rozkład według wartości osobliwych Podsumowanie i perspektywy na przyszłość Rozdział 7. AI w przetwarzaniu języka naturalnego i finansach - wektoryzacjai szeregi czasowe Modele AI w przetwarzaniu języka naturalnego Przygotowanie danych języka naturalnego do maszynowego przetwarzania Modele statystyczne i funkcja logarytmiczna Prawo Zipfa o liczności terminów Różne reprezentacje wektorowe dla dokumentów języka naturalnego Reprezentacja wektorowa częstości terminów w dokumencie lub "worku słów" Reprezentacja wektorowa dokumentu TF-IDF Tematyczna reprezentacja wektorowa dokumentu określona przez utajoną analizę semantyczną Reprezentacja wektora tematycznego dokumentu określona przez utajoną alokację Dirichleta Reprezentacja wektora tematycznego dokumentu określona przez utajoną analizę dyskryminacyjną Reprezentacje wektorów znaczeń słów i dokumentów określone przez osadzone sieci neuronowe Podobieństwo kosinusowe Zastosowania mechanizmów przetwarzania języka naturalnego Analiza tonu Filtry spamu Wyszukiwanie i odzyskiwanie informacji Tłumaczenie maszynowe Podpisy do obrazów Chatboty Inne zastosowania Transformery i modele uwagi Architektura transformera Mechanizm uwagi Transformerom daleko do doskonałości Konwolucyjne sieci neuronowe dla danych w postaci szeregów czasowych Rekurencyjne sieci neuronowe dla danych szeregów czasowych Jak działają rekurencyjne sieci neuronowe? Bramkowane jednostki rekurencyjne i jednostki LSTM Przykład danych języka naturalnego Sztuczna inteligencja w dziedzinie finansów Podsumowanie i perspektywy na przyszłość Rozdział 8. Probabilistyczne modele generatywne Do czego przydają się modele generatywne? Typowe reguły matematyczne modeli generatywnych Przejście z myślenia deterministycznego na myślenie probabilistyczne Oszacowanie metodą największej wiarygodności Jawne i niejawne modele gęstości Jawny model gęstości - wykonalny: w pełni sieci przekonań Przykład: generowanie obrazów za pomocą modelu PixelCNN i maszynowego dźwięku za pomocą modelu WaveNet Jawny model gęstości - wykonalny: zmiana zmiennych w nieliniowej analizie składowych niezależnych Jawny model gęstości - niepraktyczny: aproksymacja autoenkoderów wariacyjnych za pomocą metod wariacyjnych Jawny model gęstości - niepraktyczny: aproksymacja maszyny Boltzmanna za pomocą łańcucha Markowa Niejawny łańcuch gęstości Markowa - generatywna sieć stochastyczna Niejawna gęstość prawdopodobieństwa - generatywne sieci kontradyktoryjne Jak działają generatywne sieci kontradyktoryjne? Przykład: uczenie maszynowe i sieci generatywne w fizyce wysokich energii Inne modele generatywne Naiwny klasyfikator Bayesa Mieszany model Gaussa Ewolucja modeli generatywnych Sieci Hopfielda Maszyna Boltzmanna Ograniczona maszyna Boltzmanna Oryginalny autoenkoder Probabilistyczne modelowanie języka Podsumowanie i perspektywy na przyszłość Rozdział 9. Modele grafów Grafy - węzły, krawędzie i ich cechy Przykład: algorytm PageRank Odwracanie macierzy za pomocą grafów Grafy grup Cayleya - czysta algebra i obliczenia równoległe Przekazywanie komunikatów w obrębie grafu Nieograniczone zastosowania grafów Sieci ludzkiego mózgu Rozprzestrzenianie się choroby Rozprzestrzenianie się informacji Mechanizmy detekcji i śledzenia rozpowszechniania fałszywych wiadomości Systemy rekomendacji w skali internetu Walka z rakiem Grafy biochemiczne Generowanie grafów molekularnych na potrzeby odkrywania struktur leków i białek Sieci cytowań Sieci mediów społecznościowych i prognozowanie wpływu społecznego Struktury socjologiczne Sieci bayesowskie Prognozowanie ruchu Logistyka i badania operacyjne Modele językowe Struktura grafu internetowego Automatyczna analiza programów komputerowych Struktury danych w informatyce Równoważenie obciążenia w sieciach rozproszonych Sztuczne sieci neuronowe Losowe spacery po grafach Uczenie reprezentacji węzłów Zadania dla grafowych sieci neuronowych Klasyfikacja węzłów Klasyfikacja grafów Klasteryzacja i wykrywanie społeczności Generowanie grafów Maksymalizacja oddziaływania Prognozowanie połączeń Dynamiczne modele grafowe Sieci bayesowskie Sieć bayesowska jako reprezentacja zagęszczonej tabeli prawdopodobieństwa warunkowego Tworzenie prognoz za pomocą sieci bayesowskiej Sieci bayesowskie to sieci przekonań, a nie sieci przyczynowe Ważne informacje o sieciach bayesowskich Łańcuchy, rozwidlenia i kolidery Jak skonfigurować sieć bayesowską zmiennych dla znanego zestawu danych? Grafy wykorzystywane na potrzeby probabilistycznego modelowania przyczynowego Krótka historia teorii grafów Główne pojęcia w teorii grafów Drzewa rozpinające i najkrótsze drzewa rozpinające Zbiory przekrojów i wierzchołki przekrojów Planarność Grafy jako przestrzenie wektorowe Realizowalność Kolorowanie i dopasowywanie Wyliczanie Algorytmy i obliczeniowe aspekty grafów Podsumowanie i perspektywy na przyszłość Rozdział 10. Badania operacyjne Nie ma darmowych obiadów Analiza złożoności i notacja O() Optymalizacja - sedno badań operacyjnych Myślenie o optymalizacji Optymalizacja - skończone wymiary, bez ograniczeń Optymalizacja - wymiary skończone, ograniczone mnożniki Lagrange'a Optymalizacja - nieskończone wymiary, rachunek wariacyjny Optymalizacja w sieciach Problem komiwojażera Minimalne drzewo rozpinające Najkrótsza ścieżka Maksymalny przepływ, minimalny przekrój Maksymalny przepływ, minimalny koszt Metoda ścieżki krytycznej w projektowaniu Problem n-królowych Optymalizacja liniowa Format ogólny i format standardowy Wizualizacja problemu optymalizacji liniowej w dwóch wymiarach Konwersja funkcji wypukłej na liniową Geometria optymalizacji liniowej Metoda simpleks Problem transportowy i problemy przydziału Dualizm, relaksacja Lagrange'a, ceny cienie, Max-Min, Min-Max i tak dalej Czułość Teoria gier i multiagenty Kolejkowanie Zapasy Uczenie maszynowe w badaniach operacyjnych Równanie Hamiltona-Jacobiego-Bellmana Badania operacyjne na potrzeby sztucznej inteligencji Podsumowanie i perspektywy na przyszłość Rozdział 11. Prawdopodobieństwo Gdzie w tej książce pojawiło się prawdopodobieństwo? Jakie dodatkowe tematy są niezbędne dla sztucznej inteligencji? Modelowanie przyczynowe i rachunek do Alternatywa: rachunek do Paradoksy i interpretacje diagramów Problem Monty'ego Halla Paradoks Berksona Paradoks Simpsona Duże macierze losowe Przykłady losowych wektorów i macierzy Główne rozważania dotyczące teorii macierzy losowych Zespołowe macierze losowe Gęstość wartości własnych sumy dwóch dużych macierzy losowych Niezbędne narzędzia matematyki dla dużych macierzy losowych Procesy stochastyczne Proces Bernoulliego Proces Poissona Losowy spacer Proces Wienera, czyli ruchy Browna Martyngały Proces Levy'ego Proces rozgałęziający Łańcuch Markowa Lemat Itô Procesy decyzyjne Markowa a uczenie przez wzmacnianie Przykłady uczenia przez wzmacnianie Uczenie przez wzmacnianie jako proces decyzyjny Markowa Uczenie przez wzmacnianie w kontekście sterowania optymalnego i dynamiki nieliniowej Biblioteka Pythona do obsługi uczenia przez wzmacnianie Rygorystyczne podstawy teoretyczne Które zdarzenia mają prawdopodobieństwo? Czy można mówić o szerszym zakresie zmiennych losowych? Trójka prawdopodobieństwa (przestrzeń próbek, algebra sigma, miara prawdopodobieństwa) Gdzie leży trudność? Zmienna losowa, oczekiwanie i całkowanie Rozkład zmiennej losowej i twierdzenie o zmianie zmiennej Kolejne kroki w rygorystycznej teorii prawdopodobieństwa Twierdzenie o uniwersalności dla sieci neuronowych Podsumowanie i perspektywy na przyszłość Rozdział 12. Logika matematyczna Różne frameworki logiki Logika zdaniowa Od kilku aksjomatów do kompletnej teorii Kodyfikacja logiki w agencie Uczenie maszynowe deterministyczne kontra probabilistyczne Logika pierwszego rzędu Relacje pomiędzy kwantyfikatorami "dla wszystkich" i "istnieje" Logika probabilistyczna Logika rozmyta Logika temporalna Porównanie z ludzkim językiem naturalnym Maszyny i złożone wnioskowanie matematyczne Podsumowanie i perspektywy na przyszłość Rozdział 13. Sztuczna inteligencja i cząstkowe równania różniczkowe Co to jest cząstkowe równanie różniczkowe? Modelowanie z wykorzystaniem równań różniczkowych Modele w różnych skalach Parametry równań PDE Zmiana jednej rzeczy w PDE może mieć wielkie znaczenie Czy można wykorzystać sztuczną inteligencję? Rozwiązania numeryczne są bardzo cenne Funkcje ciągłe a funkcje dyskretne Motywy PDE z mojej pracy doktorskiej Dyskretyzacja i przekleństwo wymiarowości Różnice skończone Elementy skończone Metody wariacyjne, czyli energetyczne Metody Monte Carlo Wybrane zagadnienia mechaniki statystycznej - cudowne równanie główne Rozwiązania jako oczekiwania badanych procesów losowych Przekształcanie równań PDE Transformata Fouriera Transformata Laplace'a Operatory rozwiązań Przykład użycia równania ciepła Przykład użycia równania Poissona Iteracja oparta na punkcie stałym Sztuczna inteligencja dla PDE Uczenie głębokie w celu rozpoznania wartości fizycznych parametrów Uczenie głębokie do nauki siatek Uczenie głębokie w celu uzyskania przybliżeń operatorów rozwiązań PDE Rozwiązania numeryczne wielkowymiarowych równań różniczkowych Symulowanie zjawisk naturalnych bezpośrednio na podstawie danych Równanie PDE Hamiltona-Jacobiego-Bellmana w programowaniu dynamicznym Równania PDE na potrzeby AI? Inne rozważania dotyczące cząstkowych równań różniczkowych Podsumowanie i perspektywy na przyszłość Rozdział 14. Sztuczna inteligencja, etyka, matematyka, prawo i przepisy Dobra sztuczna inteligencja Przepisy mają znaczenie Co może pójść źle? Od matematyki do broni Chemiczne środki bojowe Sztuczna inteligencja a polityka Niezamierzone wyniki działania modeli generatywnych Jak to naprawić? Rozwiązanie problemu niedostatecznej reprezentacji danych szkoleniowych Rozwiązanie problemu stronniczości w wektorach słów Prywatność Uczciwość Wstrzykiwanie moralności do systemów sztucznej inteligencji Demokratyzacja i dostępność systemów sztucznej inteligencji dla nieprofesjonalistów Priorytetyzacja danych wysokiej jakości Odróżnianie stronniczości od dyskryminacji Szum medialny Końcowe przemyślenia Skorowidz O autorze: Dr Hala Nelson wykłada matematykę na James Madison University. Specjalizuje się w modelowaniu matematycznym i konsultacjach dla sektora publicznego, w szczególności służb ratunkowych. Dorastała w Libanie podczas brutalnej wojny domowej, to ukształtowało jej zainteresowanie ludzkim zachowaniem, naturą inteligencji i sztuczną inteligencją.