Uczenie maszynowe w Pythonie dla każdego Rzeszów

Sztuczna inteligencja i uczenie maszynowe rozwijają się z niezwykłą dynamiką i znajdują coraz więcej różnorodnych zastosowań w niemal wszystkich branżach. Ten spektakularny postęp jest silnie związany z osiągnięciami w świecie sprzętu i oprogramowania. Obecnie do uczenia maszynowego używa się wielu języków programowania, takich jak R, C, C++, Fortran i Go, jednak najpopularniejszym wyborem okazał się Python wraz z jego specjalistycznymi bibliotekami. Znajomość tych bibliotek i narzędzi umożliwia tworzenie systemów uczących się nawet tym osobom, które nie dysponują głęboką wiedzą z dziedziny matematyki. Ta książka jest przeznaczona dla każdego, kto choć trochę zna Pythona i chce nauczyć się uczenia maszynowego. Zagadnienia matematyczne zostały tu zaprezentowane w minimalnym stopniu, za to więcej uwagi poświęcono koncepcjom, na których oparto najważniejsze i najczęściej używane narzędzia oraz techniki uczenia maszynowego. Następnie pokazano praktyczne zasady implementacji uczenia maszynowego z wykorzystaniem najdoskonalszych bibliotek i narzędzi Pythona. Opisano używane dziś komponenty systemów uczących się, w tym techniki klasyfikacji i regresji, a także inżynierię cech, która pozwala przekształcać dane na użyteczną postać. Przeanalizowano liczne algorytmy i najczęściej stosowane techniki uczenia maszynowego. Pokrótce przedstawiono modele grafowe i sieci neuronowe, w tym sieci głębokie, jak również połączenie tych technik z bardziej zaawansowanymi metodami, przydatnymi choćby w pracy na danych graficznych i tekstowych. W książce między innymi: algorytmy i modele uczenia maszynowego zasady oceny skuteczności systemów uczących techniki przekształcania danych techniki uczenia maszynowego do obrazu i tekstu sieci neuronowe i modele grafowe biblioteka scikit-learn i inne narzędzia Pythona Uczenie maszynowe z Pythonem: od dziś dla każdego! Spis treści: Przedmowa 15 Wprowadzenie 17 O autorze 23 CZĘŚĆ I. PIERWSZE KROKI 25 Rozdział 1. Podyskutujmy o uczeniu się 27 1.1. Witaj 27 1.2. Zakres, terminologia, predykcja i dane 28 1.2.1. Cechy 28 1.2.2. Wartości docelowe i predykcje 31 1.3. Rola maszyny w uczeniu maszynowym 31 1.4. Przykład systemów uczących się 33 1.4.1. Predykcja kategorii: przykłady klasyfikacji 33 1.4.2. Predykcja wartości - przykłady regresorów 35 1.5. Ocena systemów uczących się 35 1.5.1. Poprawność 36 1.5.2. Wykorzystanie zasobów 37 1.6. Proces budowania systemów uczących się 38 1.7. Założenia i realia uczenia się 40 1.8. Zakończenie rozdziału 42 1.8.1. Droga przed nami 42 1.8.2. Uwagi 43 Rozdział 2. Kontekst techniczny 45 2.1. O naszej konfiguracji 45 2.2. Potrzeba posiadania języka matematycznego 45 2.3. Nasze oprogramowanie do zmierzenia się z uczeniem maszynowym 46 2.4. Prawdopodobieństwo 47 2.4.1. Zdarzenia elementarne 48 2.4.2. Niezależność zdarzeń 50 2.4.3. Prawdopodobieństwo warunkowe 50 2.4.4. Rozkłady 52 2.5. Kombinacje liniowe, sumy ważone i iloczyny skalarne 54 2.5.1. Średnia ważona 57 2.5.2. Suma kwadratów 59 2.5.3. Suma kwadratów błędów 59 2.6. Perspektywa geometryczna: punkty w przestrzeni 60 2.6.1. Linie 61 2.6.2. Coś więcej niż linie 65 2.7. Notacja sztuczki plus jeden 69 2.8. Odjazd, zrywanie kaftana bezpieczeństwa i nieliniowość 71 2.9. NumPy kontra "cała matematyka" 73 2.9.1. Wracamy do 1D i 2D 75 2.10. Problemy z wartościami zmiennoprzecinkowymi 78 2.11. Zakończenie rozdziału 79 2.11.1. Podsumowanie 79 2.11.2. Uwagi 79 Rozdział 3. Predykcja kategorii - początki klasyfikacji 81 3.1. Zadania klasyfikacji 81 3.2. Prosty zestaw danych do klasyfikacji 82 3.3. Trenowanie i testowanie: nie ucz się do testu 84 3.4. Ocena - wystawienie stopni 87 3.5. Prosty klasyfikator nr 1: najbliżsi sąsiedzi, związki na odległość i założenia 88 3.5.1. Definiowanie podobieństwa 88 3.5.2. k w k-NN 90 3.5.3. Kombinacja odpowiedzi 90 3.5.4. k-NN, parametry i metody bezparametrowe 90 3.5.5. Budowa modelu klasyfikacji k-NN 91 3.6. Prosty klasyfikator nr 2: naiwny klasyfikator bayesowski, prawdopodobieństwo i złamane obietnice 93 3.7. Uproszczona ocena klasyfikatorów 96 3.7.1. Wydajność uczenia się 96 3.7.2. Wykorzystanie zasobów w klasyfikacji 97 3.7.3. Szacowanie zasobów w aplikacjach samodzielnych 103 3.8. Koniec rozdziału 106 3.8.1. Ostrzeżenie: ograniczenia i otwarte kwestie 106 3.8.2. Podsumowanie 107 3.8.3. Uwagi 107 3.8.4. Ćwiczenia 109 Rozdział 4. Predykcja wartości numerycznych: początki regresji 111 4.1. Prosty zbiór danych dla regresji 111 4.2. Regresja z najbliższymi sąsiadami i statystyki sumaryczne 113 4.2.1. Miary środka: mediana i średnia 114 4.2.2. Budowa modelu regresji k-NN 116 4.3. Błędy regresji liniowej 117 4.3.1. Ziemia nie jest płaska, czyli dlaczego potrzebujemy pochyłości 118 4.3.2. Przekrzywienie pola 120 4.3.3. Wykonanie regresji liniowej 122 4.4. Optymalizacja - wybór najlepszej odpowiedzi 123 4.4.1. Zgadywanie losowe 124 4.4.2. Losowe kroki 124 4.4.3. Sprytne kroki 125 4.4.4. Obliczony skrót 125 4.4.5. Wykorzystanie w regresji liniowej 126 4.5. Prosta ocena i porównanie regresorów 126 4.5.1. Pierwiastek średniego błędu kwadratowego 126 4.5.2. Wydajność uczenia się 127 4.5.3. Wykorzystanie zasobów w regresji 127 4.6. Zakończenie rozdziału 129 4.6.1. Ograniczenia i kwestie otwarte 129 4.6.2. Podsumowanie 130 4.6.3. Uwagi 130 4.6.4. Ćwiczenia 130 CZĘŚĆ II. OCENA 131 Rozdział 5. Ocena i porównywanie metod uczenia się 133 5.1. Ocena i dlaczego mniej znaczy więcej 133 5.2. Terminologia dla faz uczenia się 134 5.2.1. Powrót do maszyn 135 5.2.2. Mówiąc bardziej technicznie... 137 5.3. Majorze Tom, coś jest nie tak - nadmierne dopasowanie i niedopasowanie 141 5.3.1. Dane syntetyczne i regresja liniowa 141 5.3.2. Ręczna modyfikacja złożoności modelu 143 5.3.3. Złotowłosa - wizualizacja nadmiernego dopasowania, niedopasowania oraz "w sam raz" 145 5.3.4. Prostota 148 5.3.5. Uwagi na temat nadmiernego dopasowania 148 5.4. Od błędów do kosztów 149 5.4.1. Strata 149 5.4.2. Koszt 150 5.4.3. Punktacja 151 5.5. (Powtórne) próbkowanie - zamienić mniej w więcej 152 5.5.1. Walidacja krzyżowa 152 5.5.2. Rozwarstwienie 156 5.5.3. Powtarzany podział na dane treningowe i testowe 158 5.5.4. Lepszy sposób i tasowanie 161 5.5.5. Walidacja krzyżowa z odłożeniem jednego 164 5.6. Rozbicie: dekonstrukcja błędu na błąd systematyczny i wariancję 166 5.6.1. Wariancja danych 167 5.6.2. Wariancja modelu 167 5.6.3. Błąd systematyczny modelu 168 5.6.4. A teraz wszystko razem 168 5.6.5. Przykłady kompromisów związanych z błędem systematycznym i wariancją 169 5.7. Ocena graficzna i porównanie 173 5.7.1. Krzywe uczenia - jak dużo danych potrzebujemy? 173 5.7.2. Krzywe złożoności 177 5.8. Porównywanie metod uczących się za pomocą walidacji krzyżowej 178 5.9. Koniec rozdziału 179 5.9.1. Podsumowanie 179 5.9.2. Uwagi 179 5.9.3. Ćwiczenia 181 Rozdział 6. Ocena klasyfikatorów 183 6.1. Klasyfikatory bazowe 183 6.2. Więcej niż dokładność - wskaźniki dla klasyfikacji 186 6.2.1. Eliminacja zamieszania za pomocą macierzy błędu 187 6.2.2. W jaki sposób można się mylić 188 6.2.3. Wskaźniki z macierzy błędu 189 6.2.4. Kodowanie macierzy błędu 190 6.2.5. Radzenie sobie z wieloma klasami - uśrednianie wieloklasowe 192 6.2.6. F1 194 6.3. Krzywe ROC 194 6.3.1. Wzorce w ROC 197 6.3.2. Binarny ROC 199 6.3.3. AUC - obszar pod krzywą ROC 201 6.3.4. Wieloklasowe mechanizmy uczące się, jeden kontra reszta i ROC 203 6.4. Inne podejście dla wielu klas: jeden-kontra-jeden 205 6.4.1. Wieloklasowe AUC, część druga - w poszukiwaniu pojedynczej wartości 206 6.5. Krzywe precyzji i skuteczności wyszukiwania 209 6.5.1. Uwaga o kompromisie precyzji i skuteczności wyszukiwania 209 6.5.2. Budowanie krzywej precyzji i skuteczności wyszukiwania 210 6.6. Krzywe kumulacyjnej odpowiedzi i wzniesienia 211 6.7. Bardziej wyrafinowana ocena klasyfikatorów - podejście drugie 213 6.7.1. Binarne 213 6.7.2. Nowy problem wieloklasowy 217 6.8. Koniec rozdziału 222 6.8.1. Podsumowanie 222 6.8.2. Uwagi 222 6.8.3. Ćwiczenia 224 Rozdział 7. Ocena metod regresji 225 7.1. Metody regresji będące punktem odniesienia 225 7.2. Dodatkowe miary w metodach regresji 227 7.2.1. Tworzenie własnych miar oceny 227 7.2.2. Inne wbudowane miary regresji 228 7.2.3. R2 229 7.3. Wykresy składników resztowych 235 7.3.1. Wykresy błędów 235 7.3.2. Wykresy składników resztowych 237 7.4. Pierwsze podejście do standaryzacji 241 7.5. Ocena mechanizmów regresji w bardziej zaawansowany sposób: podejście drugie 245 7.5.1. Wyniki po sprawdzianie krzyżowym z użyciem różnych miar 246 7.5.2. Omówienie wyników ze sprawdzianu krzyżowego 249 7.5.3. Składniki resztowe 250 7.6. Koniec rozdziału 251 7.6.1. Podsumowanie 251 7.6.2. Uwagi 251 7.6.3. Ćwiczenia 254 CZĘŚĆ III. JESZCZE O METODACH I PODSTAWACH 255 Rozdział 8. Inne metody klasyfikacji 257 8.1. Jeszcze o klasyfikacji 257 8.2. Drzewa decyzyjne 259 8.2.1. Algorytmy budowania drzewa 262 8.2.2. Do pracy. Pora na drzewa decyzyjne 265 8.2.3. Obciążenie i wariancja w drzewach decyzyjnych 268 8.3. Klasyfikatory oparte na wektorach nośnych 269 8.3.1. Stosowanie klasyfikatorów SVC 272 8.3.2. Obciążenie i wariancja w klasyfikatorach SVC 275 8.4. Regresja logistyczna 277 8.4.1. Szanse w zakładach 278 8.4.2. Prawdopodobieństwo, szanse i logarytm szans 280 8.4.3. Po prostu to zrób: regresja logistyczna 285 8.4.4. Regresja logistyczna: osobliwość przestrzenna 286 8.5. Analiza dyskryminacyjna 287 8.5.1. Kowariancja 289 8.5.2. Metody 299 8.5.3. Przeprowadzanie analizy dyskryminacyjnej 301 8.6. Założenia, obciążenie i klasyfikatory 302 8.7. Porównanie klasyfikatorów: podejście trzecie 304 8.7.1. Cyfry 305 8.8. Koniec rozdziału 307 8.8.1. Podsumowanie 307 8.8.2. Uwagi 307 8.8.3. Ćwiczenia 310 Rozdział 9. Inne metody regresji 313 9.1. Regresja liniowa na ławce kar - regularyzacja 313 9.1.1. Przeprowadzanie regresji z regularyzacją 318 9.2. Regresja z użyciem wektorów nośnych 319 9.2.1. Zawiasowa funkcja straty 319 9.2.2. Od regresji liniowej przez regresję z regularyzacją do regresji SVR 323 9.2.3. Po prostu to zrób - w stylu SVR 324 9.3. Regresja segmentowa ze stałymi 325 9.3.1. Implementowanie regresji segmentowej ze stałymi 327 9.3.2. Ogólne uwagi na temat implementowania modeli 328 9.4. Drzewa regresyjne 331 9.4.1. Przeprowadzanie regresji z użyciem drzew 331 9.5. Porównanie metod regresji: podejście trzecie 332 9.6. Koniec rozdziału 334 9.6.1. Podsumowanie 334 9.6.2. Uwagi 334 9.6.3. Ćwiczenia 335 Rozdział 10. Ręczna inżynieria cech - manipulowanie danymi dla zabawy i dla zysku 337 10.1. Terminologia i przyczyny stosowania inżynierii cech 337 10.1.1. Po co stosować inżynierię cech? 338 10.1.2. Kiedy stosuje się inżynierię cech? 339 10.1.3. Jak przebiega inżynieria cech? 340 10.2. Wybieranie cech i redukcja danych - pozbywanie się śmieci 341 10.3. Skalowanie cech 342 10.4. Dyskretyzacja 346 10.5. Kodowanie kategorii 348 10.5.1. Inna metoda kodowania i niezwykły przypadek braku punktu przecięcia z osią 351 10.6. Relacje i interakcje 358 10.6.1. Ręczne tworzenie cech 358 10.6.2. Interakcje 360 10.6.3. Dodawanie cech na podstawie transformacji 364 10.7. Manipulowanie wartościami docelowymi 366 10.7.1. Manipulowanie przestrzenią danych wejściowych 367 10.7.2. Manipulowanie wartościami docelowymi 369 10.8. Koniec rozdziału 371 10.8.1. Podsumowanie 371 10.8.2. Uwagi 371 10.8.3. Ćwiczenia 372 Rozdział 11. Dopracowywanie hiperparametrów i potoki 375 11.1. Modele, parametry i hiperparametry 376 11.2. Dostrajanie hiperparametrów 378 11.2.1. Uwaga na temat słownictwa informatycznego i z dziedziny uczenia maszynowego 378 11.2.2. Przykład przeszukiwania kompletnego 378 11.2.3. Używanie losowości do szukania igły w stogu siana 384 11.3. Wyprawa w rekurencyjną króliczą norę - zagnieżdżony sprawdzian krzyżowy 385 11.3.1. Opakowanie w sprawdzian krzyżowy 386 11.3.2. Przeszukiwanie siatki jako model 387 11.3.3. Sprawdzian krzyżowy zagnieżdżony w sprawdzianie krzyżowym 388 11.3.4. Uwagi na temat zagnieżdżonych SK 391 11.4. Potoki 393 11.4.1. Prosty potok 393 11.4.2. Bardziej skomplikowany potok 394 11.5. Potoki i dostrajanie całego procesu 395 11.6. Koniec rozdziału 397 11.6.1. Podsumowanie 397 11.6.2. Uwagi 397 11.6.3. Ćwiczenia 398 CZĘŚĆ IV. ZWIĘKSZANIE ZŁOŻONOŚCI 399 Rozdział 12. Łączenie mechanizmów uczących się 401 12.1. Zespoły 401 12.2. Zespoły głosujące 404 12.3. Bagging i lasy losowe 404 12.3.1. Technika bootstrap 404 12.3.2. Od techniki bootstrap do metody bagging 408 12.3.3. Przez losowy las 410 12.4. Boosting 412 12.4.1. Szczegółowe omówienie boostingu 413 12.5. Porównywanie metod opartych na zespołach drzew 415 12.6. Koniec rozdziału 418 12.6.1. Podsumowanie 418 12.6.2. Uwagi 419 12.6.3. Ćwiczenia 420 Rozdział 13. Modele z automatyczną inżynierią cech 423 13.1. Wybieranie cech 425 13.1.1. Filtrowanie jednoetapowe z wybieraniem cech na podstawie miar 426 13.1.2. Wybieranie cech na podstawie modelu 437 13.1.3. Integrowanie wybierania cech z potokiem procesu uczenia 440 13.2. Tworzenie cech za pomocą jąder 441 13.2.1. Powód używania jąder 441 13.2.2. Ręczne metody wykorzystujące jądra 446 13.2.3. Metody wykorzystujące jądro i opcje jądra 450 13.2.4. Klasyfikatory SVC dostosowane do jądra - maszyny SVM 454 13.2.5. Uwagi do zapamiętania na temat maszyn SVM i przykładów 456 13.3. Analiza głównych składowych - technika nienadzorowana 457 13.3.1. Rozgrzewka - centrowanie 458 13.3.2. Znajdowanie innej najlepszej linii 459 13.3.3. Pierwsza analiza głównych składowych 461 13.3.4. Analiza głównych składowych od kuchni 463 13.3.5. Wielki finał - uwagi na temat analizy głównych składowych 469 13.3.6. Analiza głównych składowych dla jądra i metody oparte na rozmaitościach 470 13.4. Koniec rozdziału 473 13.4.1. Podsumowanie 473 13.4.2. Uwagi 474 13.4.3. Ćwiczenia 478 Rozdział 14. Inżynieria cech dla dziedzin - uczenie specyficzne dla dziedziny 481 14.1. Praca z tekstem 482 14.1.1. Kodowanie tekstu 484 14.1.2. Przykład maszynowego klasyfikowania tekstu 488 14.2. Klastrowanie 490 14.2.1. Klastrowanie metodą k-średnich 491 14.3. Praca z obrazami 492 14.3.1. Worek słów graficznych 492 14.3.2. Dane graficzne 493 14.3.3. Kompletny system 494 14.3.4. Kompletny kod transformacji obrazów na postać WGSG 501 14.4. Koniec rozdziału 503 14.4.1. Podsumowanie 503 14.4.2. Uwagi 503 14.4.3. Ćwiczenia 505 Rozdział 15. Powiązania, rozwinięcia i kierunki dalszego rozwoju 507 15.1. Optymalizacja 507 15.2. Regresja liniowa z prostych składników 510 15.2.1. Graficzne ujęcie regresji liniowej 513 15.3. Regresja logistyczna z prostych składników 514 15.3.1. Regresja logistyczna i kodowanie zerojedynkowe 515 15.3.2. Regresja logistyczna z kodowaniem plus jeden - minus jeden 517 15.3.3. Graficzne ujęcie regresji logistycznej 518 15.4. Maszyna SVM z prostych składników 518 15.5. Sieci neuronowe 520 15.5.1. Regresja liniowa za pomocą sieci neuronowych 521 15.5.2. Regresja logistyczna za pomocą sieci neuronowych 523 15.5.3. Poza podstawowe sieci neuronowe 524 15.6. Probabilistyczne modele grafowe 525 15.6.1. Próbkowanie 527 15.6.2. Regresja liniowa za pomocą modelu PGM 528 15.6.3. Regresja logistyczna za pomocą modelu PGM 531 15.7. Koniec rozdziału 534 15.7.1. Podsumowanie 534 15.7.2. Uwagi 534 15.7.3. Ćwiczenia 535 Dodatek A. Kod z pliku mlwpy.py 537 O autorze: Dr Mark Fenner - uczy dorosłych informatyki i matematyki. Prowadził badania w dziedzinach uczenia maszynowego, bioinformatyki i bezpieczeństwa systemów komputerowych. Zajmował się też analizą bezpieczeństwa repozytoriów oprogramowania, probabilistycznym modelowaniem białek oraz analizą i wizualizacją danych pochodzących z badań ekologicznych i mikroskopowych. Mieszka z rodziną w południowo-wschodniej Pensylwanii.