Praktyczne uczenie maszynowe Dynów

Ostatnia dekada to czas bezprecedensowego rozwoju sztucznej inteligencji nie tylko przełomowych badań nad algorytmami uczenia maszynowego, ale również coraz powszechniejszego stosowania inteligentnych maszyn w najróżniejszych dziedzinach naszego życia. Rozwój ten ogranicza niewystarczająca liczba specjalistów, łączących znajomość modelowania danych (przygotowania danych i zasad działania algorytmów uczenia maszynowego) ze znajomością języków analizy danych, takich jak SQL, R czy Python. Inżynieria danych (ang. data science) to interdyscyplinarna wiedza, której opanowanie wymaga znajomości algebry, geometrii, statystyki, rachunku prawdopodobieństwa i algorytmiki, uzupełnionej o praktyczną umiejętność programowania. Co więcej, sztuczna inteligencja jest przedmiotem intensywnych badań naukowych i samo śledzenie postępów w tej dziedzinie wiąże się z regularnym (codziennym) dokształcaniem. Niniejsza książka łączy w sobie teorię z praktyką. Opisuje rozwiązania kilkunastu typowych problemów, takich jak prognozowanie zysków, optymalizacja kampanii marketingowej, proaktywna konserwacja sprzętu czy oceny ryzyka kredytowego. Ich układ jest celowy każdy przykład jest okazją do wyjaśnienia określonych zagadnień, zaczynając od narzędzi, przez podstawy uczenia maszynowego, sposoby oceny jakości danych i ich przygotowania do dalszej analizy, zasady tworzenia modeli uczenia maszynowego i ich optymalizacji, po wskazówki dotyczące wdrożenia gotowych modeli do produkcji. Książka jest adresowana do wszystkich, którzy chcieliby poznać lub udoskonalić: praktyczną znajomość statystki i umiejętność wizualizacji danych niezbędnej do oceny jakości danych; praktyczną znajomość języka SQL, R lub Python niezbędnej do uporządkowania, wstępnego przygotowania i wzbogacenia danych; zasady działania poszczególnych algorytmów uczenia maszynowego koniecznych do ich wyboru i optymalizacji; korzystanie z języka R lub Python do stworzenia, oceny, zoptymalizowania i wdrożenia do produkcji modeli eksploracji danych. Zarówno studenci kierunków informatycznych, jak również analitycy, programiści, administratorzy baz danych oraz statystycy znajdą w książce informacje, które pozwolą im opanować praktyczne umiejętności potrzebne do samodzielnego tworzenia systemów uczenia maszynowego. Spis treści: Okładka Strona tytułowa Strona redakcyjna Od autora Spis treści Sztuczna inteligencja O książce Dla kogo jest ta książka? Narzędzia Przykłady Bibliografia Konwencje i oznaczenia 1. Narzędzia 1.1. Język Python 1.2. Język R 1.2.1. Microsoft R Open (MRO) 1.2.2. Microsoft R Client (MRC) 1.2.3. Microsoft Machine Learning Server (MLS) 1.3. SQL Server 2019 1.3.1. Instalacja 1.3.2. Microsoft SQL Server Machine Learning Services 1.3.3. Bezpieczeństwo 1.3.4. Wydajność 1.4. PyCharm Community Edition 1.5. RStudio Desktop 1.6. Instalacja dodatkowych pakietów 1.7. Power BI Desktop 2. Praca z SQL Server Machine Learning Services 2.1. Wykrywanie oszustw 2.2. Klasyfikacja przejazdów 2.3. Dodatkowe funkcjonalności serwera SQL Server i usługi SQL Machine Learning Services 2.3.1. Zapytania predykcyjne czasu rzeczywistego 2.3.2. Natywne zapytania predykcyjne 2.3.3. Tworzenie modeli dla partycji danych 3. Wstęp do uczenia maszynowego 3.1. Rodzaje uczenia maszynowego 3.2. Proces uczenia 3.3. Modele regresji 3.4. Modele partycjonujące 3.5. Metodyka CRISP-DM 3.6. Metodyka TDSP 4. Zrozumienie danych 4.1. Poznanie danych wymaga zrozumienia postawionego problemu 4.2. Statystyki opisowe 4.2.1. Zmienne numeryczne 4.2.2. Zmienne kategoryczne 4.3. Brakujące dane 4.4. Entropia 4.5. Ocena zmiennych za pomocą programu Power BI 4.6. Ocena zmiennych przy użyciu języka SQL 4.6.1. Automatyczny opis zmiennych 4.7. Wizualizacja zmiennych 4.8. Reprezentatywność danych 4.9. Korelacje między zmiennymi 4.9.1. Klątwa wymiarowości 4.9.2. Ocena przydatności zmiennych 4.9.3. Dwie zmienne numeryczne 4.9.4. Dwie zmienne kategoryczne 4.9.5. Dwie zmienne porządkowe 4.9.6. Zmienna kategoryczna i numeryczna 4.9.7. Korelacja oznacza współwystępowanie, a nie związek przyczynowo-skutkowy 4.10. Ocena korelacji za pomocą programu Power BI 4.11. Ocena korelacji przy użyciu języka SQL 5. Przygotowanie danych 5.1. Uporządkowanie danych 5.2. Wzbogacanie danych 5.2.1. Data i czas 5.3. Wyczyszczenie danych 5.3.1. Usuwanie brakujących wartości 5.3.2. Usuwanie duplikatów 5.3.3. Usuwanie błędnych danych 5.3.4. Usuwanie wartości odstających 5.4. Przekształcenie danych 5.4.1. Kodowanie 5.4.2. Generalizacja 5.4.3. Zaokrąglanie 5.4.4. Dyskretyzacja 5.4.5. Skalowanie 5.4.6. Wygładzanie 5.5. Redukcja danych 5.5.1. Selekcja zmiennych 5.5.2. Analiza składowych głównych 5.5.3. Wybór zmiennych przydatnych dla modelu 5.6. Podział danych 5.6.1. Podział warstwowy 5.6.2. Równoważenie danych 5.6.3. k-krotna walidacja krzyżowa 5.7. Danych walidacyjnych używa się do optymalizacji, a nie do oceny modeli 5.8. Kto miał szansę przeżyć katastrofę Titanica? 6. Analiza skupień 6.1. Grupowanie w celu zmniejszenia liczby przykładów 6.2. Algorytmy iteracyjno-optymalizacyjne 6.3. Segmentacja 7. Regresja 7.1. Zrozumienie problemu 7.2. Zrozumienie danych 7.3. Opisanie danych 7.4. Ocena przydatności danych 7.5. Wzbogacenie danych 7.6. Ocena zmiennych 7.7. Przekształcenie i wybór danych 7.8. Modelowanie 7.8.1. Uczenie na błędach 7.8.2. Regresja liniowa 7.8.3. Ogólny model liniowy GLM 7.8.4. Sztuczne sieci neuronowe 7.8.5. Drzewa regresyjne 7.8.6. Kombinacje modeli 7.9. Porównanie modeli 7.10. Wdrożenie modeli po stronie serwera SQL 8. Klasyfikacja 8.1. Klasyfikacja binarna 8.1.1. Przygotowanie danych 8.1.2. Regresja logistyczna 8.1.3. Sztuczne sieci neuronowe 8.1.4. Klasyfikacja przez indukcję drzew decyzyjnych 8.1.5. Kombinacje modeli 8.1.6. Porównanie modeli 8.1.7. Wdrożenie modeli po stronie serwera SQL 8.2. Klasyfikacja wieloklasowa 8.2.1. Przygotowanie danych 8.2.2. Regresja logistyczna 8.2.3. Sztuczne sieci neuronowe 8.2.4. Klasyfikacja przez indukcję drzew decyzyjnych 8.2.5. Porównanie modeli 8.2.6. Wdrożenie modeli po stronie serwera SQL 9. Ocena modeli 9.1. Nie ma darmowego lunchu 9.2. Błędy modeli predykcyjnych 9.2.1. Błąd systematyczny i błąd aproksymacji 9.3. Kryteria oceny modeli regresji 9.3.1. Średni błąd bezwzględny 9.3.2. Pierwiastek błędu średniokwadratowego 9.3.3. Znormalizowany błąd bezwzględny 9.3.4. Znormalizowany błąd kwadratowy 9.3.5. Współczynnik determinacji R2 9.3.6. Ocena modelu prognozującego pozostały czas bezawaryjnej pracy urządzeń 9.4. Kryteria oceny modeli klasyfikacji binarnej 9.4.1. Macierz błędów 9.4.2. Trafność 9.4.3. Precyzja 9.4.4. Czułość 9.4.5. F-miara 9.4.6. Współczynnik Kappa Cohena 9.4.7. Krzywa ROC i obszar pod krzywą 9.4.8. Ocena modelu klasyfikującego urządzenia jako wymagające lub niewymagające przeglądu 9.5. Kryteria oceny modeli klasyfikacji wieloklasowej 9.5.1. Macierz błędów 9.5.2. Metryki klasy większościowej 9.5.3. Metryki poszczególnych klas 9.5.4. Średnie makro 9.5.5. Średnie mikro 9.6. Ocena modelu klasyfikującego urządzenia do przeglądu 9.7. Interpretacja predykcji 10. Optymalizacja i wdrożenie modeli 10.1. Zrozumienie problemu 10.2. Zrozumienie i przygotowanie danych 10.2.1. Import danych 10.2.2. Ocena danych 10.3. Modelowanie 10.4. Optymalizacja 10.5. Wdrożenie 10.5.1. Analiza typu Co by było, gdyby? Posłowie Bibliografia Przypisy O autorze: Marcin Szeliga - od 2006 roku wyróżniany tytułem Microsoft Most Valuable Professional w kategorii SQL. Konsultant, wykładowca, autoryzowany trener Microsoft z 10 letnim stażem i architekt systemów bazodanowych. Inicjator projektu SQLExpert.pl promującego eksperckie szkolenia i konsultacje z zakresu serwera SQL. W ramach programu Train To Trainers przygotowywał partnerów firmy Microsoft do przejścia na wersje 2008 i 2012 serwera SQL. Prelegent na wielu konferencjach, w tym Microsoft Technology Summit, Microsoft Security Summit, Heroes Happen {Here} i spotkaniach grup pasjonackich. Autor licznych książek i artykułów poświęconych serwerowi SQL.