Kompletny przewodnik po Power Query (M). Opanuj wykonywanie złożonych przekształceń danych Sośnicowice

Profesjonalna analiza danych ułatwia podejmowanie opłacalnych decyzji, a przekształcanie danych jest krytycznym etapem tego procesu. Nieocenionym narzędziem dla każdego, kto chce przetwarzać dane na profesjonalnym poziomie, jest Power Query. Zdobycie wysoce zaawansowanych umiejętności wymaga dogłębnego poznania M - języka zaimplementowanego w Power Query. Dzięki temu praktycznemu przewodnikowi w pierwszej kolejności opanujesz podstawy języka M. Po zapoznaniu się z kluczowymi koncepcjami stopniowo będziesz stosować tę wiedzę do coraz bardziej zaawansowanych przekształceń danych. Zajmiesz się także takimi zagadnieniami jak optymalizacja wydajności zapytań, obsługa błędów i implementacja efektywnych technik przetwarzania danych. W każdym rozdziale znajdziesz wiele przydatnych przykładów, za sprawą których rozwiniesz umiejętności pozwalające używać Power Query do radzenia sobie z realnymi wyzwaniami i poprawiania swoich umiejętności analitycznych. Przekonasz się, że dzięki zdobytym w ten sposób umiejętnościom z łatwością zastosujesz funkcje Power Query do przekształcania danych! W książce: solidne podstawy Power Query i M funkcje służące do wykonywania złożonych przekształceń danych wartości, typy i struktury sterujące w Power Query wydajna obsługa błędów strategie optymalizacji wydajności w Power Query i M przykłady rzeczywistych scenariuszy Rozpocznij fascynującą podróż do świata zaawansowanej analizy danych! Spis treści: O autorach O korektorach technicznych Przedmowa Wstęp Rozdział 1. Wprowadzenie do języka M Historia języka M Kto powinien uczyć się języka M? Gdzie i jak można używać języka M? Środowisko Power Query Produkty i usługi Dlaczego warto poznać język M? Podstawy języka M Wyrażenie let Cechy języka M Klasyfikacja formalna Nieformalne cechy języka M Podsumowanie Rozdział 2. Praca z Power Query i M Wymagania techniczne Prezentacja środowiska Power Query Desktop Krótka wycieczka Tworzenie pierwszego zapytania Opcje i ustawienia źródła danych Edycja kodu wygenerowanego przez środowisko Tworzenie własnych kolumn Dodawanie kolumny indeksu Dodawanie kolumn na podstawie przykładów Operacje matematyczne Dodawanie kolumn z niestandardowym kodem M Korzystanie z edytora zaawansowanego Podsumowanie Rozdział 3. Dostęp do danych i ich łączenie Wymagania techniczne Dostęp do plików i katalogów Funkcja File.Contents Pliki tekstowe i CSV Pliki Excela Katalogi Pliki PDF Pliki XML Usługa Azure Storage Inne formaty plików Pobieranie zawartości stron WWW Przedstawienie funkcji binarnych Grupa funkcji Lines Dostęp do baz danych i kostek Funkcje kostek Korzystanie ze standardowych protokołów danych Korzystanie z dodatkowych łączników Popularne systemy oprogramowania Funkcje obsługi tożsamości Różne sposoby łączenia danych Funkcja Table.Combine Funkcje Table.NestedJoin oraz Table.Join Funkcje Table.FuzzyNestedJoin oraz Table.FuzzyJoin Podsumowanie Rozdział 4. Wartości i wyrażenia Prezentacja typów wartości Wartości binarne Rodzina wartości związanych z datami i czasem Wartości logiczne Wartość null Wartości liczbowe Wartości tekstowe Listy Rekordy Tabele Wartości funkcyjne Wartości typów Operatory Wyrażenia Zagnieżdżanie wyrażeń let Najlepsze praktyki tworzenia wyrażeń Struktury sterujące Wyliczenia Podsumowanie Rozdział 5. Typy danych Czym są typy danych? System typów Kolumny o różnych typach Typ danych kolumny a typ wartości Znaczenie typów Przejrzystość i spójność Walidacja danych Inne powody Typy danych dostępne w języku M Typy podstawowe Typy niestandardowe Wykrywanie typów Pobieranie typów danych ze źródła danych Automatyczne wykrywanie typów Konwersja typów danych Konwertowanie typów wartości Konwersja typów kolumn Unikanie utraty danych podczas konwersji Efekt ustawień lokalnych i kulturowych Aspekty Deklaracje typu Przypisywanie typów Czym jest przypisywanie typów? Funkcje obsługujące przypisywanie typów Błędy podczas przypisywania typów Równoważność i zgodność typów oraz asercje Równość typów Zgodność typów Asercje typu Podsumowanie Rozdział 6. Wartości strukturalne Prezentacja wartości strukturalnych Listy Prezentacja list Operatory list Metody tworzenia list Dostęp do elementów list Często wykonywane operacje na listach Przypisywanie listom typów danych Rekordy Prezentacja rekordów Operatory działające na rekordach Metody tworzenia rekordów Dostęp do pól rekordów Najczęstsze operacje na rekordach Przypisywanie typów danych do rekordów Tabele Prezentacja tabel Operatory tabel Metody tworzenia tabel Dostęp do elementów tabel Najczęstsze operacje na tabelach Przypisywanie typów danych do tabel Podsumowanie Rozdział 7. Konceptualizacja języka M Wymagania techniczne Wyjaśnienie zasięgów Środowiska globalne Analiza sekcji Tworzenie własnego środowiska globalnego Domknięcia Składanie zapytań Metadane Podsumowanie Rozdział 8. Praca ze strukturami zagnieżdżonymi Przejście do pisania kodu Rozpoczynanie samodzielnego pisania kodu Przekształcanie wartości w tabelach Praca z listami Przekształcanie list Pobieranie elementów Zmiana wielkości listy Filtrowanie list Konwersje na listę Inne operacje Praca z rekordami Przekształcanie rekordów Pobieranie wartości pola Zmiana wielkości rekordu Filtrowanie rekordów Konwersje na rekordy Praca z tabelami Przekształcanie tabel Pobieranie wartości komórek Zmiana długości tabeli Zmiana szerokości tabeli Filtrowanie tabel Konwersje na tabele Pobieranie informacji o tabelach Praca z mieszanymi strukturami danych Listy tabel, list oraz rekordów Tabele z listami, rekordami lub tabelami Struktury mieszane Podsumowanie Rozdział 9. Parametry i funkcjeniestandardowe Parametry Czym są parametry? Tworzenie parametrów Stosowanie parametrów w zapytaniach Łączenie wszystkiego w całość Funkcje niestandardowe Czym są funkcje niestandardowe? Przekształcanie zapytań na funkcje Wywoływanie funkcji niestandardowych Wyrażenie each Udoskonalanie definicji funkcji Odwołania do kolumn i pól o określonych nazwach Debugowanie funkcji niestandardowych Zasięg funkcji Łączenie wszystkiego w całość Podsumowanie Rozdział 10. Obsługa dat, czasu i czasów trwania Wymagania techniczne Daty Tabela kalendarza w języku M Inne formaty dat Inne niestandardowe funkcje związane z datami Czas Tworzenie tabeli godzin Klasyfikacja czasu na zmiany Daty i czas Strefy czasowe Korekta czasów odświeżania danych Czasy trwania Czas roboczy Podsumowanie Rozdział 11. Funkcje porównujące, zastępujące, łączące i rozdzielające Wymagania techniczne Kluczowe zagadnienia Wywołania funkcji Często popełniane błędy Domknięcia Funkcje wyższego rzędu Funkcje anonimowe Porządkowanie wartości Funkcje porównujące Funkcja Comparer.Equals Funkcja Comparer.Ordinal Funkcja Comparer.OrdinalIgnoreCase Funkcja Comparer.FromCulture Kryteria porównywania Wartości liczbowe Obliczanie klucza sortowania Lista z kluczami i kolejnością sortowania Niestandardowe komparatory z własną logiką warunkową Niestandardowy komparator korzystający z funkcji Value.Compare Kryteria równości Domyślne funkcje porównujące Niestandardowa funkcja porównująca Selektory kluczy Łączenie selektora kluczy i funkcji porównującej Funkcje zastępujące Funkcja Replacer.ReplaceText Funkcja Replacer.ReplaceValue Niestandardowe funkcje zastępujące Funkcje łączące Funkcja Combiner.CombineTextByDelimiter Funkcja Combiner.CombineTextByEachDelimiter Funkcja Combiner.CombineTextByLengths Funkcja Combiner.CombineTextByPositions Funkcja Combiner.CombineTextByRanges Funkcje rozdzielające Funkcja Splitter.SplitByNothing Funkcja Splitter.SplitByAnyDelimiter Funkcja Splitter.SplitTextByCharacterTransition Funkcja Splitter.SplitTextByDelimiter Funkcja Splitter.SplitTextByEachDelimiter Funkcja Splitter.SplitTextByLengths Funkcja Splitter.SplitTextByPositions Funkcja Splitter.SplitTextByRanges Funkcja Splitter.SplitTextByRepeatedLengths Funkcja Splitter.SplitTextByWhitespace Praktyczne przykłady Usuwanie znaków sterujących i nadmiarowych odstępów Pobieranie adresów e-mail z tekstów Podział komórek z połączonymi wartościami na wiersze Zastępowanie wielu wartości Warunkowe łączenie wierszy Podsumowanie Rozdział 12. Obsługa błędów i debugowanie Wymagania techniczne Czym jest błąd? Ograniczanie błędów Wykrywanie błędów Zgłaszanie błędów Wyrażenie błędu Operator ... (wielokropek) Obsługa błędów Strategie debugowania Najczęściej popełniane błędy Błędy składniowe Obsługa błędów - to, co najważniejsze DataSource.Error - nie można znaleźć źródła Nieznany lub brakujący identyfikator Nieznana funkcja Odwołanie do nieznanej kolumny Odwołanie do nieznanego pola Zbyt mało wartości w wyliczeniu Błąd Formula.Firewall Expression.Error - klucz nie pasuje do żadnego wiersza tabeli Expression.Error - klucz pasuje do więcej niż jednego wiersza tabeli Expression.Error - obliczanie spowodowało przepełnienie stosu i nie może być kontynuowane Łączenie wszystkiego w jedną całość Wybór kolumn Tworzenie niestandardowego rozwiązania Raportowanie błędów poziomu komórek Tworzenie niestandardowego rozwiązania Podsumowanie Rozdział 13. Iteracja i rekurencja Wprowadzenie do iteracji Funkcja List.Transform Funkcja List.Accumulate Funkcja List.Generate Rekurencja Dlaczego rekurencja jest ważna? Rekurencja a iteracja - krótkie porównanie Funkcje rekurencyjne Stosowanie operatora @ Usuwanie sekwencji znaków odstępu Wydajność rozwiązań rekurencyjnych Podsumowanie Rozdział 14. Kłopotliwe wzorce danych Dopasowywanie wzorców Podstawy dopasowywania wzorców Pobieranie wzorców o stałej postaci Łączenie danych Podstawy łączenia danych Pobieranie, przekształcanie i łączenie Podsumowanie Rozdział 15. Optymalizacja wydajności Wykorzystanie pamięci podczas wykonywania zapytań Zmiany i dostosowywanie limitu pamięci Składanie zapytań Składanie zapytań w praktyce Przetwarzanie zapytań Składane, nieskładane, składane częściowo Narzędzia pozwalające określać możliwości składania Operacje i ich wpływ na możliwość składania Poziomy prywatności źródła danych Rodzime zapytania baz danych Funkcje przeznaczone do przerywania składania Strategie utrzymania składania zapytań Zapora prywatności danych Czym jest zapora prywatności danych? Przedstawienie pojęcia partycji Podstawowa zasada zapory prywatności danych Błąd zapory - odwołania do innych partycji Błąd zapory - dostęp do zgodnych źródeł danych Optymalizacja wydajności zapytań Zwiększanie priorytetu filtrowania wierszy i usuwania kolumn Operacje buforujące a strumieniowe Wpływ buforowania i sumy bieżące Uwagi dotyczące źródeł danych Wskazówki dotyczące wydajności Podsumowanie Rozdział 16. Włączanie rozszerzeń Wymagania techniczne Czym są rozszerzenia Power Query? Do czego można używać rozszerzeń? Przygotowywanie środowiska Pobieranie Visual Studio Code Pobieranie Power Query SDK Konfigurowanie serwera IIS Konfiguracja Discorda Tworzenie niestandardowego łącznika Utworzenie projektu rozszerzenia Konfigurowanie uwierzytelniania Konfigurowanie nawigacji i treści Instalowanie łącznika i korzystanie z niego Podsumowanie Skorowidz