Przetwarzanie języka naturalnego w praktyce Gdynia

Systemy przetwarzania języka naturalnego charakteryzuje złożoność i unikatowość. Większość podręczników ogranicza się do omówienia problematyki NLP na uproszczonych przykładach i dobrze zdefiniowanych zbiorach danych. Zawarta w nich wiedza jednak nie wystarczy, aby rozwiązać pojawiające się problemy, a następnie zbudować i wdrożyć rzeczywistą aplikację opartą na NLP, z uwzględnieniem specyfiki danej branży i z poszanowaniem najlepszych praktyk. Książka jest adresowana do wszystkich, którzy chcą budować, rozwijać i skalować systemy NLP w środowisku biznesowym, a także dostosowywać je do swojej branży. Opisuje tworzenie rzeczywistych aplikacji NLP. Omawia pełny cykl życia typowego projektu NLP, od zbierania danych po wdrożenie i monitorowanie modelu. Przedstawia studia przypadków i przewodniki dziedzinowe, pozwalające na zbudowanie systemu NLP od podstaw. Wyczerpująco wyjaśnia, w jaki sposób adaptować rozwiązania do potrzeb różnych branż, takich jak opieka zdrowotna, handel detaliczny i media społecznościowe. Prezentuje szeroką gamą zadań, od klasyfikacji tekstu poprzez odpowiadanie na pytania po ekstrahowanie informacji i systemy dialogowe. Poszczególne zagadnienia są zilustrowane fragmentami kodu, ułatwiającymi zrozumienie logiki omawianych systemów. W książce między innymi: najważniejsze koncepcje związane z NLP implementowanie aplikacji NLP z wykorzystaniem uczenia maszynowego dostrajanie rozwiązań NLP do konkretnych problemów biznesowych skuteczne techniki wydawania, wdrażania i rozwijania systemów NLP najlepsze praktyki i strategie NLP dla liderów biznesowych Spis treści: Słowo wstępne Przedmowa CZĘŚĆ I. Podstawy1. NLP - elementarzNLP w rzeczywistym świecie Zadania NLP Czym jest język? Podstawowe elementy języka Dlaczego NLP jest trudnym wyzwaniem? Uczenie maszynowe, uczenie głębokie i NLP - przegląd Podejścia do NLP NLP oparte na heurystyce Uczenie maszynowe w NLP Uczenie głębokie w NLP Dlaczego uczenie głębokie nie jest jeszcze "srebrną kulą" NLP? Przewodnik po NLP - agenty konwersacyjne Podsumowanie Bibliografia 2. Potok NLPPozyskiwanie danych Ekstrakcja i oczyszczanie tekstu Parsowanie i oczyszczanie HTML-a Normalizacja Unikodu Poprawianie pisowni Poprawianie błędów specyficzne dla systemu Przetwarzanie wstępne Czynności wstępne Częste czynności Inne czynności Przetwarzanie zaawansowane Inżynieria cech Klasyczny potok NLP/ML Potok DL Modelowanie Zacznij od prostej heurystyki Budowanie modelu Budowanie ostatecznego modelu Ewaluacja Ewaluacja wewnętrzna Ewaluacja zewnętrzna Fazy następujące po modelowaniu Wdrażanie Monitorowanie Aktualizowanie modelu Praca z innymi językami Studium przypadku Podsumowanie Bibliografia 3. Reprezentacja tekstuModele przestrzeni wektorowej Proste metody wektoryzacji Kodowanie one-hot Worek słów Worek n-gramów TF-IDF Reprezentacje rozproszone Osadzenia słów Ponad słowa Reprezentacje rozproszone na poziomach wyższych niż słowa i znaki Uniwersalne reprezentacje tekstu Wizualizacja osadzeń Ręcznie utworzone reprezentacje cech Podsumowanie Bibliografia CZĘŚĆ II. Niezbędnik4. Klasyfikacja tekstuZastosowania Potok budowania systemów klasyfikacji tekstu Prosty klasyfikator bez potoku klasyfikacji tekstu Używanie istniejących interfejsów API do klasyfikacji tekstu Jeden potok, wiele klasyfikatorów Naiwny klasyfikator bayesowski Regresja logistyczna Maszyna wektorów nośnych Osadzenia neuronowe w klasyfikacji tekstu Osadzenia słów Osadzenia podsłów i fastText Osadzenia dokumentów Uczenie głębokie w klasyfikacji tekstu Sieci CNN do klasyfikacji tekstu Sieci LSTM do klasyfikacji tekstu Klasyfikacja tekstu z wykorzystaniem dużych, wstępnie wytrenowanych modeli językowych Interpretacja modeli klasyfikacji tekstu Wyjaśnianie prognoz klasyfikatora za pomocą Lime'a Uczenie się bez danych lub na mniejszej ilości danych i adaptowanie modeli do nowych dziedzin Brak danych treningowych Mało danych treningowych - nauka aktywna i adaptacja dziedzinowa Studium przypadku - obsługa zgłoszeń problemów Praktyczne rady Podsumowanie Bibliografia 5. Ekstrakcja informacjiZastosowania IE Zadania IE Ogólny potok IE Ekstrakcja fraz kluczowych Implementowanie KPE Praktyczne rady Rozpoznawanie nazwanych encji Budowanie systemu NER NER z wykorzystaniem istniejącej biblioteki NER z wykorzystaniem nauki aktywnej Praktyczne rady Ujednoznacznianie i łączenie nazwanych encji NEL z wykorzystaniem Azure API Ekstrakcja relacji Podejścia do RE RE z wykorzystaniem Watson API Inne zaawansowane zadania IE Ekstrakcja informacji temporalnych Ekstrakcja zdarzeń Uzupełnianie szablonów Studium przypadku Podsumowanie Bibliografia 6. CzatbotyZastosowania Prosty bot FAQ Taksonomia czatbotów Dialog ukierunkowany na cel Pogawędki Potok budowania systemów dialogowych Szczegóły systemu dialogowego Czatbot PizzaStop Szczegółowa analiza komponentów systemu dialogowego Klasyfikacja aktu dialogowego Identyfikacja slotów Generowanie odpowiedzi Systemy dialogowe z przykładami kodu Inne potoki dialogowe Podejście kompleksowe Generowanie dialogu poprzez uczenie głębokie ze wzmocnieniem Człowiek w pętli Rasa NLU Studium przypadku - polecanie przepisów Korzystanie z istniejących platform Czatboty generatywne o strukturze otwartej Podsumowanie Bibliografia 7. Tematy w skrócieWyszukiwanie i zwracanie informacji Komponenty wyszukiwarki Typowy potok wyszukiwarki korporacyjnej Budowanie wyszukiwarki - przykład Studium przypadku - wyszukiwarka dla księgarni Modelowanie tematyczne Trenowanie modelu tematycznego - przykład Co dalej? Streszczanie tekstu Zastosowania streszczania Konfigurowanie narzędzia streszczającego - przykład Praktyczne rady Systemy rekomendujące dane tekstowe Tworzenie systemu rekomendacji książek - przykład Praktyczne rady Tłumaczenie maszynowe Używanie interfejsu API do tłumaczenia maszynowego - przykład Praktyczne rady Systemy odpowiadania na pytania Budowanie własnego systemu odpowiadania na pytania Poszukiwanie głębszych odpowiedzi Podsumowanie Bibliografia CZĘŚĆ III. Praktyka8. Media społecznościoweAplikacje Unikatowe wyzwania Przetwarzanie języka naturalnego w danych społecznościowych Chmura wyrazowa Jonizator SMTD Popularne tematy Odczucia użytkowników Twittera Wstępne przetwarzanie danych SMTD Reprezentacja tekstu w SMTD Obsługa klienta w kanałach społecznościowych Memy i fake newsy Identyfikowanie memów Fake newsy Podsumowanie Bibliografia 9. E-commerce i handel detalicznyKatalog e-commerce Analiza recenzji Wyszukiwanie produktów Rekomendacje produktów Wyszukiwanie w e-commerce Budowanie katalogu e-commerce Ekstrakcja atrybutów Kategoryzacja i taksonomia produktów Wzbogacanie produktów Deduplikacja i dopasowywanie produktów Analiza recenzji Analiza odczuć Aspektowa analiza odczuć Łączenie ocen ogólnych z aspektami Rozumienie aspektów Rekomendacje w e-commerce Studium przypadku - produkty substytucyjne i komplementarne Podsumowanie Bibliografia 10. Opieka zdrowotna, finanse i prawoOpieka zdrowotna Dokumentacja zdrowotna i medyczna Ustalanie priorytetów i rozliczanie pacjentów Nadzór farmakologiczny Systemy wspomagania decyzji klinicznych Asystenty zdrowotne Elektroniczna dokumentacja medyczna Monitorowanie zdrowia psychicznego Ekstrakcja i analiza informacji medycznych Finanse i prawo Zastosowania NLP w finansach NLP w krajobrazie prawnym Podsumowanie Bibliografia CZĘŚĆ IV. Synteza11. Kompleksowy proces NLPPowrót do potoku NLP - wdrażanie oprogramowania NLP Przykładowy scenariusz Budowanie i utrzymywanie dojrzałego systemu Znajdowanie lepszych cech Iteracyjne rozwijanie istniejących modeli Odtwarzalność kodu i modelu Rozwiązywanie problemów i interpretowalność Monitorowanie Minimalizowanie długu technicznego Automatyzacja uczenia maszynowego Proces data science Proces KDD Proces Microsoft Team Data Science Droga do sukcesu AI w Twojej organizacji Zespół Właściwy problem i właściwe oczekiwania Dane i czas Dobry proces Inne aspekty Spojrzenie poza horyzont Ostatnie słowa Bibliografia Skorowidz