LLMs w akcji. Od modeli językowych do dochodowych produktów Kościan

Duże modele językowe (LLM) rewolucjonizują branżę IT, oferując bezprecedensowe możliwości w zakresie przetwarzania języka naturalnego. ChatGPT i podobne rozwiązania pokazały ogromny potencjał tej technologii, ale wdrożenie LLM w środowiskach produkcyjnych to znacznie więcej niż tylko korzystanie z gotowych API. Książka wypełnia lukę między teorią a praktyką, pokazując, jak przekształcić fascynujące demonstracje w działające produkty biznesowe. Stanowi doskonałe uzupełnienie publikacji Sebastiana Raschki Stwórz własne AI. Jak od podstaw zbudować duży model językowy, skupionej na budowaniu i zrozumieniu LLM od podstaw rozszerza tę wiedzę o praktyczne zastosowania w produkcji, w tym integrację, efektywne kosztowo trenowanie modeli i ocenę ich jakości.[JB1.1] Autorzy prowadzą czytelnika przez kompletny proces od wyboru odpowiedniego modelu bazowego, przez przygotowanie danych treningowych i techniki dostrajania, aż po wdrożenie w klastrze Kubernetes. Prezentują przy tym trzy praktyczne projekty: budowę własnego modelu LLM od podstaw, stworzenie rozszerzenia AI dla VS Code i wdrożenie modelu na Raspberry Pi. Szczególny nacisk kładą na aspekty produkcyjne zarządzanie kosztami, bezpieczeństwo, skalowanie i monitorowanie systemów opartych na LLM. W książce: Kompletny przewodnik po LLMOps Praktyczne techniki kompresji i optymalizacji (kwantyzacja, LoRA, destylacja wiedzy) Inżynieria promptów i budowa agentów AI Implementacja systemów RAG z wektorowymi bazami danych Zarządzanie infrastrukturą Kubernetes dla aplikacji AI Bezpieczeństwo, kontrola kosztów i monitorowanie systemów LLM Od teorii do produkcji praktyczny przewodnik po wdrażaniu LLM Recenzje ekspertów:Książka opisuje wszystkie kluczowe aspekty budowania i wdrażania dużych modeli językowych. Obejmuje szczegółowe i fascynujące obszary, pomijane w większości innych publikacji. Andrew Carr, Cartwheel Lektura obowiązkowa dla każdego, kto chce wykorzystać potencjał dużych modeli językowych w środowiskach produkcyjnych. Jepson Taylor, VEOX Inc. Wyjątkowy przewodnik, który upraszcza proces budowy i wdrażania złożonych dużych modeli językowych. Arunkumar Gopalan, Microsoft Spis treści: Przedmowa Wstęp Podziękowania O książce O autorach O ilustracji na okładce 1. Przebudzenie słów: Dlaczego duże modele językowe przyciągnęły uwagę 1.1. Duże modele językowe przyspieszające komunikację 1.2. Podejmowanie decyzji o tworzeniu lub zakupie modeli językowych 1.2.1. Zakupy: Utarte ścieżki 1.2.2. Budowanie: Mniej uczęszczana ścieżka 1.2.3. Ostrzeżenie: Otwórz się na przyszłość już teraz 1.3. Obalanie mitów Podsumowanie 2. Duże modele językowe: Szczegółowe rozważania o modelowaniu języka 2.1. Modelowanie języka 2.1.1. Cechy językowe 2.1.2. Semiotyka 2.1.3. Wielojęzyczne przetwarzanie języka naturalnego 2.2. Techniki modelowania języka 2.2.1. Techniki oparte na N-gramach i korpusach 2.2.2. Techniki bayesowskie 2.2.3. Łańcuchy Markowa 2.2.4. Ciągłe modelowanie języka 2.2.5. Osadzenia 2.2.6. Perceptrony wielowarstwowe 2.2.7. Sieci neuronowe rekurencyjne i sieci z długą pamięcią krótkotrwałą 2.2.8. Mechanizm uwagi 2.3. Uwaga to wszystko, czego potrzebujesz 2.3.1. Kodery 2.3.2. Dekodery 2.3.3. Transformery 2.4. Naprawdę duże transformery Podsumowanie 3. Operacje na dużych modelach językowych: Tworzenie platformy dla modeli LLM 3.1. Wprowadzenie do operacji na dużych modelach językowych 3.2. Wyzwania operacyjne związane z dużymi modelami językowymi 3.2.1. Długi czas pobierania 3.2.2. Dłuższe czasy wdrażania 3.2.3. Opóźnienie 3.2.4. Zarządzanie kartami graficznymi (GPU) 3.2.5. Osobliwości danych tekstowych 3.2.6. Ograniczenia tokenów tworzą wąskie gardła 3.2.7. Halucynacje powodują dezorientację 3.2.8. Uprzedzenia i kwestie etyczne 3.2.9. Kwestie bezpieczeństwa 3.2.10. Kontrola kosztów 3.3. Podstawy LLMOps 3.3.1. Kompresja 3.3.2. Przetwarzanie rozproszone 3.4. Infrastruktura operacyjna modeli językowych 3.4.1. Infrastruktura danych 3.4.2. Narzędzia do śledzenia eksperymentów 3.4.3. Rejestr modeli 3.4.4. Magazyny cech 3.4.5. Wektorowe bazy danych 3.4.6. System monitorowania 3.4.7. Stacje robocze z obsługą GPU 3.4.8. Usługa wdrożeniowa Podsumowanie 4. Inżynieria danych na potrzeby dużych modeli językowych: Przygotowania do sukcesu 4.1. Modele są fundamentem 4.1.1. GPT 4.1.2. Model BLOOM 4.1.3. Llama 4.1.4. Wizard 4.1.5. Falcon 4.1.6. Vicuna 4.1.7. Dolly 4.1.8. OpenChat 4.2. Ocena modeli językowych 4.2.1. Metryki oceny tekstu 4.2.2. Benchmarki branżowe 4.2.3. Odpowiedzialne benchmarki sztucznej inteligencji 4.2.4. Tworzenie własnego testu wydajności 4.2.5. Ocena generatorów kodu 4.2.6. Ocena parametrów modelu 4.3. Dane dla modeli językowych 4.3.1. Zbiory danych, które warto znać 4.3.2. Czyszczenie i przygotowanie danych 4.4. Edytory tekstu 4.4.1. Tokenizacja 4.4.2. Osadzenia 4.5. Przygotowanie zbioru danych Slack Podsumowanie 5. Trenowanie dużych modeli językowych: Jak wygenerować generator 5.1. Środowiska wieloprocesorowe GPU 5.1.1. Konfiguracja początkowa 5.1.2. Biblioteki 5.2. Podstawowe techniki szkoleniowe 5.2.1. Trenowanie od podstaw 5.2.2. Uczenie transferowe (dostrajanie) 5.2.3. Promptowanie 5.3. Zaawansowane techniki trenowania 5.3.1. Dostrajanie z użyciem promptów 5.3.2. Dostrajanie z wykorzystaniem destylacji wiedzy 5.3.3. Uczenie przez wzmacnianie na podstawie informacji zwrotnych od człowieka 5.3.4. Mieszanka ekspertów 5.3.5. LoRA i PEFT 5.4. Wskazówki i triki szkoleniowe 5.4.1. Uwagi dotyczące rozmiaru danych treningowych 5.4.2. Efektywne szkolenie 5.4.3. Pułapki lokalnych minimów 5.4.4. Wskazówki dotyczące dostrajania hiperparametrów 5.4.5. Uwaga na temat systemów operacyjnych 5.4.6. Wskazówki dotyczące funkcji aktywacji Podsumowanie 6. Duże modele językowe jako usługi: Praktyczny przewodnik 6.1. Tworzenie usługi LLM 6.1.1. Kompilacja modelu 6.1.2. Strategie przechowywania modeli LLM 6.1.3. Adaptacyjne grupowanie żądań 6.1.4. Kontrola przepływu 6.1.5. Strumieniowanie odpowiedzi 6.1.6. Magazyn cech 6.1.7. Generowanie wspomagane wyszukiwaniem 6.1.8. Biblioteki usług LLM 6.2. Przygotowanie infrastruktury 6.2.1. Tworzenie i konfigurowanie klastrów 6.2.2. Automatyczne skalowanie 6.2.3. Aktualizacje kroczące 6.2.4. Grafy wnioskowania 6.2.5. Monitorowanie 6.3. Wyzwania produkcyjne 6.3.1. Aktualizacje modelu i ponowne uczenie 6.3.2. Testy obciążeniowe 6.3.3. Rozwiązywanie problemów z wysokim opóźnieniem 6.3.4. Zarządzanie zasobami 6.3.5. Inżynieria kosztów 6.3.6. Bezpieczeństwo 6.4. Wdrożenia na urządzeniach brzegowych Podsumowanie 7. Inżynieria promptów: Jak zostać zaklinaczem modeli językowych 7.1. Promptowanie modelu 7.1.1. Promptowanie na kilku przykładach 7.1.2. Promptowanie na jednym przykładzie 7.1.3. Promptowanie bez przykładów 7.2. Podstawy inżynierii promptów 7.2.1. Anatomia promptu 7.2.2. Parametry podpowiedzi 7.2.3. Pozyskiwanie danych treningowych 7.3. Narzędzia do inżynierii promptów 7.3.1. LangChain 7.3.2. Wskazówki 7.3.3. DSPy 7.3.4. Dostępne są również inne narzędzia, ale. 7.4. Zaawansowane techniki inżynierii promptów 7.4.1. Wyposażanie modeli językowych w narzędzia 7.4.2. ReAct Podsumowanie 8. Aplikacje LLM: Doświadczenia interaktywne 8.1. Tworzenie aplikacji 8.1.1. Strumieniowanie po stronie klienta 8.1.2. Zachowywanie historii 8.1.3. Funkcje interakcji z chatbotem 8.1.4. Zliczanie tokenów 8.1.5. Stosowanie RAG 8.2. Aplikacje na urządzenia brzegowe 8.3. Agenty oparte na modelach językowych Podsumowanie 9. Tworzenie projektu LLM: Reimplementacja modelu Llama 3 9.1. Implementacja modelu Llama firmy Meta 9.1.1. Tokenizacja i konfiguracja 9.1.2. Zbiór danych, wczytywanie danych, ocena i generowanie 9.1.3. Architektura sieci 9.2. Prosty model Llama 9.3. Ulepszanie 9.3.1. Kwantyzacja 9.3.2. LoRA 9.3.3. W pełni sfragmentowana równoległość danych - skwantyzowana LoRA 9.4. Wdrażanie modelu do przestrzeni Hugging Face Hub Podsumowanie 10. Tworzenie projektu asystenta do programowania: To by ci się przydało wcześniej 10.1. Nasz model 10.2. Dane rządzą 10.2.1. Nasza baza danych wektorowych 10.2.2. Nasz zbiór danych 10.2.3. Zastosowanie RAG 10.3. Tworzenie rozszerzenia dla VS Code 10.4. Wnioski i kolejne kroki Podsumowanie 11. Wdrażanie modelu LLM na Raspberry Pi: Gdzie jest granica minimalizacji? 11.1. Konfiguracja Raspberry Pi 11.1.1. Program Pi Imager 11.1.2. Łączenie się z Pi 11.1.3. Instalowanie i aktualizowanie oprogramowania 11.2. Przygotowanie modelu 11.3. Udostępnianie modelu 11.4. Ulepszenia 11.4.1. Korzystanie z ulepszonego interfejsu 11.4.2. Zmiana kwantyzacji 11.4.3. Dodawanie multimodalności 11.4.4. Udostępnianie modelu w Google Colab Podsumowanie 12. Produkcja, środowisko bezustannych zmian: Wszystko dopiero się zaczyna 12.1. Spojrzenie z lotu ptaka 12.2. Przyszłość modeli językowych 12.2.1. Rząd i regulacje 12.2.2. Modele językowe stają się coraz większe 12.2.3. Przestrzenie wielomodalne 12.2.4. Zbiory danych 12.2.5. Rozwiązywanie problemu halucynacji 12.2.6. Nowy sprzęt 12.2.7. Agenty staną się użyteczne 12.3. Końcowe przemyślenia Podsumowanie A. Historia językoznawstwa A.1. Językoznawstwo starożytne A.2. Lingwistyka średniowieczna A.3. Językoznawstwo renesansowe i wczesnonowożytne A.4. Językoznawstwo wczesnego XX wieku A.5. Językoznawstwo połowy XX wieku i współczesne B. Uczenie przez wzmacnianie na podstawie informacji zwrotnych od człowieka C. Multimodalne przestrzenie ukryte