Skuteczna inżynieria promptów. Przyszłościowe rozwiązania dla rzetelnych wyników generatywnej AI Częstochowa

Udostępnienie dużych modeli językowych (LLM, ang. large language model) i modeli dyfuzyjnych, takich jak ChatGPT, Midjourney czy Stable Diffusion, zrewolucjonizowało wiele branż. Dzięki nim możliwa stała się realizacja szerokiego zakresu zadań, nawet tych, które do niedawna wydawały się niemożliwe do automatyzacji. Ponadto próg wejścia w świat AI jest bardzo niski, co sprawia, że niemal każdy może korzystać z modeli AI zgodnie ze swoimi potrzebami. Absolutnie najlepsza książka na temat inżynierii promptów! Dan Shipper, współzałożyciel i prezes Every Z tą książką opanujesz podstawy generatywnej AI i nauczysz się skutecznie stosować jej modele w praktyce. Szczególną uwagę poświęcono integracji modeli językowych i dyfuzyjnych, co często bywa wyzwaniem, zwłaszcza w zakresie stabilności uzyskanych rozwiązań. Autorzy w jasny sposób wyjaśniają, jak za sprawą inżynierii promptów zapewnić niezawodność działania sztucznej inteligencji w środowiskach produkcyjnych. Co więcej, zaproponowane zasady są skonstruowane tak, aby bez trudu przetrwały próbę czasu i mogły być używane również dla przyszłych modeli! W książce: pięć uniwersalnych i perspektywicznych reguł promptowania korzystanie z generatywnej AI za pomocą bibliotek i frameworków, takich jak LangChain zalety i wady różnych modeli, w tym autorstwa OpenAI, i ich alternatyw praktyczne pisanie wysokiej jakości promptów w obszarze generowania tekstu, kodu i obrazów Jeśli chcesz poprawić wiarygodność swoich systemów AI, musisz mieć tę książkę! Mayo Oshin, założyciel i prezes Siennai Analytics Obaj autorzy eksperymentowali z inżynierią promptów od 2020 roku, teraz pracują jako inżynierowie promptów. Spis treści: Wprowadzenie Rozdział 1. Pięć zasad promptowania Omówienie pięciu zasad promptowania 1. Określ wytyczne 2. Określ format odpowiedzi 3. Przedstaw przykłady 4. Oceniaj jakość 5. Dziel pracę Podsumowanie Rozdział 2. Wprowadzenie do dużych modeli językowych do generowania tekstu Czym są modele do generowania tekstu? Reprezentacje wektorowe: język w liczbach Architektura transformerów: orkiestracja związków kontekstowych Probabilistyczne generowanie tekstu: mechanizm podejmowania decyzji Krótko o historii: wzrost znaczenia architektur transformerów Wstępnie przeszkolony transformer generatywny OpenAI GPT-3.5-turbo i ChatGPT GPT-4 Google Gemini Model Llama firmy Meta a otwarte oprogramowanie Kwantyzacja i LoRA Mistral Anthropic: Claude GPT-4V(ision) Porównanie modeli Podsumowanie Rozdział 3. Standardowe zasady generowania tekstu z ChatGPT Generowanie list Generowanie list hierarchicznych Kiedy unikać wyrażeń regularnych? Generowanie danych w formacie JSON Generowanie danych w formacie YAML Filtrowanie dokumentów YAML Obsługa nieprawidłowych dokumentów w formacie YAML Generowanie różnorodnych formatów z użyciem ChatGPT Spreparowane dane CSV Wyjaśnij to jak pięciolatkowi Uniwersalne tłumaczenia za pomocą LLM Pytaj o kontekst Wydzielenie stylu tekstu Znalezienie pożądanych cech tekstu Generowanie nowej treści za pomocą wyekstrahowanych cech Ekstrakcja określonych cech tekstu za pomocą LLM Podsumowywanie Podsumowywanie a ograniczenia okna kontekstu Podział tekstu na fragmenty Zalety dzielenia tekstu na fragmenty Scenariusze podziału tekstu na fragmenty Niewłaściwe przykłady dzielenia tekstu na fragmenty Strategie podziału Wykrywanie zdań z użyciem spaCy Tworzenie prostego algorytmu podziału w Pythonie Podział za pomocą okna przesuwnego Pakiety do dzielenia tekstu Podział tekstu z biblioteką tiktoken Kodowania Zrozumienie procesu tokenizacji łańcuchów znaków Szacowanie użycia tokenów w wywołaniach API czata Analiza sentymentu Sposoby usprawnienia analizy sentymentu Ograniczenia i wyzwania analizy sentymentu Od najmniejszych do największych Planowanie architektury Programowanie funkcji we Flasku Dodawanie testów Zalety techniki od najmniejszych do największych Wyzwania, jakie wiążą się z techniką od najmniejszych do największych Promptowanie z użyciem ról Zalety promptowania z użyciem ról Wyzwania, jakie wiążą się z promptowaniem z użyciem ról Kiedy korzystać z promptowania z użyciem ról Techniki promptowania GPT Unikanie halucynacji dzięki tekstom źródłowym Daj modelowi GPT "czas na przemyślenie" Technika wewnętrznego monologu Samooceniające odpowiedzi modelu językowego Klasyfikacja za pomocą dużych modeli językowych Tworzenie modelu klasyfikacji Głosowanie większością w klasyfikacji Ewaluacja kryteriów Metapromptowanie Podsumowanie Rozdział 4. Zaawansowane techniki generowania tekstu za pomocą LangChain Wprowadzenie do LangChain Konfiguracja środowiska Modele czatowe Strumieniowanie modeli czatowych Generowanie wielu odpowiedzi z dużych modeli językowych Szablony promptów LangChain Język wyrażeń LangChain (LCEL) Stosowanie PromptTemplate z modelami czatowymi Parsery wyjścia Ewaluacje LangChain Wywołanie funkcji OpenAI Współbieżne wywołanie funkcji Wywoływanie funkcji w LangChain Ekstrakcja danych za pomocą LangChain Planowanie zapytań Tworzenie szablonów promptów z kilkoma przykładami Podejście z kilkoma przykładami o stałej długości Formatowanie przykładów Wybór promptów z kilkoma przykładami według długości Ograniczenia promptów z kilkoma przykładami Zapisywanie i wczytywanie promptów modeli językowych Łączenie danych Ładowarki dokumentów Rozdzielacze tekstu Podział tekstu według długości i liczby tokenów Rekursywny podział według wielu znaków Dekompozycja zadań Łańcuchy promptów Łańcuchy sekwencyjne Ekstrakcja kluczy za pomocą funkcji itemgetter Tworzenie struktury dla łańcuchów LCEL Łańcuchy dokumentów Łańcuch nadziania dokumentów Łańcuchy oczyszczania Mapowanie i redukcja Łańcuch mapowania z rankingiem Podsumowanie Rozdział 5. Wektorowe bazy danych z FAISS i Pinecone Retrieval Augmented Generation (RAG) Wprowadzenie do osadzeń Ładowanie dokumentów Pozyskiwanie z pamięci za pomocą FAISS RAG z użyciem frameworka LangChain Wektorowe bazy danych w chmurze z użyciem Pinecone Samoodpytywanie Alternatywne mechanizmy pozyskiwania danych Podsumowanie Rozdział 6. Agenty autonomiczne z pamięcią i narzędziami Łańcuch myśli Agenty Wnioskuj i działaj (ReAct) Implementacja schematu wnioskuj i działaj Stosowanie narzędzi Duże modele językowe jako API (funkcje OpenAI) Porównanie funkcji OpenAI i schematu ReAct Przypadki użycia dla funkcji OpenAI ReAct Przypadki użycia dla schematu ReAct Zestawy narzędzi dla agentów Dostosowywanie standardowych agentów Własne agenty w LCEL Zasady użycia pamięci Pamięć długoterminowa Pamięć krótkoterminowa Pamięć krótkoterminowa w agentach konwersacyjnych QA Obsługa pamięci w LangChain Zachowywanie stanu Odpytywanie stanu ConversationBufferMemory Inne popularne rodzaje pamięci w LangChain ConversationBufferWindowMemory ConversationSummaryMemory ConversationSummaryBufferMemory ConversationTokenBufferMemory Agent funkcji OpenAI z pamięcią Zaawansowane frameworki agentowe Agenty typu planuj i uruchamiaj Drzewo myśli Wywołania zwrotne Globalne wywołania zwrotne (w konstruktorach) Wywołania zwrotne żądań Argument verbose Które wywołanie zwrotne wybrać? Zliczanie tokenów za pomocą LangChain Podsumowanie Rozdział 7. Wprowadzenie do modeli dyfuzyjnych przeznaczonych do generowania obrazów OpenAI DALL-E Midjourney Stable Diffusion Google Gemini Generowanie filmów na podstawie tekstu Porównanie modeli Podsumowanie Rozdział 8. Standardowe metody generowania obrazów z Midjourney Modyfikatory formatu Modyfikatory stylu w sztuce Inżynieria odwrotna promptów Dopalacze jakości Prompty negatywne Pojęcia ważone Promptowanie z użyciem obrazków Wmalowywanie Domalowywanie Spójne postaci Przepisywanie promptów Rozdzielenie memów Mapowanie memów Analiza promptów Podsumowanie Rozdział 9. Zaawansowane techniki generowania obrazów za pomocą Stable Diffusion Uruchamianie modelu Stable Diffusion Interfejs webowy AUTOMATIC1111 Img2Img Skalowanie obrazków w górę Tryb Interrogate CLIP Wmalowanie i domalowanie w Stable Diffusion ControlNet Model segmentowania wszystkiego (SAM) Dostrajanie DreamBooth Dostrajacz modelu Stable Diffusion XL Podsumowanie Rozdział 10. Tworzenie aplikacji wspomaganych AI Pisanie bloga przez AI Badanie tematu Wywiad ekspercki Wygeneruj zarys Generowanie tekstu Styl pisania Optymalizacja tytułu Obrazki na blogu generowane przez AI Interfejs użytkownika Podsumowanie Skorowidz