Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów Wołczyn

Czy nie masz wrażenia, że niemal każdy do swojego stosu oprogramowania pośpiesznie dołącza aplikacje oparte na dużych modelach językowych? Możliwości tej fascynującej technologii wydają się nieograniczone. Ale nie popadaj jeszcze w euforię. Jest haczyk. Bezpieczeństwo. Konsekwencje skutecznego ataku na aplikację LLM mogą się okazać katastrofalne. Ta książka sprawi, że łatwiej sprostasz wyzwaniom i zdobędziesz specjalistyczną wiedzę, aby zabezpieczyć swoje aplikacje LLM! MArten Mickos, CEO, HackerOne Dzięki tej praktycznej książce dogłębnie poznasz zagrożenia specyficzne dla aplikacji opartych na dużych modelach językowych, przeanalizujesz ich charakterystyczne cechy i dowiesz się, jak wyglądają luki w zabezpieczeniach. W ten sposób zdobędziesz praktyczną wiedzę, która podczas tworzenia oprogramowania korzystającego z LLM okazuje się bezcenna. Zapoznasz się również z licznymi wskazówkami i strategiami, które pomogą w zabezpieczaniu aplikacji opartych na sztucznej inteligencji. Niezależnie od tego, czy tworzysz zupełnie nową aplikację, czy zajmujesz się dodawaniem funkcjonalności LLM, znajdziesz tu szeroką gamę przydatnych zagadnień, takich jak architektura dużych modeli językowych, granice zaufania, technika RAG, wstrzykiwanie promptów i wiele innych. Ciekawsze zagadnienia: specyfika zabezpieczania dużych modeli językowych eliminowanie zagrożeń związanych z technologią dużych modeli językowych krytyczne granice zaufania wdrażanie mechanizmów chroniących aplikację LLM usprawnianie budowy bezpiecznego oprogramowania opartego na sztucznej inteligencji Lektura obowiązkowa dla innowatorów! Sherri Douville, CEO, Medigram Spis treści: Wprowadzenie 1. Co poszło nie tak z chatbotami? Pomówmy o projekcie Tay Gwałtowny upadek Tay Dlaczego doszło do afery z Tay? To trudny problem 2. Lista OWASP top 10 dla aplikacji używających dużych modeli językowych Fundacja OWASP Lista top 10 projektu aplikacji wspomaganych przez duże modele językowe Realizacja projektu Przyjęcie Klucz do sukcesu Ta książka i lista top 10 3. Architektury i granice zaufania Sztuczna inteligencja, sieci neuronowe i duże modele językowe - czym się różnią? Rewolucja transformerów - źródło, wpływ i powiązanie z dużymi modelami językowymi Pochodzenie transformerów Wpływ architektury transformerów na sztuczną inteligencję Rodzaje aplikacji wspomaganych przez duże modele językowe Architektura aplikacji wspomaganych przez duże modele językowe Granice zaufania Model Interakcja z użytkownikiem Zbiór danych użytych do wytrenowania modelu Dostęp do bieżących zewnętrznych źródeł danych Dostęp do usług wewnętrznych Podsumowanie 4. Wstrzykiwanie promptu Przykłady ataków typu wstrzykiwanie promptu Natarczywa sugestia Psychologia odwrotna Wprowadzenie w błąd Uniwersalne i zautomatyzowane prompty antagonistyczne Wpływ ataków polegających na wstrzykiwaniu promptu Bezpośredni i pośredni atak polegający na wstrzykiwaniu promptu Bezpośrednie wstrzykiwanie promptów Pośrednie wstrzykiwanie promptów Najważniejsze różnice Łagodzenie skutków ataku polegającego na wstrzykiwaniu promptu Ograniczanie częstotliwości wykonywania zapytań do modelu Filtrowanie danych wejściowych za pomocą reguł Filtrowanie za pomocą dużego modelu językowego specjalnego przeznaczenia Dodawanie struktury promptu Trenowanie antagonistyczne Definicja pesymistycznych granic zaufania Podsumowanie 5. Czy duży model językowy może wiedzieć zbyt wiele? Rzeczywiste przykłady Lee Luda GitHub Copilot i OpenAI Codex Metody zdobywania wiedzy Trenowanie modelu Trenowanie modelu podstawowego Kwestie dotyczące bezpieczeństwa modeli podstawowych Dostrajanie modelu Niebezpieczeństwo związane z trenowaniem Technika RAG Bezpośredni dostęp do sieci WWW Uzyskiwanie dostępu do bazy danych Uczenie się na podstawie interakcji z użytkownikiem Podsumowanie 6. Czy modele językowe śnią o wirtualnych baranach? Dlaczego duży model językowy ulega halucynacji? Rodzaje halucynacji Przykłady Nieistniejące precedensy prawne Proces dotyczący chatbota linii lotniczej Nieumyślne skrzywdzenie człowieka Halucynacje pakietu otwartoźródłowego Kto ponosi odpowiedzialność? Najlepsze praktyki w zakresie zmniejszania niebezpieczeństwa Rozszerzenie wiedzy ściśle związanej z daną dziedziną Łańcuch myśli, który zachęca do większej dokładności Mechanizmy przekazywania informacji zwrotnych - potężne możliwości danych wejściowych użytkownika w zmniejszeniu niebezpieczeństwa Przejrzysta komunikacja dotycząca oczekiwanego sposobu użycia modelu i jego ograniczeń Szkolenie użytkowników - wzmacnianie ich dzięki wiedzy Podsumowanie 7. Nie ufaj nikomu Wyjaśnienie zerowego zaufania Skąd ta paranoja? Implementacja architektury zerowego zaufania dla dużego modelu językowego Obserwacja pod kątem nadmiernej działalności Zabezpieczanie obsługi danych wyjściowych Tworzenie własnego filtru danych wyjściowych Wyszukiwanie danych osobowych za pomocą wyrażenia regularnego Sprawdzanie pod kątem toksyczności Połączenie filtrów z dużym modelem językowym Oczyszczanie w celu zapewnienia bezpieczeństwa Podsumowanie 8. Nie trać głowy Ataki typu DoS Atak ilościowy Atak na protokół Atak na warstwę aplikacji Epicki atak typu DoS na firmę Dyn Przygotowanie ataku typu DoS na duży model językowy Ataki na ograniczone zasoby Wykorzystanie okna kontekstu Nieprzewidywalne dane wejściowe użytkownika Ataki typu DoW Klonowanie modelu Strategie łagodzenia skutków ataku Mechanizmy obronne ściśle związane z daną dziedziną Weryfikacja danych wejściowych i ich oczyszczanie Niezawodne ograniczanie częstotliwości wykonywania zapytań Ograniczanie poziomu użycia zasobów Monitorowanie i ostrzeganie Finansowe wartości progowe i ostrzeżenia Podsumowanie 9. Znajdź najsłabsze ogniwo Podstawy łańcucha dostaw Bezpieczeństwo łańcucha dostaw oprogramowania Incydent związany z agencją Equifax Incydent związany z SolarWinds Luka w zabezpieczeniach Log4Shell Poznanie łańcucha dostaw w przypadku dużego modelu językowego Ryzyko w modelu otwartoźródłowym Zatrucie zbioru danych użytych do wytrenowania modelu Przypadkowo niebezpieczne dane uczące Niebezpieczne wtyczki Tworzenie artefaktów przeznaczonych do śledzenia łańcucha dostaw Waga SBOM Karty modeli Karta modelu a zestawienie komponentów oprogramowania CycloneDX - standard zestawienia komponentów oprogramowania Powstanie ML-BOM Utworzenie przykładowego zestawienia ML-BOM Przyszłość bezpieczeństwa łańcucha dostaw dużego modelu językowego Podpis cyfrowy i znak wodny Bazy danych i klasyfikacje luk w zabezpieczeniach Podsumowanie 10. Wyciąganie wniosków na przyszłość Przegląd listy OWASP top 10 dla aplikacji wspomaganych przez duże modele językowe Studia przypadków Dzień Niepodległości - głośna katastrofa 2001: Odyseja kosmiczna Podsumowanie 11. Zaufaj procesowi Ewolucja ruchu DevSecOps MLOps LLMOps Wbudowanie bezpieczeństwa do procesu LLMOps Bezpieczeństwo w trakcie procesu programistycznego związanego z dużym modelem językowym Zabezpieczanie potoku CI/CD Ściśle związane z dużym modelem językowym narzędzia sprawdzania stanu bezpieczeństwa Zarządzanie łańcuchem dostaw Chroń aplikację za pomocą mechanizmów obronnych Rola mechanizmu obronnego w strategii bezpieczeństwa dużego modelu językowego Otwartoźródłowe i komercyjne rozwiązania w zakresie mechanizmów obronnych Łączenie niestandardowych i gotowych mechanizmów obronnych Monitorowanie aplikacji Rejestrowanie każdego promptu i odpowiedzi Scentralizowane zarządzanie zdarzeniami i dziennikami zdarzeń Analiza sposobu działania użytkownika i encji Utworzenie własnego red teamu dla sztucznej inteligencji Zalety red teamu sztucznej inteligencji Red teamy kontra pentesterzy Narzędzia i podejścia Nieustanne usprawnianie Tworzenie i dostrajanie mechanizmów obronnych Zarządzanie jakością i dostępem do danych Użycie techniki RLHF Podsumowanie 12. Praktyczny framework zapewnienia bezpieczeństwa odpowiedzialnej sztucznej inteligencji Moc Procesory graficzne Chmura Ruch otwartoźródłowy Wielomodalność Autonomiczne agenty Odpowiedzialność Framework RAISE Lista rzeczy do sprawdzenia za pomocą frameworka RAISE Podsumowanie O autorze: Steve Wilson jest dyrektorem produktu w firmie Exabeam. Jest znaną postacią w społeczności sztucznej inteligencji i cyberbezpieczeństwa. Ma ponad 25-letnie doświadczenie w zakresie tworzenia platform oprogramowania dla największych firm technologicznych, takich jak Citrix Systems, Oracle i Sun Microsystems.