Demokratyzacja cyberbezpieczeństwa: licencje,...
Kilka lat temu Martin Woodward, Wiceprezes ds. Relacji z Deweloperami w firmie Github stwierdził, że około 97% aplikacji wykorzystuje otwarty kod źródłowy...
Wykorzystanie MITRE ATLAS i OWASP Top 10 do Ochrony Modeli LLM
Zwiększ bezpieczeństwo rozwiązań wykorzystujących LLMs (Large Language Models) z MITRE Atlas i OWASP Top 10
Celem zapewnienia bezpieczeństwa LLMs, specjaliści bezpieczeństwa mogą wykorzystać dwa nowe frameworki. Powszechnie znana matryca MITRE, ma nowe wydanie. Jako MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) oferuje bazę wiedzy o taktykach i technikach adwersarzy mierzonych przeciwko systemom wykorzystującym AI. ATLAS jest wzorowany na dobrze znanej wszystkim strukturze MITRE ATT&CK i jej taktykach, technikach i procedurach (TTP’s).
Matryca MITRE ATLAS, źródło: https://atlas.mitre.org/matrices/ATLAS
Wraz z coraz szerszym wdrażaniem technologii AI, w tym modeli LLM, ATLAS staje się kluczowym narzędziem w opracowywaniu strategii bezpieczeństwa, pomagając organizacjom chronić swoje rozwiązania AI przed nowymi zagrożeniami. Organizacje mogą implementować rozwiązania, które bazują na wnioskach z MITRE ATLAS – np. automatyzować monitorowanie zagrożeń związanych z AI, integrować mechanizmy ochrony przed atakami, takimi jak „data poisoning” czy „model evasion”, oraz tworzyć strategie obrony oparte na technikach zidentyfikowanych w ATLAS.
OWASP Top 10 z kolei to lista dziesięciu najpoważniejszych zagrożeń bezpieczeństwa aplikacji webowych, opracowywana przez organizację OWASP (Open Web Application Security Project). Służy jako przewodnik dla programistów i specjalistów ds. bezpieczeństwa, pomagając w identyfikacji i eliminacji najczęstszych luk w aplikacjach. Lista ta jest regularnie aktualizowana, by odzwierciedlać zmieniające się zagrożenia. OWASP Top 10 for LLM Applications 2025 zawiera uszeregowaną pod względem ważności listę najczęstszych obszarów, którymi powinni zająć się programiści, naukowcy zajmujący się danymi i eksperci ds. bezpieczeństwa, których zadaniem jest projektowanie i tworzenie aplikacji i wtyczek wykorzystujących technologie sztucznej inteligencji oparte na LLM. Ponieważ LLM są coraz powszechniej osadzane w wielu rozwiązaniach, od interakcji z klientami po operacje wewnętrzne, programiści i specjaliści ds. bezpieczeństwa odkrywają nowe luki w zabezpieczeniach – i sposoby przeciwdziałania im. W dokumencie możemy odnaleźć takie kategorie zagrożeń jak: prompt injection, sensitive information disclosure, supply chain, data and model poisoning, improper output handling, excessive agency, system prompt leakage, vector and embedding weaknesses, misinformation, unbounded consumption.
Co ciekawe do każdej podatności dokument zawiera bardziej szczegółowy opis, wskazuje przykładowe ryzyka związane z podatnością, zalecenia dotyczące prewencji i mitygacji, przykładowy scenariusz ataku oraz linki do materiałów zewnętrznych.
Dokument w całości do pobrania dostępny pod tym linkiem:
https://genai.owasp.org/download/43299/?tmstv=1731900559
Autor: Monika Gliwka; Wieloletni pracownik sektora rządowego – specjalistka. ds. cyberbezpieczeństwa, analityk Cyber Threat Intelligence.
