Zakaj klasičen varnostni pregled ne zadostuje
Pri klasični aplikaciji lahko razmeroma jasno ločimo podatke, kodo in uporabnika. Pri AI funkciji se meje zabrišejo: uporabnikov vnos lahko vpliva na sistemska navodila, model lahko razkrije podatke iz konteksta, agent pa lahko izvede dejanje, ki ga razvijalec ni predvidel. Zato je treba preveriti tako aplikacijsko varnost kot vedenje modela in omejitve orodij.
Posebej pomembno je, kje se nahajajo podatki. Če uporabljate zunanji API, se podatki pošiljajo ponudniku; če uporabljate odprtokodni model, ga lahko gostite sami, vendar prevzamete odgovornost za infrastrukturo, posodobitve in dostop. Nobena izbira ni samodejno varnejša; odvisna je od podatkov, pogodb in nadzora, ki ga potrebujete.
OWASP LLM Top 10 (2025) v praksi
OWASP Top 10 za LLM aplikacije 2025 je koristen okvir za razpravo, ne pa kontrolni seznam, ki bi ga bilo mogoče označiti kot "opravljeno". Pri pregledu ga uporabimo kot izhodišče in ga povežemo z vašo arhitekturo.
- LLM01 Prompt Injection: zlonamerni vnos poskuša spremeniti navodila ali obiti omejitve.
- LLM02 Sensitive Information Disclosure: model razkrije podatke iz konteksta, dnevnikov ali povezanih virov.
- LLM03 Supply Chain: tveganja v modelih, knjižnicah, podatkih in zunanjih storitvah.
- LLM04 Data and Model Poisoning: ponarejeni ali zastrupljeni podatki vplivajo na vedenje modela.
- LLM05 Improper Output Handling: izhod modela se uporabi brez ustreznih omejitev ali kodiranja.
- LLM06 Excessive Agency: agent ima več pravic ali možnosti delovanja, kot jih potrebuje.
- LLM07 System Prompt Leakage: razkritje sistemskih navodil ali skritih pravil.
- LLM08 Vector and Embedding Weaknesses: tveganja v iskalnikih, embeddingih in virih znanja.
- LLM09 Misinformation: model ustvari verjetno, a napačno informacijo, ki vodi v napačno odločitev.
- LLM10 Unbounded Consumption: nenadzorovana poraba žetonov, klicev ali računalniških virov.
Zasebno uvajanje in nadzor podatkov
Zasebno uvajanje ne pomeni nujno, da model teče na vašem strežniku. Lahko pomeni, da uporabljate ponudnika z jasnimi pogodbami o obdelavi, izbrano regijo in omejenim dostopom. Če želite popoln nadzor, lahko uvedete odprtokodni model na infrastrukturi, ki jo upravljate vi ali vaš pogodbeni gostitelj.
V vsakem primeru določite, kateri podatki lahko vstopijo v model, kdo jih vidi, kako dolgo se hranijo in kako jih lahko izbrišete. Beležite, kdo je model klical, s katerimi orodji in s kakšnim rezultatom. Če tega ne morete pojasniti kupcu, bo enterprise pregled težak.
- Klasifikacija podatkov, ki smejo v model in ki ne.
- Pogodbe z ponudniki modelov in obdelovalci podatkov.
- Lokacija obdelave in prenosi v tretje države.
- Dostop do konzol, ključev in dnevnikov.
- Hramba, izbris in izvoz podatkov.
- Beleženje klicev, orodij in odločitev agenta.
Kaj preveriti pred lansiranjem
Pred lansiranjem pripravite threat model za AI funkcijo: kdo jo uporablja, kaj lahko vnese, do katerih podatkov dostopa in kaj lahko naredi. Nato določite omejitve: kaj model sme in česa ne sme, katera orodja so na voljo in kdaj je potreben človeški pregled.
Testirajte scenarije, ne le srečnih poti. Preverite, ali lahko uporabnik izvleče sistemska navodila, ali lahko agent izvede dejanje brez dovoljenja, ali se ob napaki razkrijejo podatki in ali je izhod mogoče zlorabiti v naslednjem koraku. Vzpostavite omejitve porabe, dnevnike in postopek odziva na incident. AI funkcija brez monitoringa je slepa pega.
- 1. Threat modelPodatki, vloge, orodja, meje zaupanja in scenariji zlorabe.
- 2. Omejitve in testiGuardrails, dovoljenja, človeški pregled in red-team scenariji.
- 3. Nadzor in odzivDnevniki, alarmi, omejitve porabe in načrt za incidente.
Kaj naredimo v pilotnem pregledu
Na 20-minutnem pogovoru ugotovimo, kje v produktu je AI funkcija, katere podatke obdeluje in kaj lahko naredi. Nato pripravimo seznam tveganj in prioritet, povezanih z OWASP LLM Top 10. Če potrebujete globlji pregled ali podporo pri zasebnem uvajanju, se dogovorimo o obsegu. Ne izdajamo certifikatov in ne trdimo, da je AI funkcija "skladna" brez pravnega pregleda.
Pogosta vprašanja
Ali je uporaba ChatGPT ali drugega LLM API varnejša od lastnega modela?
Ni univerzalnega odgovora. Zunanji ponudnik lahko ponudi urejene pogodbe, varnost in skalabilnost, vendar podatki zapustijo vašo infrastrukturo. Lastni model daje več nadzora, a prinaša odgovornost za infrastrukturo, posodobitve in dostop. Odločitev je odvisna od občutljivosti podatkov in zahtev kupcev.
Kaj je prompt injection?
Prompt injection je vnos, s katerim uporabnik ali zunanji vir poskuša spremeniti navodila modela, obiti omejitve ali doseči nedovoljeno dejanje. Pri agentih je posebej nevaren, ker lahko vodi v klic orodja ali dostop do podatkov.
Ali potrebujemo ločeno oceno tveganj za AI?
Priporočljivo je, da AI funkcija ni obravnavana le kot običajna funkcionalnost. Ločen threat model pomaga zajeti tveganja, povezana z modelom, podatki, orodji in vedenjem agenta. Obseg je odvisen od tega, kaj funkcija počne in katere podatke obdeluje.
Ali lahko uporabljamo model, gostovan v EU?
Lokacija gostovanja je pomemben dejavnik, ni pa edini. Preverite, kdo je obdelovalec, kje se podatki hranijo, ali se prenašajo v tretje države in kakšne so pogodbene omejitve. Za pravno presojo se posvetujte s pooblaščeno osebo za varstvo podatkov.
Ali nas zadeva akt o umetni inteligenci?
Akt o umetni inteligenci (Uredba (EU) 2024/1689) uvaja obveznosti glede na vlogo in tveganje sistema. Ali in kako vas zadeva, je pravno vprašanje. Pri pregledu lahko zberemo tehnične informacije, ki jih boste potrebovali za pravno oceno.
Viri in pravna podlaga
To ni pravno svetovanje. Pred podpisom pogodb ali spreminjanjem skladnosti preverite zahteve z odvetnikom oziroma pooblaščeno osebo za varstvo podatkov.