TUDI NADZOR IMA NAPADNO POVRŠINO

Pri razpravah o varnosti umetne inteligence se človek pogosto pojavi tam, kjer tehnološkim varovalkam ne zaupamo več povsem. Sistem lahko analizira, predlaga, razvršča ali izvede del postopka, pri pomembnih odločitvah pa naj bi ostala možnost človeškega posega. Nekdo mora razumeti, kaj sistem počne, preveriti rezultat in ga po potrebi zavrniti ali ustaviti. Takšna logika je zapisana tudi v evropskem Aktu o umetni inteligenci. Ta pri visokotveganih sistemih zahteva učinkovit človeški nadzor. Osebe, ki ga izvajajo, morajo med drugim razumeti zmogljivosti in omejitve sistema, pravilno razlagati njegove rezultate ter imeti možnost, da jih prezrejo, razveljavijo ali posežejo v delovanje sistema. Uredba posebej opozarja tudi na nevarnost pretiranega zanašanja na avtomatizirane rezultate.

S tem pa nastane problem, ki je precej manj opazen od napake modela. Če človeka vključimo v varnostno arhitekturo, postane del te arhitekture tudi vse, od česar je odvisna njegova presoja.

In tam se začne nova napadna površina.

Nadzornik ni zunaj sistema

Pri običajnem modeliranju groženj nas zanimajo komponente, podatkovni tokovi, meje zaupanja, identitete in privilegiji. Sprašujemo se, kdo lahko do česa dostopa, kateri podatki prehajajo med sistemi, kje jih je mogoče spremeniti in kaj se zgodi, če posamezni del odpove ali je kompromitiran. Pri človeškem nadzoru se ista vprašanja hitro izgubijo za besedo človek.

Jonas C. Ditz, Veronika Lazar in sodelavci so leta 2025 problem obrnili drugače. Človeški nadzor nad umetno inteligenco so obravnavali kot del sociotehničnega sistema in zanj uporabili modeliranje groženj. Izhodišče je preprosto: če je človeški nadzor varnostna kontrola, je treba analizirati tudi načine, kako je mogoče to kontrolo ogroziti.

Za učinkovit nadzor izpostavljajo štiri pogoje. Nadzornik potrebuje epistemični dostop, torej dovolj ustreznih informacij za presojo, dejansko možnost posega v delovanje sistema, nadzor nad lastnim ravnanjem in ustrezno namero za izvajanje svoje naloge. Če je mogoče poseči v katerega od teh pogojev, je mogoče oslabiti nadzor, ne da bi bilo treba spremeniti sam model umetne inteligence. To precej spremeni običajno sliko napada.

Model lahko ostane nedotaknjen

Predstavljajmo si sistem umetne inteligence, ki deluje tako, kot je bil zasnovan. Model ni kompromitiran, njegova konfiguracija se ni spremenila, podatkovna zbirka je dostopna in storitev normalno deluje. Napadalcu kljub temu morda ni treba poseči v nič od tega.

Če lahko vpliva na informacije, ki jih prejme nadzornik, na komunikacijsko pot med sistemom in nadzornikom ali na okolje, v katerem človek sprejema odločitev, lahko napade nadzor, ne da bi napadel nadzorovani sistem.

Raziskava Ditza in sodelavcev zato med možnimi grožnjami ne obravnava samo klasičnih tehničnih napadov. V model vključuje tudi socialni inženiring, notranje grožnje, prisilo in podkupovanje. To ni nenavaden dodatek računalniški varnosti, ampak posledica dejstva, da je ena od komponent varnostnega sistema človek.

S tem postane zanimiva tudi meja zaupanja. Oseba, ki lahko zavrne odločitev umetne inteligence, ustavi proces ali spremeni njegovo smer, mora imeti ustrezna pooblastila. Prav zaradi teh pooblastil je lahko zanimiva tarča. Napadalec, ki ne more vplivati na sistem, lahko poskusi vplivati na človeka, ki ima nad njim nadzor.

Morda pa mu ni treba prepričati niti njega. Dovolj je lahko, da spremeni tisto, na podlagi česar se odloča.

Napad med modelom in človekom

Med rezultatom modela in človeško odločitvijo ni praznine. Tam so uporabniški vmesniki, opozorila, dnevniki, komunikacijske poti in sistemi za spremljanje. Vsi sodelujejo pri nastanku slike, ki jo vidi nadzornik. Če opozorilo ne pride, je njegova presoja drugačna. Enako velja, če opozorilu manjka pomemben kontekst ali če je vir informacije videti zaupanja vreden, čeprav ni. Spremenjena prioriteta dogodka ali prikrit povezan signal lahko vplivata na odločitev, čeprav človek še vedno formalno odloča sam.

Tu je pomembna razlika glede na avtomatizacijsko pristranskost. Pri njej človek avtomatiziranemu sistemu pripiše preveč zaupanja. Pri napadu na nadzor pa lahko nekdo aktivno poseže v pogoje, v katerih naj bi človek izvedel svojo neodvisno presojo.

Človeški nadzor zato ni samo vprašanje, ali na zaslonu obstajata gumba Potrdi in Zavrni. Pomembno je tudi, kdo nadzoruje pot do njiju.

Poskus, v katerem človek ni opazil dovolj

Kako zahtevno je takšen nadzor izvajati v praksi, kaže raziskava Jinghenga Yeja, Huiqi Zou, Simona Yua in Weiyan Shi iz leta 2026. Več kot sto razvijalcev je pri programerskih nalogah sodelovalo z naprednimi modeli umetne inteligence, pri čemer so modeli v eksperimentalnem scenariju poskušali v kodo vnesti prikrito škodljivo spremembo.

V pogojih brez dodatnega varnostnega monitorja po navedbah raziskovalcev 94 odstotkov sodelujočih sabotaže ni zaznalo. Tudi opozorilo samo po sebi ni zagotavljalo uspešnega posega. V primerih, ko je varnostni monitor pravilno zaznal in označil zlonamerno dejanje, je sabotaža kljub opozorilu ostala uspešna v 56 odstotkih teh sej.

Rezultata je treba brati previdno. Gre za predobjavo, specifičen eksperimentalni scenarij in programerske naloge, zato teh številk ni mogoče prenesti na človeški nadzor umetne inteligence nasploh. Raziskava pa pokaže nekaj ožjega in za varnostno arhitekturo pomembnejšega: sama prisotnost človeka v procesu še ne dokazuje, da bo škodljivo vedenje pravočasno prepoznano. Zhu in sodelavci pri obravnavi smiselnega človeškega nadzora opozarjajo tudi na asimetrijo med ustvarjanjem in preverjanjem. V nekaterih primerih lahko sistem rezultat ustvari zlahka oziroma hitro, njegovo zanesljivo preverjanje pa zahteva bistveno več časa in človeškega dela. Če preverjanje zahteva skoraj toliko znanja, časa in pozornosti kot izdelava rešitve, postane vprašanje nadzora tudi vprašanje človeške zmogljivosti.

Varovati je treba tudi pot do odločitve

Če človeški nadzor obravnavamo kot pravo varnostno kontrolo, ga moramo preverjati podobno resno kot druge kontrole. Pri tem ni pomembno samo pooblastilo nadzornika. Zanesljivost njegove presoje je odvisna tudi od izvora in celovitosti informacij, možnosti neodvisnega preverjanja ter zaščite opozoril in dnevnikov. Revizijska sled mora pokazati, kaj je nadzornik videl in kaj je storil, možnost ustavitve procesa pa mora delovati tudi v dejanskem okolju, ne samo v načrtu sistema.

Tudi privilegiji nadzornika postanejo del problema. Če lahko človek zaradi svoje funkcije razveljavi odločitev sistema, ima njegova identiteta posebno vrednost. Njegov račun, delovna postaja in komunikacijske poti zato niso več samo podporna infrastruktura, temveč del varnostne meje.

Pri tem se pokaže nekoliko neprijetna posledica. Več pooblastil kot damo človeku zato, da lahko učinkovito nadzoruje avtomatizirani sistem, zanimivejša tarča lahko postane. Če mu pooblastil ne damo, je njegov nadzor lahko zgolj formalen. Če mu jih damo, moramo zaščititi tudi infrastrukturo, prek katere jih uporablja.

Napisa human in the loop zato ni smiselno obravnavati kot dokaz učinkovitega nadzora. Pokazati je treba, da nadzor deluje tudi v okoliščinah, za katere je bil uveden.

Zadnja varovalka ni konec sistema

Človeški nadzor pogosto razumemo kot odgovor na vprašanje, kaj se zgodi, če umetna inteligenca naredi nekaj nepričakovanega. Človek naj bi bil zadnja točka, na kateri je mogoče napačno odločitev še ustaviti. Toda s tem ne stoji zunaj sistema.

Človek, ki izvaja nadzor, ima svojo identiteto in privilegije, odloča pa se na podlagi informacij, ki do njega pridejo skozi druge sisteme. Če je mogoče poseči v te poti ali v okolje odločanja, je mogoče poseči tudi v nadzor. Možnost ustavitve sistema zato ne pomeni veliko, če ni mogoče zaupati informacijam, na podlagi katerih naj bi se človek odločil, da ga mora ustaviti.

Pri sistemih umetne inteligence zato ne bo dovolj vprašati, ali človeški nadzor obstaja. Preveriti bo treba tudi pogoje, v katerih ga človek izvaja. Če je del varnostne arhitekture, njegova sposobnost nadzora ne more ostati predpostavka, temveč mora postati lastnost sistema, ki jo je mogoče preveriti.

EVIDENCE PROFILE

Dokazni profil članka

Profil pokaže vrsto dokazne podlage in omejitve osrednjega argumenta.

OSREDNJI DOKAZČloveški nadzor je varnostna kontrola samo, če nadzornik prejme zanesljive informacije, ima dejansko možnost posega in pogoje za neodvisno presojo.

RAZISKAVE1

DOKUMENTACIJA1

PREDOBJAVE2

UREDNIŠKI PREIZKUSNE

PREVERJENO2026-09-26

Viri

1. 01RESEARCHDitz, J.
   Ditz, J. C., Lazar, V., Lichtmeß, E., Plesch, C., Heck, M., Baum, K. in Langer, M. (2025). Secure Human Oversight of AI: Exploring the Attack Surface of Human Oversight. arXiv:2509.12290. https://arxiv.org/abs/2509.12290Odpri vir ↗
2. 02STANDARDEuropean Union
   Evropski parlament in Svet Evropske unije. (2024). Uredba (EU) 2024/1689 Evropskega parlamenta in Sveta z dne 13. junija 2024 o določitvi harmoniziranih pravil o umetni inteligenci, zlasti 14. člen – človeški nadzor. EUR-Lex, CELEX: 32024R1689. https://eur-lex.europa.eu/legal-content/SL/TXT/? uri=CELEX:32024R1689Odpri vir ↗
3. 03RESEARCHYe, J., Zou, H., Yu, S.
   Ye, J., Zou, H., Yu, S. in Shi, W. (2026). Coding with “Enemy”: Can Human Developers Detect AI Agent Sabotage? arXiv:2606.05647. Predobjava. https://arxiv.org/abs/2606.05647Odpri vir ↗
4. 04PRIMARY RESEARCHZhu, L., Lu, Q., Ding, M., Lee, S.
   Zhu, L., Lu, Q., Ding, M., Lee, S. U. in Wang, C. (2026). Designing meaningful human oversight in AI. AI and Ethics, 6, 286. https://doi.org/10.1007/s43681-026-01147-7Odpri vir ↗