KO SISTEM NADALJUJE BREZ NAS

V ponedeljek ob 8.14 v poslovni informacijski sistem prispe dobaviteljski račun.

Aplikacija samodejno zajame podatke, poišče naročilo, primerja znesek, preveri toleranco in določi stroškovno mesto. Ker vrednosti ustrezajo pravilom, račun pošlje odgovorni osebi. Ta vidi dobavitelja, znesek, naročilo in predlagano knjiženje. Pregleda povzetek, ga potrdi in nadaljuje z delom. Nekaj dni pozneje kontrola odkrije napačno knjiženje stroška.

Programski moduli so delovali, integracija je prenesla podatke in dnevnik je zabeležil potrditev. Vzrok je bila zastarela preslikava v matičnih podatkih. Nekoč je bila pravilna, po organizacijski spremembi pa ni več ustrezala dejanskemu stanju.

Tehnologija je napačno predpostavko obdelala povsem pravilno.

Enak vzorec se lahko pojavi pri naročilih, zahtevkih, računih, obračunih, dokumentih ali uporabniških vlogah. Ko avtomatizacija prevzame več korakov, postane pomembno, ali organizacija še razume pravila in podatke, ki usmerjajo pot od začetka do končnega rezultata.

Avtomatizacija omogoča hitrejše in doslednejše delo. Tveganje nastane, ko zanesljiv potek zmanjša pozornost do odločitev, ki so že vgrajene v ozadje.

Od ročnega dela do vgrajenih odločitev

O avtomatizaciji pogosto govorimo kot o odpravi ponavljajočih se opravil. V praksi prestavi tudi del presoje v zasnovo delovnega toka.

Podatek, ki ga je nekoč prepisal zaposleni, se prenese sam. Aplikacija preveri pogoje, določi naslednji korak ali označi odstopanje. Toda nekdo je moral prej določiti, kateri podatek šteje, kje je prag za izjemo, kdo odloča in kdaj sme obravnava napredovati brez dodatne potrditve.

Te odločitve živijo v kodi, konfiguraciji, poslovnih pravilih, tabelah in modelih. Pri ročnem delu se del presoje zgodi ob konkretnem primeru. Pri avtomatiziranem postopku je lahko ista presoja opravljena mesece ali leta prej, ko je bilo pravilo zapisano. Zato pri napačnem rezultatu zadnji klik pogosto pove premalo. Pregled mora pokazati tudi aktivna pravila, vhodne podatke in čas njihove uvedbe. Avtomatizacija del odločanja prestavi iz trenutka izvedbe v zasnovo, sledljivost pa mora temu premiku slediti.

Ko pregled postane formalnost

Številne poslovne rešitve pripravijo predlog, opravijo preverjanje ali izpolnijo večino podatkov, nato pa rezultat pošljejo uporabniku v potrditev. Takšno ureditev pogosto opisujemo kot human in the loop oziroma človek v zanki.

Prisotnost osebe še ne zagotavlja vsebinske presoje. Če zaposleni vsak dan prejema veliko pravilno obdelanih primerov, se način pregledovanja sčasoma spremeni. Namesto podrobnega preverjanja začne hitreje iskati znake, da je nekaj nenavadno.

Sistematični pregled Goddarda, Roudsarija in Wyatta ta pojav obravnava v okviru automation bias. Avtorji opisujejo pretirano zanašanje na avtomatizirano podporo. Na vedenje vplivajo zaupanje v avtomatizacijo, zahtevnost naloge, delovna obremenitev, časovne omejitve in drugi dejavniki delovnega okolja. [1]

Raziskava ne dokazuje, da uporabniki predloge praviloma potrjujejo nepremišljeno. Pokaže ožji in pomembnejši učinek: način dela vpliva na kakovost preverjanja. Gumb »Potrdi« zato ni nadzor sam po sebi. Uporabnik potrebuje dovolj informacij, časa in jasen razlog, zakaj določen primer zahteva njegovo pozornost.

Cena zanesljivosti

Slabo delujočo rešitev uporabniki hitro opazijo. Napačne razvrstitve, pogosti popravki in neustrezni predlogi zmanjšajo zaupanje ter povečajo preverjanje. Zanesljiva avtomatizacija ustvari drugačen izziv. Po stotih pravilnih rezultatih je težko sto prvega pregledati z enako pozornostjo kot prvega.

Endsley in Kiris sta pri eksperimentalni navigacijski nalogi opisala pojav out-of-the-loop performance problem. Udeleženci so po delu z višjimi stopnjami avtomatizacije ob ponovnem ročnem prevzemu pokazali slabše situacijsko zavedanje in počasnejše odločanje. [2]

Raziskava ni bila izvedena v poslovnem informacijskem okolju, zato je ne uporabljamo kot neposreden dokaz za računovodske, kadrovske ali druge poslovne aplikacije. Ponuja pa uporabno primerjavo: oseba, ki dalj časa predvsem spremlja delo tehnologije, lahko izgubi del sprotnega razumevanja stanja. Ob redki izjemi mora kontekst hitro sestaviti na novo.

Če od uporabnika pričakujemo pravočasen poseg, mu mora rešitev ob odstopanju pokazati dovolj konteksta za hitro in utemeljeno odločitev.

Napaka brez rdečega opozorila

Tehnične napake navadno hitro opazimo. Storitev se ustavi, integracija ne vrne odgovora, podatek manjka ali program izpiše opozorilo. Nekaj jasno pokaže, da pričakovani potek ni bil dokončan.

Poslovna napaka je lahko tišja. Zastarel ali napačen vhodni podatek prvi modul pravilno obdela, naslednja aplikacija uporabi rezultat, poslovno pravilo se sproži po konfiguraciji in dnevnik zabeleži uspešno izvedbo.

Tehnični potek je uspešen, poslovni rezultat pa napačen, ker je obravnava temeljila na napačni predpostavki.

Ročna napaka pogosto prizadene en primer. Napačno pravilo ali zastarela preslikava se lahko ponovi pri vsakem naslednjem primeru z enakimi pogoji. Prav ponovljivost, ki avtomatizaciji daje vrednost, poveča tudi doseg dovolj logične napake. Revizijska sled mora zato zapisati več kot dejstvo, da je bilo dejanje izvedeno. Pri pomembnih postopkih mora omogočiti rekonstrukcijo vhodnih podatkov, uporabljenih pravil in različice logike. Tak zapis loči napačno izvedbo od pravilne izvedbe napačne predpostavke.

Dejanska možnost posega

Sodobni okviri za umetno inteligenco vprašanje človeškega nadzora obravnavajo neposredno. NIST AI RMF v dodatku C opisuje različne oblike sodelovanja med človekom in AI ter poudarja jasne vloge in odgovornosti oseb, ki rešitev uporabljajo, upravljajo ali nadzorujejo. [3]

AI RMF je prostovoljni okvir za umetno inteligenco in ni splošna zahteva za vsako poslovno avtomatizacijo. Vseeno ponuja uporaben preizkus: kdo mora razumeti rezultat, katere informacije vidi in kaj lahko naredi, če rezultat ni sprejemljiv.

Podoben poudarek ima člen 14 evropskega Akta o umetni inteligenci pri visokotveganih sistemih. Med drugim zahteva razumevanje pomembnih zmogljivosti in omejitev, spremljanje delovanja, pozornost na pretirano zanašanje na izhod ter možnost, da pristojna oseba rezultat zavrne, razveljavi ali delovanje ustavi. [4]

Te zahteve veljajo v okviru področja uporabe uredbe. Za klasične poslovne postopke jih tu uporabljamo kot primer, kaj pomeni vsebinski nadzor. Ta potrebuje informacije, znanje, čas, pristojnost in izvedljivo možnost posega.

Razpršena odgovornost

Oseba, ki je najbližje končnemu rezultatu, ni vedno tista, ki je nanj najbolj vplivala. Lastnik postopka določi poslovno pravilo, tehnična skupina ga implementira, podatek prihaja iz druge evidence, vmesnik pa uporabniku pokaže le izbrane elemente. Odgovornost je zato treba povezati z dejanskim vplivom. Revizija, ki se ustavi pri zadnjem uporabniku, lahko spregleda vzrok, ki je nastal veliko prej. Prav tako ni pravilno sklepati, da končni uporabnik zaradi avtomatizacije nima nobene odgovornosti. Če ima informacije, znanje in možnost ukrepanja, njegova presoja ostaja pomembna.

Uporabna analiza pokaže, kdo je lahko vplival na posamezen del odločitve, kaj je vedel in kdaj bi poseg še preprečil napako. Tak pristop zahteva več dela kot branje dnevnika dogodkov, vendar bolje pokaže vzrok.

Nadzor mora slediti avtomatizaciji

Vračanje zanesljivih avtomatiziranih postopkov v ročno delo ni smiselna rešitev. Podroben pregled vsake rutinske transakcije bi zmanjšal korist avtomatizacije in hitro postal formalnost.

Bolj učinkovito je spremljati odstopanja, pri občutljivih odločitvah pokazati razloge in vhodne podatke ter ohraniti različilno sled poslovnih pravil. Kjer so posledice pomembne, mora zasnova predvideti tudi zaustavitev ali povrnitev, kadar je to tehnično in poslovno izvedljivo.

Organizacija mora redno preverjati tudi pravila sama. Pravilo, ki je tri leta delovalo brez napake, danes ni nujno več poslovno ustrezno. Strukture se spremenijo, podatkovni viri dobijo nov pomen, izjeme postanejo pogoste in začasna rešitev lahko preživi razlog, zaradi katerega je nastala.

Pomembna pravila zato potrebujejo lastnika, obdobni pregled in dokumentacijo, ki omogoča ločen odgovor na dve vprašanji: ali rešitev deluje pravilno in ali še vedno izvaja pravo poslovno logiko.

Kdaj naj avtomatizacija prepusti odločitev

Dobra zasnova rutinske primere vodi naprej brez nepotrebnega potrjevanja. Ob odstopanju mora pot ustaviti ali preusmeriti ter prikazati podatke, ki jih uporabnik potrebuje za presojo.

Pri izjemi mora biti jasno, kaj odstopa, katero pravilo je bilo uporabljeno, kateri podatek je sprožil odločitev in kakšne posledice ima nadaljevanje. Človeška presoja ima največjo vrednost tam, kjer lahko spremeni kakovost odločitve, ne tam, kjer je vključena samo zaradi evidence.

Umetna inteligenca to mejo premika, ker poleg izvajanja pravil pripravlja priporočila, razvrstitve in vsebinske predloge. Osnovni problem pa je starejši. Pojavi se vsakič, ko organizacija del presoje zapiše v tehnično pravilo in ga čez čas začne obravnavati kot samoumevno.

Pri postopkih, ki vplivajo na ljudi, sredstva, pravice ali poslovne odločitve, je sledljivost pogoj za učinkovit nadzor. Organizacija mora znati pokazati ključne predpostavke, lastnike pravil, način zaznave odstopanj in vlogo, ki lahko pravočasno poseže.

Tehnologija je pri številnih nalogah hitrejša, doslednejša in zanesljivejša od ročnega dela. Organizacija pa ostane odgovorna za razumevanje lastne avtomatizacije.

Človeški nadzor izgine, ko organizacija ne zna več jasno povedati, kaj mora človek opaziti, razumeti in po potrebi ustaviti.

EVIDENCE PROFILE

Dokazni profil članka

Profil pokaže vrsto dokazne podlage in omejitve osrednjega argumenta.

OSREDNJI DOKAZČloveški nadzor obstaja le, če človek vidi dovolj konteksta, razume uporabljena pravila in ima dejansko možnost rezultat zavrniti, ustaviti ali popraviti.

RAZISKAVE2

DOKUMENTACIJA2

PREDOBJAVE0

UREDNIŠKI PREIZKUSNE

PREVERJENO2026-08-17

Viri

1. 01PRIMARY RESEARCHGoddard, K., Roudsari, A., & Wyatt, J. C
   Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121– 127. DOI: 10.1136/amiajnl-2011-000089. Oxford Academic / DOI

   Vir uporabljamo za opredelitev avtomatizacijske pristranskosti in za dejavnike, ki lahko vplivajo na pretirano zanašanje na avtomatizirano podporo. Pregled se osredotoča predvsem na klinično odločanje, zato ugotovitev ne obravnavamo kot neposreden dokaz vedenja uporabnikov vseh poslovnih informacijskih sistemov.

   Odpri vir ↗
2. 02PRIMARY RESEARCHEndsley, M. R., & Kiris, E. O
   Endsley, M. R., & Kiris, E. O. (1995). The Out-of-the-Loop Performance Problem and Level of Control in Automation. Human Factors, 37(2), 381–394. DOI: 10.1518/001872095779064555. SAGE / DOI

   Vir uporabljamo za razlago zmanjšanega situacijskega zavedanja in težav pri ponovnem ročnem prevzemu naloge po avtomatiziranem delu. Raziskava je uporabila eksperimentalno navigacijsko nalogo z ekspertnim sistemom, zato je prenos na poslovne sisteme v članku konceptualna primerjava.

   Odpri vir ↗
3. 03PRIMARY DOCUMENTATIONNational Institute of Standards and Technology (NIST)
   National Institute of Standards and Technology – NIST. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1. DOI: 10.6028/NIST.AI.100-1. Posebej Appendix C: AI Risk Management and Human-AI Interaction. NIST AI RMF 1.0

   Vir uporabljamo za razmejitev človeških vlog in odgovornosti v konfiguracijah človek–AI. AI RMF 1.0 je prostovoljni okvir za upravljanje tveganj umetne inteligence in ga ne predstavljamo kot splošno normativno zahtevo za vse poslovne avtomatizacije.

   Odpri vir ↗
4. 04PRIMARY DOCUMENTATIONEvropski parlament in Svet Evropske unije
   Evropski parlament in Svet Evropske unije. (2024). Uredba (EU) 2024/1689 o določitvi harmoniziranih pravil o umetni inteligenci (Akt o umetni inteligenci). Člen 14 – Human oversight. Uporabljeno konsolidirano besedilo z dne 27. julija 2026. EUR-Lex – konsolidirano besedilo Člen 14 uporabljamo kot sodoben primer zahtev za učinkovit človeški nadzor visokotveganih sistemov umetne inteligence. Teh zahtev ne razširjamo v pravno obveznost vseh poslovnih informacijskih sistemov.Odpri vir ↗