Odločanje, odgovornost in organizacija
MERILO POD PRITISKOM
Kako kazalniki začnejo usmerjati delo, ki naj bi ga samo opisovali
Vodstvo podporne službe želi skrajšati čas reševanja zahtevkov. Določi jasen cilj: večina zahtevkov mora biti zaključena v enem delovnem dnevu.
Po nekaj mesecih poročila kažejo napredek. Delež pravočasno zaključenih zahtevkov raste. Povprečni čas reševanja pada.
Iz številk bi lahko sklepali, da storitev deluje bolje. V praksi je slika lahko bolj zapletena. V takem okolju se lahko spremeni tudi način dela. Ekipa več pozornosti nameni primerom, ki jih je mogoče zaključiti znotraj merjenega roka. Zahtevnejši lahko ostanejo odprti dlje. Zahtevek z več težavami se razdeli na več manjših. Primer, ki čaka na zunanjo informacijo, dobi drugo oznako in se v osnovnem poročilu ne pojavlja več na enak način.
Takšno ravnanje samo po sebi ne pomeni zlorabe ali prirejanja podatkov. Ljudje vedo, po čem se ocenjuje njihovo delo, zato kazalnik vključijo v vsakodnevne odločitve.
S tem dobi novo vlogo. Poleg opisovanja procesa začne vplivati na način, kako proces poteka.
Ko merjenje vpliva na merjeno
Organizacije brez merjenja težko presodijo, ali se storitev izboljšuje, kje nastajajo zamude in ali spremembe prinašajo pričakovani učinek.
Povprečni čas reševanja pove nekaj o hitrosti. Število zaključenih primerov pokaže obseg opravljenega dela. Delež razpoložljivosti sistema omogoča spremljanje njegovega delovanja.
Razmere se spremenijo, ko se na vrednost kazalnika navežejo ocenjevanje, financiranje, nagrade, sankcije, javne primerjave ali druge pomembne posledice. Posamezniki in organizacije takrat dobijo močnejši razlog, da način merjenja upoštevajo pri svojem ravnanju.
Wendy Nelson Espeland in Michael Sauder sta ta pojav proučevala skozi koncept reaktivnosti. Pri analizi razvrščanja ameriških pravnih fakultet sta pokazala, da javna merila institucij ne opisujejo zgolj od zunaj. Organizacije se nanje odzivajo s spremembami odločanja, razporejanja virov in razumevanja lastne uspešnosti. Reaktivnost sta obravnavala kot spremembo vedenja zaradi ocenjevanja, opazovanja ali merjenja. [1] Merjenje zato ni vedno pasiven pogled na dogajanje. Ko kazalnik pridobi dovolj teže, postane del okolja, ki ga opazuje.
Charles Goodhart je leta 1975 soroden problem obravnaval v prispevku Problems of Monetary Management: The U.K. Experience. Njegova ugotovitev se je nanašala na opažene statistične pravilnosti, katerih uporabnost se lahko zmanjša, ko postanejo sredstvo neposrednega nadzora. Prispevek je bil pozneje vključen tudi v konferenčni zvezek Reserve Bank of Australia, izdan leta 1976. [2]
Donald T. Campbell je leta 1976 soroden problem obravnaval pri uporabi kvantitativnih socialnih kazalnikov v odločanju. Večji pomen kazalnika ustvarja večji pritisk nanj in s tem tveganje, da začne slabše predstavljati pojav, zaradi katerega je bil uveden. Njegovo delo Assessing the Impact of Planned Social Change je izšlo decembra 1976 kot osma publikacija zbirke Occasional Paper Series. [3]
Marilyn Strathern je vprašanje leta 1997 obravnavala v okolju britanskih univerz. Analizirala je postopke presoje, ki ne spremljajo več samo dejavnosti institucij, temveč postanejo del njihovega delovanja in s tem vplivajo na okolje, ki ga ocenjujejo. [4]
V vseh teh primerih se pojavi podoben premik. Kazalnik začne kot opis stanja, nato pa postane eden od dejavnikov, ki oblikujejo prihodnje stanje.
Prilagoditev pravilom igre
Takšne spremembe hitro pripišemo manipulaciji. V praksi se pomemben del prilagajanja zgodi brez kršitve pravil.
Če servisno ekipo ocenjujemo predvsem po času zaključevanja zahtevkov, bo posebno pozornost namenila primerom, ki najbolj vplivajo na rezultat. Če projekt spremljamo predvsem skozi doseganje rokov, dobijo večjo težo naloge, ki neposredno vplivajo na rok. Če organizacijske enote primerjamo po številu izvedenih postopkov, količina postopoma pridobi večjo vlogo tudi pri operativnih odločitvah.
Posamezna odločitev je lahko povsem razumljiva. Njihov skupni učinek pa sčasoma spremeni proces.
Gwyn Bevan in Christopher Hood sta pri analizi upravljanja s cilji v angleškem javnem zdravstvenem sistemu proučevala prijavljene uspehe, težave merjenja in različne oblike strateškega prilagajanja sistemu ciljev. Njuno delo iz leta 2006 obravnava tudi strateško prilagajanje merilu (angl. gaming), pri katerem se ravnanje prilagodi pravilom merjenja, ne da bi se v enaki meri izboljšal širši rezultat. [5]
Kazalnik časa reševanja lahko ekipo spodbudi, da odpravi nepotrebna čakanja in bolje organizira delo. Takšna sprememba je zaželena.
Isti kazalnik lahko hkrati spodbuja zgodnejše administrativno zapiranje, drugačno razvrščanje primerov ali osredotočanje na naloge, ki najhitreje izboljšajo merjeni rezultat.
Nadzorna plošča v obeh primerih pokaže boljšo številko. Pomen spremembe je odvisen od tega, kaj se je zgodilo v dejanskem procesu.
Kar ni merjeno, še vedno obstaja
Vsak kazalnik poenostavlja.
Prav zaradi tega je uporaben. Kompleksen pojav pretvori v podatek, ki ga lahko spremljamo skozi čas, primerjamo med obdobji ali uporabimo kot opozorilo.
Poenostavitev je hkrati izbor.
Če storitev spremljamo predvsem skozi hitrost, kakovost rešitve ne izgine. V vsakodnevnih odločitvah pa lahko dobi manjšo težo. Enako velja za zahtevnost primera, dolgoročni učinek rešitve, zadovoljstvo uporabnikov ali delo, ki ga izbrani kazalnik sploh ne zajema.
OECD je pri analizi sistemov kazalnikov za spremljanje izvajanja javnih storitev obravnaval tudi tveganja, ki nastanejo, kadar so na merjene rezultate vezane nagrade ali sankcije. Med možnimi posledicami so izkrivljene spodbude, strateško prilagajanje in zavajajoče prikazovanje podatkov. Poročilo Leeja Mizella iz leta 2008 obravnava zasnovo takšnih sistemov in pogoje, ki vplivajo na njihovo učinkovitost. [6]
Rešitev ni merjenje vsega.
Če organizacija za vsak možen stranski učinek uvede nov kazalnik, hitro nastane sistem, v katerem vedno več časa porabi za zbiranje, razvrščanje in razlaganje podatkov. Merjenje začne obremenjevati dejavnost, ki naj bi jo podpiralo.
Bolj koristno je poznati omejitve glavnega kazalnika in spremljati nekaj dodatnih informacij, ki opozorijo na nezaželen premik vedenja.
Pri času reševanja zahtevkov so to denimo ponovna odprtja, starost najdlje odprtih primerov ali spremembe deleža zahtevkov v posameznih kategorijah. Ti podatki niso nov cilj. Namenjeni so preverjanju dogajanja okoli glavnega kazalnika.
Ko se številka nenadoma izboljša
Močno izboljšanje kazalnika je običajno dobra novica. Hkrati je primeren trenutek za preverjanje vzroka.
Nova tehnologija skrajša postopek. Boljša organizacija odstrani nepotrebne korake. Jasneje določena odgovornost zmanjša čakanje.
Včasih se spremeni nekaj drugega. Del primerov dobi novo klasifikacijo. Spremeni se obseg populacije, vključene v izračun. Dejavnost se preseli iz ene kategorije v drugo. Prag, ki je bil prvotno namenjen poročanju, postane meja, okoli katere se začne organizirati delo.
Takšna sprememba ne dokazuje nepravilnosti. Pove pa, da sama vrednost kazalnika ne razloži napredka.
Pri večjem premiku je zato smiselno preveriti, ali so se skupaj z rezultatom spremenili definicija kazalnika, pravila vključevanja, struktura primerov ali način dela.
Posebno pozornost zaslužijo rezultati okoli mej, ki imajo organizacijske posledice.
Če je cilj 95 odstotkov pravočasno rešenih primerov in se rezultat dalj časa giblje okoli 90 odstotkov, nato pa hitro obstane tik nad 95 odstotki, je izboljšanje lahko povsem resnično. V takem primeru je pregled metodologije predvsem način, kako razumeti vzrok spremembe, ne dokaz, da je bila številka prirejena.
Organizacija tako preveri, ali kazalnik med obdobji še vedno dovolj primerljivo predstavlja pojav, ki ga želi spremljati.
Kazalnik potrebuje kontekst in protiutež
Dobro upravljanje kazalnikov se začne z jasnim odgovorom, katero lastnost procesa želimo spremljati.
Hitrost, kakovost, strošek, razpoložljivost in zadovoljstvo uporabnikov niso zamenljivi pojmi.
Naslednji korak je pregled spodbud, ki jih kazalnik ustvarja.
Uporaben preizkus je razmislek, kako bi bilo mogoče izboljšati njegovo vrednost brez primerljivega izboljšanja dejanskega rezultata procesa. Če obstaja preprost način, gre za lastnost merilnega sistema, ki jo je koristno poznati še pred pojavom neželenih posledic.
Pomembna je tudi stabilna definicija. Če se med dvema obdobjema spremeni pomen zaključenega primera, se spremeni tudi pomen primerjave. Enaka formula ne zagotavlja primerljivosti, kadar se je spremenila vsebina podatkov, na katerih temelji.
Pri pomembnejših kazalnikih je zato koristno poznati vsaj:
namen kazalnika, način izračuna, obseg vključene populacije, pomembne izključitve, spremembe definicije skozi čas, posledice, vezane na rezultat.
Takšna dokumentacija omogoča razlikovanje med dejanskim napredkom in spremembo, ki je predvsem posledica načina merjenja.
Prostor mora ostati tudi za strokovno presojo. Noben sistem kazalnikov ne more vnaprej opisati vseh okoliščin, v katerih bo uporabljen.
Ko dober rezultat še ni konec preverjanja
Organizacija brez jasnih kazalnikov težko presodi, ali deluje bolje kot pred letom dni. Težje določi, kje izgublja čas, ali sprememba učinkuje ter ali se težava povečuje ali zmanjšuje.
Tudi vpliv kazalnika na vedenje ni samodejno nezaželen.
Če spremljanje čakalne dobe povzroči odpravo nepotrebnega čakanja, je kazalnik opravil svojo nalogo. Če spremljanje varnostnih incidentov spodbudi doslednejše prijavljanje dogodkov, lahko število prijavljenih incidentov sprva celo naraste, čeprav je proces njihove obravnave boljši.
Kazalnik je najbolj uporaben, kadar organizacija razume njegov pomen, način nastanka in vedenje, ki ga spodbuja.
Za Vestigo je zato dosežena vrednost kazalnika šele del preverjanja. Pomembno je tudi, kaj se je v procesu zaradi merjenja spremenilo in ali kazalnik še vedno predstavlja pojav, zaradi katerega je bil uveden.
Ko rezultat doseže cilj, se pregled ne konča pri številki. Preveriti je treba tudi, kaj se je v dejanskem delu spremenilo, da je številka postala boljša.
Šele nato lahko presodimo, ali se je izboljšal kazalnik, proces ali oboje.
EVIDENCE PROFILE
Dokazni profil članka
Profil pokaže vrsto dokazne podlage in omejitve osrednjega argumenta.
Viri
- 01PRIMARY RESEARCHEspeland, W. N., Sauder, MEspeland, W. N., Sauder, M. (2007). Rankings and Reactivity: How Public Measures Recreate Social Worlds. American Journal of Sociology, 113(1), 1–40. DOI: 10.1086/517897.Odpri vir ↗
- 02PRIMARY DOCUMENTATIONGoodhart, C. A. EGoodhart, C. A. E. (1975). Problems of Monetary Management: The U.K. Experience. Prispevek iz leta 1975, pozneje vključen v Papers in Monetary Economics, Vol. I, Reserve Bank of Australia, Sydney, 1976.
- 03PRIMARY DOCUMENTATIONCampbell, D. TCampbell, D. T. (1976). Assessing the Impact of Planned Social Change. Occasional Paper Series, No. 8. The Evaluation Center, Western Michigan University. ERIC: ED303512.
- 04PRIMARY RESEARCHStrathern, MStrathern, M. (1997). ‘Improving ratings’: audit in the British University system. European Review, 5(3), 305–321. DOI: 10.1002/(SICI)1234- 981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4.Odpri vir ↗
- 05PRIMARY RESEARCHBevan, G., Hood, CBevan, G., Hood, C. (2006). What’s Measured Is What Matters: Targets and Gaming in the English Public Health Care System. Public Administration, 84(3), 517–538. DOI: 10.1111/j.1467- 9299.2006.00600.x.Odpri vir ↗
- 06PRIMARY DOCUMENTATIONOECDMizell, L. (2008). Promoting Performance: Using Indicators to Enhance the Effectiveness of Sub-Central Spending. OECD Working Papers on Fiscal Federalism, No. 5. OECD Publishing, Paris. DOI: 10.1787/5k97b11g190r-en.>Odpri vir ↗