Annet
Last ned

Mål og resultatstyring i Nav – kan det bidra til å få flere med nedsatt arbeidsevne i arbeid?

Av
Andreas Roaldsnes

Sammendrag

Mål- og resultatstyring er den dominerende styringsmetodikken i staten. Det er ikke gjort empiriske undersøkelser av om gode skåre på NAVs mål- og resultatindikatorer gir høyere sannsynlighet for å oppnå NAVs hovedmål om flere i arbeid og færre på trygd. I denne analysen[1]En grundigere redegjørelse av analysen med flere resultater finnes i Roaldsnes 2018: NAVs hovedmål sett fra NAV-kontoret – En kvantitativ analyse av overgang til arbeid. NAV-rapport 1/2018. Takk til Anne Cathrine Grambo, Inger Cathrine Kann og Sigrid Lande for nyttige og viktige innspill til analysen, samt bearbeiding av artikkel og tilhørende rapport. undersøker vi både om det som regnes som gode skåre på «aktivitetsindikatorer» har sammenheng med høyere overgang til arbeid for NAVs brukere med nedsatt arbeidsevne, og om de teoretiske kriteriene for god målstyring er oppfylt slik målstyringssystemet nå er utformet i NAV. Grunnlaget for analysen er målstyringsdata for 437 NAV-kontor i perioden 2012 til 2015, samt litteratur om målstyringsteori og NAVs tilpasning til denne.

I analysene finner vi ingen statistisk signifikante sammenhenger mellom det som regnes for gode skåre på aktivitetsindikatorene og høy overgang til arbeid for brukere med nedsatt arbeidsevne. Sammenhengen blir svakt negativ når vi kontrollerer for andre kontorinterne forhold, samt økonomiske og demografiske forhold ved kommunen. Det betyr at NAV-kontorene med høy skåre på aktivitetsindikatorene i snitt har litt færre brukere som går til arbeid. På bakgrunn av litteraturgjennomgang og gjennomgang av målstyringssystemet i NAV, kan det se ut til at flere forutsetninger for god målstyring ikke er oppfylt.

I artikkelen diskuterer vi mulige måter å imøtekomme disse funnene på innenfor dagens målstyringsregime, men oppfordrer også til en bredere faglig debatt rundt dagens system for mål- og resultatstyring i NAV.

Innledning

Arbeids- og velferdsetaten har brukt styringsmetodikken «balansert målstyring» siden 2010. I samarbeid med departement og politiske myndigheter er det satt overordnede mål for hva NAV skal oppnå. NAVs viktigste mål i dag, uttrykt fra politiske myndigheter og speilet i NAVs uttalte visjon er «flere i arbeid og færre på trygd». Dette måles hver måned ved å se hvor mange av NAVs tidligere brukere som har overgang til arbeid.

Det er ikke forsket på hvordan NAV-kontoret bør organiseres, eller hvilke aktiviteter og rutiner NAV-kontoret bør ha for i størst mulig grad å bidra til at brukerne får økt sannsynlighet for overgang til arbeid.

Det foreligger flere undersøkelser som har dokumentert at «dulting» (det som på engelsk kalles «nudging»), som innkalling til møter og utsendelse av brev, utforming av brev og telefonsamtaler kan ha effekt på sannsynligheten for overgang til arbeid (Markussen m.fl. 2015, Fleten m.fl. 2006). Økningen i sannsynlighetene til arbeid i forkant av krav om tiltaksdeltakelse har blitt tolket som at arbeidssøkere forut for slike krav får mer støtte og hjelp fra lokalkontoret (Raaum m.fl. 2002, Røed m.fl. 2012).

Men det er ikke gjort systematisk forskning på i hvilken grad de ulike aktivitetene NAV utfører, og som registreres i mål- og resultatstyringssystemet, bidrar til at flere kommer i arbeid. Det er heller ikke forsket på hvilke forhold som forklarer at noen NAV-kontor har høyere eller lavere andel brukere som har overgang til arbeid.

Det finnes relativt mye forskning om hvilke egenskaper ved brukeren som påvirker sannsynligheten for overgang til arbeid, samt hvilke økonomiske og demografiske forhold som gir økt sannsynlighet for overgang til arbeid. Dette vil vi utnytte som kontrollvariabler i analysen. Det er i liten grad forsket på hvilke egenskaper ved NAV-kontoret (slik som antall ansatte, hvordan arbeidet er organisert i kontoret, antall brukere, m.m.) som øker eller reduserer brukerens sannsynlighet for overgang til arbeid.

Roaldsnes (2018) har gjort en gjennomgang av hvilke NAV-interne forhold og egenskaper ved NAV-kontoret som, korrigert for samfunnsmessige forhold, predikerer høyere og lavere overgang til arbeid. Analysen viser, som man vil forvente, at det er samfunnsmessige forhold som økonomiske og demografiske forhold som i størst grad påvirker NAVs brukeres sannsynlighet for å komme i arbeid. Men analysen viste også at en rekke NAV-interne forhold er viktige, som størrelsen på NAV-kontoret og sykefraværet i NAV-kontoret. Analysen fant derimot kun svake koblinger mellom NAV-kontorenes aktiviteter som måles i målekortet og brukernes overgang til arbeid[2]Nav-kontoret gjør selvsagt mye som ikke måles, og som kan ha stor betydning for brukerenes overgang til arbeid. Dette gjorde en undersøkelse av mål- og resultatstyring til et naturlig neste steg i analysen.

I denne analysen ønsker vi å undersøke om mål- og resultatstyringsparadigmet som NAV-kontorene styres etter bidrar til å nå det overordnede målet om flere i arbeid og færre på trygd. Vi ønsker å undersøke om NAV-kontor som har gode resultater på mål- og resultatstyringen indikatorene også har høyere overgang til arbeid for sine brukere når vi kontrollerer for andre viktige faktorer.

For å undersøke dette har vi satt opp to problemstillinger:

  • Får NAV-kontor med god måloppnåelse innenfor mål- og resultatstyringen flere med nedsatt arbeidsevne i arbeid og færre på trygd?

Videre vil vi undersøke om noen av aktivitetsindikatorene som NAV-kontorene ser på er mer effektive enn andre for å nå målet om flere i arbeid. En aktivitetsindikator måler antallet handlinger eller aktiviteter som er utført i NAV-kontoret, eksempelvis antall brukere som deltar i tiltak.

  • Er det noen aktivitetsindikatorer som betyr mer enn andre for å nå målene om flere i arbeid og færre på trygd?

Bakgrunn: Mål- og resultatstyring i NAV

For å få satt denne analysen i riktig kontekst er det nødvendig med en kort introduksjon både av hva målstyring er og hvordan målstyring har vært brukt i NAV, men også en kort presentasjon av teorien rundt målstyring som styreform i det offentlige, samt studier av effekten av mål- og resultatstyring i det offentlige.

Hva er målstyring?

Selnes og Skindarhaug (2014:14) har gjort en god gjennomgang av mål- og resultatstyring som styringsmetodikk, og i fremstillingen av konseptet og bruken av mål- og resultatstyring i NAV vil vi ofte lene oss på arbeidet deres. «Direktoratet for økonomistyring definerer mål- og resultatstyring som: «Å sette mål for hva virksomheten skal oppnå, å måle resultater og sammenligne dem med målene, og bruke denne informasjonen til styring, kontroll og læring for å utvikle og forbedre virksomheten» (Senter for statlig økonomistyring 2010: 9). Alle virksomheter i staten skal derfor fastsette mål- og resultatkrav, sikre at målene og resultatene oppnås og at ressursbruken er effektiv. I tillegg skal de sikre tilstrekkelig styringsinformasjon og at målene og resultatkravene er tilpasset egenarten til virksomheten». Østergaard Møller m.fl. (2016: 12) fra det Nationale Institut for Kommuners Forskning og Analyse (KORA) i Danmark identifiserer fire elementer som har betydning for vellykket målstyring:

  • Oppstilling av mål.

  • Etablering av et årsaks- virkningsforhold mellom innsats og effekt.

  • Overvåkning av om målene nås.

  • Ledelsen treffer beslutninger basert på den innsamlende kunnskapen.

Målstyringsteori kan dermed enkelt oppsummeres slik: Beslutningstakerne skal formulere målsetningene for hvordan samfunnsmessige behov skal håndteres og tydeliggjøre hva man ønsker å oppnå. Årsakssammenhengene rundt det man ønsker å oppnå må modelleres og deretter skal man fastsette aktiviteter som man forventer gir effekt på målene. Aktivitetene overvåkes løpende og resultatene som framgår av indikatorene brukes til å styre og ta beslutninger om virksomheten, eksempelvis hva som skal prioriteres og hvordan man skal bruke tid og ressurser i NAV-kontorene.

Mål- og resultatstyring i Staten

Mål og resultatstyring ble for første gang behandlet av Haga-utvalget som avga innstilling i 1984 (NOU 1984: 23). Haga-utvalget ble oppnevnt i 1983 med mandat om å finne produktivitetsfremmende reformer i statens budsjettsystem.

Bestemmelser om mål- og resultatstyring ble tatt inn i bevilgningsreglementet i 1985. I 1987 vedtok regjeringen gjennom fornyelsesprogrammet «Den nye staten» at statlige virksomheter skulle benytte mål- og resultatstyring som styringsprinsipp innen utgangen av 1990. Som et ledd i dette skulle samtlige virksomheter blant annet innføre virksomhetsplanlegging som grunnlag for den interne styringen, og i 1992 ble departementene pålagt å formulere resultatkrav og å rapportere om resultater i fagproposisjonene. I økonomireglementet som ble fastsatt i 1996 ble det også tatt inn bestemmelser om mål- og resultatstyring (NOU 2003:6, side 43).

I løpet av 90-tallet ble mål- og resultatstyring videreutviklet til å hete balansert målstyring. Balansert målstyring er en av flere styringsmodeller og defineres som et ledelsesverktøy som gir muligheter for helhetlig drifts-, tilpasnings- og utviklingsledelse gjennom en tettere kopling mellom strategier og operativ drift (Busch m.fl. 2009: 226).

Utviklingen fra mål- og resultatstyring til balansert målstyring sier noe om at et enkelt økonomisk perspektiv på resultatoppnåelse ikke var godt nok. Man måtte velge indikatorer som viser til de mest prioriterte områdene for virksomheten. Målene for den enkelte enhet i organisasjonen eller det enkelte kontor må være avledet av de overordnede mål, og avstemt i forhold til hverandre slik at de utgjør et logisk sammenhengende målhierarki (Røvik 1998: 55).

Den grunnleggende tanken ved balansert målstyring som styringsverktøy er at ledere skal ha et verktøy for å kunne oversette organisasjonens visjoner og strategier til et sett med resultatindikatorer og at dette skal skape et rammeverk for et strategisk måle- og ledelsessystem (Kaplan og Norton 2000: 168–169; Irwin 2002: 640), gjengitt fra Selnes og Skindarhaug (2014: 18).

Styringsprosessen

Prosessen starter i Arbeids- og sosialdepartementet med det årlige tildelingsbrevet til arbeids- og velferdsetaten. I tildelingsbrevet settes både målene for virksomheten opp, og i ulike årganger av tildelingsbrevet bestemmes også aktivitetsindikatorer som NAV skal styres etter.

Terminologien varierer noe over årene. I 2013 og 2014 er det ikke skilt på styringsparameternes karakter, mens i 2015 er for eksempel «overgang til arbeid» omtalt som «resultat-/effektindikatorer», sammen med «andel graderte sykemeldinger». Det finnes en annen type styringsparameter som er kalt «aktivitetsindikatorer». Delmålet om «flere i arbeid» er konstant i perioden, sammen med to til tre andre delmål, for eksempel: «Virksomheter med ledige jobber får dekket sitt behov for arbeidskraft» og «Effektiv og løsningsdyktig organisasjon».

Etter at tildelingsbrevet til Arbeids- og velferdsetaten er mottatt ferdigstiller Arbeids- og velferdsdirektoratet Mål- og disponeringsbrev til underliggende enheter.

Virksomheten i NAV er delt inn i resultatområder. Denne analysen tar kun for seg den delen av NAV som internt kalles Arbeids- og tjenestelinjen, altså den delen av NAV som omfatter de lokale NAV-kontorene som møter brukerne direkte. Forvaltningsoppgaver, slik som saksbehandling av søknader og utbetaling av ytelser er organisert i andre spesialiserte enheter i NAV.

Mål- og disponeringsbrevet inneholder mange føringer og detaljer om hvordan NAV skal styres på NAV-kontor nivået, og ender opp med en håndfull kvantitative måleparametre for resultatmål og for aktivitetsmål. I hele analyseperioden for denne analysen har høyere overgang til arbeid vært et sentralt styringsparameter. Det er disse styringsparameterne som ligger i det månedlige målekortet som det rapporteres på i styringsdialoger helt fra lokalt driftsnivå og til slutt opp til departementsnivå[3]Samtidig er det ikke slik at alle rapporteringskrav som blir sendt fra departementet til direktoratet forflytter seg nedover til fylkene, og det er heller ikke slik at alle rapporteringskravene som fylkene skal levere på til direktoratet er kjent for lokalkontorene..

Figur 1 viser et målekort i NAV. Et målekort inneholder de obligatoriske styringsparameterne, men kan også inneholde lokalt utvalgte aktivitetsindiktatorer. Øverst til høyre ser vi ulike blå knapper. Disse er linker til tiltaksplan, risikoverktøy og verktøyet for operativ styring i NAV.

Figur 1. Eksempel på et målekort i NAV. NAV-kontoret og perioden er anonymisert.

Figur 1. Eksempel på et målekort i NAV. NAV-kontoret og perioden er anonymisert.

Data og metode

Metode

Vi bruker en flernivåmetode for å undersøke om gode resultater i målekortet fører til at flere kommer i arbeid. Flernivåmetoden bruker forklaringsvariabler fra to aggregerte nivåer, kontornivået og fylkesnivået. Vi forventer at forklaringsvariablene «lavere ledighet», «høyere etterspørsel etter arbeidskraft» sammen med høyere score på målstyringsindeksen fører til høyere andeler med overgang til arbeid.

Den statistiske modellen er en random intercept modell med maximum likelihood regresjon og gruppevise standardfeil. Flernivåmodell er valgt fremfor andre modeller for å kunne kontrollere for effekten av geografisk avhengighet. Nærliggende NAV-kontor kan dele egenskaper som ikke ville blitt fanget opp i en modell som kun brukte data fra tid og kommune-nivået. I denne flernivåmodellen er dataene formelt organisert i tre nivåer. Nivå t er tidsenheten, alle enheter i kommunenivået k har 45 observasjoner av dataene på nivå t. Kommunenivå k er også gruppert etter nivå f, som er fylkesnivået.

Intraklassekorrelasjonen (ICC) for kommunenivået k er.07 og for fylkesnivået f er den.014. Dette betyr at storparten av variansen i vår avhengige variabel «hvor mange som går til arbeid etter å ha vært bruker hos NAV», er å finne på NAV-kontornivået. Dette følger av teoretiske forventninger.

Variablene brukt i modellen har svært lav multikollinearitet og statistiske tester avviser problemer med tidsavhengighet. Gruppevis avhengighet blir brukt som en del av forklaringene i en slik flernivåmodell (Midtbø 2012:114).

Data

Vi følger alle NAV-kontor hver måned fra januar 2012 til oktober 2015, i alt 437 NAV-kontor i 45 måneder. I tillegg har vi koblet på informasjon om arbeidsledighet og etterspørsel etter arbeidskraft på fylkesnivå, samt informasjon om medianinntekt på kommunenivå.

Mange NAV-kontor har innimellom ekstremverdier på avhengig variabel i perioden, altså at overgangen til arbeid registreres som 0 eller 100 prosent. Dette skjer som følge av at det er færre personer som har hatt avgang fra NAV på grunn av at det er færre brukere ved kontoret. For å ta høyde for at dette kan ha gitt hatt utslag i analysen, har modellen vært testet ved å utelate de 20 prosent minste NAV-kontorene. Dette har ikke hatt nevneverdig effekt på analyse resultatene. Samtidig blir størrelse på NAV-kontor brukt som forklaringsvariabel, og dermed har vi en aktiv kontroll for dette i modellen vi presenterer.

Figur 2. Måloppnåelse på tre indikatorer.

Figur 2. Måloppnåelse på tre indikatorer.

Målstyringsdata

Vi tar i denne analysen i bruk de aktivitetsindikatorene og resultatindikatorene som NAV-kontorene er fulgt opp på i perioden 2012 til 2015 (se Tabell 3 i vedlegget).

Målstyringen i NAV holdt seg relativt stabil fra 2012 til 2014, med mindre endringer inn mot 2015, som vi beskrev over. Målstyringsparameterne (aktivitetsindikatorene og resultatindikatorene) har gjennom perioden i hovedsak omhandlet hvor mye kontakt vi har med brukerne i form av oppfølgingsaktiviteter.

En innvending til analysen kan være at mange av aktivitetsindikatorene i Mål- og disponeringsbrevet ikke har noen direkte sammenheng med overgang til arbeid for personer med nedsatt arbeidsevne. Vi har likevel tatt med alle indikatorene i modellen, fordi vi er interesserte i å undersøke mål- og resultatstyring som helhetlig fenomen. Vi undersøker slik både om helhetlig gode resultater på måleindikatorene har sammenheng med høy overgang til arbeid, og om spesifikke indikatorer er viktigere å oppnå gode resultater på enn andre.

I Roaldsnes (2018) har vi sett på i hvilken grad hver av indikatorene predikerer økt overgang til arbeid, både ukorrigert og korrigert for økonomiske og demografiske variabler. I denne artikkelen ønsker vi å undersøke målstyring som helhet gjennom en indeks. Grunnen til at vi undersøker styringsparameterne samlet i en indeks, er at vi da kan måle samlet suksess på NAV-kontornivå, og se i hvilken grad dette predikerer økt overgang til arbeid. Det vil si i hvilken grad det å skåre godt på målekortene samlet sett predikerer høyere overgang til arbeid.

Mål- og resultatstyringen vil mest sannsynlig påvirke hvordan NAV-kontorene allokerer ressurser, prioriterer oppgaver og organiserer seg. Styringsmetoden kan også føre til målforskyvninger. Resultatet man skal oppnå er høyere overgang til arbeid, men et sterkt fokus på å tilfredsstille målkravene for de mange ulike aktivitetsindikatorene kan kanskje føre til at man flytter fokus over på å tilfredsstille målkravene i aktivtetsindikatorene i stedet for å ha fokus på den overordnede målsettingen, slik forskning på målstyring har vist at det ofte gjør.

For å svare på problemstillingene har vi derfor operasjonalisert målstyringsdataene på to måter, i indeks og i separate indikatorer.

Operasjonalisering: Indeksering av måloppnåelse

Hvert av årene med målstyring har sju til elleve indikatorer. Vi gir en enhet ett poeng for måloppnåelse dersom enheten ligger på, eller har oversteget, målkravet for en indikator. Deretter summerer vi og deler på antall poeng som var mulig å oppnå. Da får vi en verdi mellom 0 og 1 som sier noe om hvor god samlet måloppnåelse en enhet har i en gitt måned. En verdi på 1 betyr at NAV-kontoret har nådd målet på alle indikatorene. Indeksen sier ingenting om innholdet i målstyringen, kun om et NAV-kontor har høy eller lav samlet måloppnåelse.

Operasjonalisering: Viktige og mindre viktige indikatorer

Den andre problemstillingen i vår analyse er knyttet til hvilke indikatorer som er viktigst for å predikerer overgang til arbeid. De to indikatorene som vi a priori vil anta har størst betydning for overgang til arbeid er de som måler kontakt med brukerne og kontakt med arbeidsmarkedet. Denne antagelsen er blant annet knyttet til det man vet om forskning på dulting (nudging), der brev/telefoner/krav om å melde seg etc. kan påvirke overgang til arbeid. Denne aktiviteten måles av aktivitetsindikatoren «oppfølging av brukere», samt aktivitetsindikatoren «arbeidsmarkedsbistand» som NAV leverer til bedrifter. Vi har her sett på om den enkelte indikator er oppfylt eller ikke, der oppfylt innebærer at NAV-kontoret har nådd målkravet om at x prosent har hatt kontakt. I Figur 2 får et NAV-kontor verdien 0 dersom det ikke nådde målet en aktuell måned og 1 dersom det nådde målet.

Figur 2 viser andelen NAV-kontor med måloppnåelse og andelen uten måloppnåelse. Vi undersøker tre indikatorer: måloppnåelse på indikatorene «kontakt bruker», «arbeidsgiverkontakt» og «personer med nedsatt arbeidsevne med oppfølging». Vi har kodet resultatene for alle NAV-kontor i samtlige måneder, og NAV-kontoret kan enten ha 1 (har måloppnåelse) eller 0 (har ikke måloppnåelse) på disse indikatorene. Figuren viser at flest NAV-kontor har måloppnåelse på «kontakt bruker», de fleste kontor har ikke måloppnåelse på «arbeidsgiverkontakt», mens «oppfølgingsindikatoren» er delt omtrent på midten. Siden vi har målt NAV-kontorene over en lengre tidsperiode kan et kontor ha høy måloppnåelse i en periode og lav måloppnåelse i en annen periode[4]Et alternativ til todeling av disse aktivitetsindikatorene hadde vært å dele dem inn etter målekortets inndeling, med måloppnåelse, delvis måloppnåelse og ingen måloppnåelse. Grunnen til at vi valgte en todeling var først og fremst at det ikke viste seg å tillegge mer informasjon til analysen med en tredeling. Modeller som både inkluderte delvis måloppnåelse og streng måloppnåelse bidrog ikke med mer informasjon enn kun streng måloppnåelse. For enkelhets skyld viser vi kun modellene som brukte strengt definert måloppnåelse.. Vi har i regresjonsanalysen kun sett på i hvilken grad disse indikatorene påvirker overgang til arbeid i perioden etter [5]NAV kontoret kan ikke observere disse to indikatorene samtidig fordi det er forsinkelse i registreringen av overgang til arbeid. Men i regresjonsmodellen kan vi se dette i periode t (indikatorer) og t+1 (overgang til arbeid). Det kan argumenteres for at overgang til arbeid vil ses etter noe tid, for eksempel 6 eller 12 måneder etter at oppfølgingen har funnet sted, eller gradvis fra periode t til periode t+12, men det har vi ikke gjort i denne sammenheng, det får bli noe som eventuelt kan undersøkes nærmere senere, dersom NAV ønsker å vurdere indikatorene nærmere.

Andre data i analysen

I analysen benytter vi også data hentet fra ulike registre. Det er mange forhold som kan tenkes å påvirke hvor stor andel av NAVs brukere som har overgang til arbeid. I en større kartlegging av hvilke forhold som kan påvirke overgangen til arbeid i et NAV-kontor fant vi flere viktige variabler (Roaldsnes 2018). Disse variablene kan deles inn i tre hovedområder, økonomisk-demografiske forhold, NAVs innsats på viktige områder og kontorinterne forhold ved det lokale NAV-kontoret.

Arbeidsledighet er hentet fra NAVs tall over registrerte ledige og andre som er utenfor arbeidslivet, medianinntekt er hentet fra Statistisk sentralbyrå og data om organiseringen av hvert individuelle NAV-kontor er hentet fra NAVs egne registre.

Ved å kontrollere for andre forhold kan vi undersøke om resultat på målekort har sammenheng med overgang til arbeid når vi sammenligner kontor som har liknende brukere og der ledigheten og etterspørselen etter arbeidskraft er den samme.

Indikatoren «andelen journalføringer gjort innen fristen» måler hvor mange av saksbehandlingsoppgavene i NAVs fagsystemer som journalføres innen 24 timer. Hensikten med å måle andel journalføringer gjort innen 24 timer er å sikre rask sporing av informasjon og sikre rask kvalitetssikring av dokument og innhenting av manglende opplysninger.

Indikatoren «andel brukere i nøkkelvarighet» måler hvor mange brukere som i den aktuelle måneden er nær utløp av vedtaket sitt. Retten til arbeidsavklaringspenger fornyes årlig, og det kan ofte medføre økt saksbehandlingsarbeid, både med fornying (se faktaboks) av planer og andre vedtak for disse brukerne. Dataene måler hvor stor andel av brukerne som i den gitte måneden enten har «nøkkelvarighetsmåned» denne eller neste måned.

Ved innføringen av arbeidsavklaringspenger i 2010 ble mottakerne av ordningene som arbeidsavklaringspenger erstattet konvertert til den nye ordningen. De som var konverterte fra gamle ordninger risikerer å være et element som kan skape støy i analysen. Disse brukerne hadde ofte hatt lengre tid i NAV-systemet og har ofte kompliserte saker, noe som kan føre til at andelen brukere med overgang til arbeid reduseres. Vi har sjekket dette og finner at majoriteten av brukerne som var konverterte fra de gamle ordningene ble avklart i perioden 2010 til 2012. Fra 2013 var nesten alle avklart. Vi har også testet dette ved å utelukke alle observasjoner fra 2012 fra modellen uten at dette endret resultatene for sammenhengen mellom målstyring og overgang til arbeid.

Mål- og resultatstyring i NAV i dag

Det mål- og resultatstyringssystemet som NAV bruker i dag ble innført i 2010. Målekortet som ble utarbeidet er delt opp i fire perspektiv tilsvarende de fire perspektivene i det opprinnelige målekortet hos Norton og Kaplan (2002: 168–169). Disse perspektivene har Arbeids- og velferdsdirektoratet tilpasset slik at de egner seg til NAV som virksomhet. I NAV kalles de henholdsvis bruker-, medarbeider-, produksjons- og økonomiperspektivet (Selnes og Skindarhaug 2014: 15).

Målene er definert på ulike måter for de ulike indikatorene. Noen indikatorer har faste verdier som deles inn i rødt, gult og grønt. Grønt betyr god måloppnåelse, gult akseptabelt, mens rødt er for lavt. Faste verdier innebærer at kontoret må oppnå en forhåndsbestemt verdi, for eksempel at 85 prosent av alle brukere skal være fulgt opp minst en gang i løpet av de siste 3 månedene. Andre har relative mål. Det innebærer at kontoret skal sammenligne seg selv med hvordan de gjorde det året før.

Systemet har forandret seg noe i perioden vi undersøker. Målet om økt overgang til arbeid er i toppen i Mål- og disponeringsbrevene for 2012–2014, samtidig som «flere i arbeid og færre på trygd» er et av en håndfull «delmål» gjennom hele perioden. I 2012 var det tre delmål[6]Disse var: flere i arbeid og aktivitet og færre på stønad, virksomheter med ledige jobber får dekket sitt behov for arbeidskraft, tjenester og informasjon tilpasset brukernes behov. som var relevante for NAV-kontorene i Mål- og disponeringsbrevet. Disse har holdt seg relativt konstante.

I perioden 2012–2014 omtales alle indikatorene som «styringsparameter». Systemet endres i 2015 da man i Mål- og disponeringsbrev begynner å skille mellom «resultat/effekt-indikatorer» og «aktivitetsindikatorer» der overgang til arbeid er en resultat/effekt-indikator og dermed overordnet aktivitetsindikatorene.

NAVs målekort er ikke et logisk og hierarkisk avstemt system, slik målstyringsteori forutsetter. Dette er fordi styringsparameterne ikke er skapt utelukkende for å føre til resultat på hovedmålet, men kan være inkludert med andre hensikter enn hovedmålet. Eksempelvis er det tatt inn indikatorer på aktiviteter man mener det uansett er viktig å fokusere på. I henhold til målstyringsteorien skal styringsparameter helst settes opp i et heriarkisk system for å nå ett eller flere hovedmål. NAVs målekort følger ikke målstyringsteorien tett, hverken før eller etter 2015. Det er valgt en mer fragmentert løsning der overgang til arbeid er ett av flere delmål. Samtidig er «flere i arbeid» tydelig prioritert, både av politikere og av NAV. I NAVs interne dokumenter kommer delmålet om «flere i arbeid» alltid først i tekster og tabeller. Og det kan derfor tolkes som et hovedmål.

Forskning på mål- og resultatstyring

Etter å ha sett på hva mål- og resultatstyring er i NAV i dag, og en enkel oppsummering av det teoretiske grunnlaget for styringsparadigmet mål- og resultatstyring, går vi til empirien.

Det er overraskende lite kvantitativ forskning gjort på effekten av mål- og resultatstyring i offentlig sektor, særlig med tanke på hvor mye gode data det finnes i offentlige etater. Det sterkeste arbeidet for å undersøke effekten av mål- og resultatstyring er gjort i Danmark i en meta-studie gjennomført av Østengaard Møller m.fl. (2016). Metastudien benytter 60 studier av mål- og resultatstyringens påvirkning på arbeidsetater, sosialetater og grunnskole i land som kan sammenlignes med en dansk kontekst.

De finner at mål- og resultatstyring kan spille en positiv rolle i å klargjøre hva som er sentralt i arbeidet i arbeidsetater, nemlig det å få mennesker i arbeid (2016: 6). Samtidig finner Østengaard Møller at balansert målstyring ofte fører til ikke-tilsiktede konsekvenser i organisasjonene, der organisasjonene reagerer på prestasjonsmålene og tilpasser egen adferd for å oppnå målene. Videre kan ledere få fokus på kortsiktige resultater og blant annet prioritere brukere det er lettest å hjelpe. Mål- og resultatstyring kan også fremme en byråkratisk sjekkliste-adferd som går på bekostning av det faglige skjønnet, og fokus på måloppnåelse fremfor å skape endringer i menneskers liv kan være demotiverende for de som jobber i førstelinjen ut mot brukerne (Østengaard Møller 2016: 42).

Overgang til arbeid for personer med nedsatt arbeidsevne

I vår analyse ser vi kun på de brukerne som har vært registrert hos NAV med nedsatt arbeidsevne. Dette er en indikator som viser hvor mange som ikke lenger er registrert med nedsatt arbeidsevne hos NAV og som helt eller delvis er kommet i arbeid.

Målet om overgang til arbeid er delt etter brukergrupper. I NAV har vi to hovedgrupper som står uten arbeid: de ordinære arbeidssøkerne og brukere med nedsatt arbeidsevne. Brukerne med nedsatt arbeidsevne er de som på grunn av fysisk, psykisk eller sosial funksjonshemming har vanskeligheter med å få eller beholde arbeid. Majoriteten av de som er registrert som brukere med nedsatt arbeidsevne mottar arbeidsavklaringspenger, en helserelatert ytelse man har krav på dersom NAV har vurdert at arbeidsevnen er nedsatt med 50 prosent eller mer som følge av sykdom, skade eller lyte[7]Se «Begreper og definisjoner», et eget vedlegg i slutten av hver utgave av Arbeid og Velferd, for flere detaljer.. I juni 2017 var det omtrent 200 000 mennesker som var registrerte med nedsatt arbeidsevne og 141 000 av disse hadde rett på arbeidsavklaringspenger. Hvert år i analyseperioden er det omtrent 66 000 mennesker med avgang fra gruppen personer som er registrert med nedsatt arbeidsevne hos NAV.

Vi begrunner også vårt valg av målgruppe for analysen ved at det er grunn til å vente at hva NAV gjør, og hvordan NAV er organisert, i størst grad påvirker de brukerne som står lengst unna arbeidslivet. De ordinære arbeidssøkerne omfatter svært mange brukere som bare så vidt er i kontakt med NAV, og NAVs innsats kan følgelig ikke ventes å ha like stor betydning for ordinære arbeidssøkere som har overgang til arbeid sammenlignet med brukere med nedsatt arbeidsevne som har overgang til arbeid. Det er rimelig å anta at NAV har betydelig større påvirkningskraft på brukere som står langt unna arbeid og som dessuten i all hovedsak mottar ytelser fra NAV.

Resultater

Måloppnåelse i NAV-kontor

Figur 3 viser den samlede måloppnåelsen i NAV i perioden januar 2012 til oktober 2015 (se Tabell 3 i vedlegget for oversikt over inkluderte og ekskluderte styringsparametere). Figuren viser fordelingen av NAV-kontorene på oppnådd målstyringsresultat. Flest NAV-kontor har en samlet måloppnåelse på mellom 50 og 60 prosent. Det er den vanligste måloppnåelsen i perioden. Det er få som hadde skåre under 20 prosent, altså lav måloppnåelse på indikatorene. Det er også få som har over 90 prosents måloppnåelse.

Gjennomsnittet for de 20 102 observasjonene er litt under 60 prosents måloppnåelse.

Figur 4 viser måloppnåelsen hvert av de fire årene vi har data for. Den horisontale linjen i rektanglene viser gjennomsnittlig måloppnåelse for alle NAV-kontor det året, og rektangelet viser spredningen fra minimum til maksimum av vanligste verdiene. Utenfor rektangelet er uvanlige verdier. I hele perioden er det uvanlig (færre enn 25 prosent av tilfellene) å ha måloppnåelse over 75 prosent. Det er også uvanlig å ha lavere måloppnåelse enn omtrent 40 prosent, men det blir vanligere i 2015. Vi ser også at måloppnåelsen har sunket noe fra 2012–2015.

Resultater fra regresjonsanalysen

Høy måloppnåelse gir ikke økt overgang til arbeid

Vi ser i Tabell 1 at høy måloppnåelse på målstyringsindeksen har en negativ statistisk sammenheng med å få flere brukere i arbeid. Modell 1 viser sammenhengen mellom målstyring og overgang til arbeid uten å kontrollere for noen andre variabler. Sammenhengen mellom målstyring og overgang til arbeid er negativ, men ikke signifikant. Når vi kontrollerer for NAVs innsats i Modell 2 ser vi at sammenhengen fortsatt er negativ, og er statistisk signifikant. Vi finner det samme resultatet i den endelige modellen, Modell 3, som inkluderer NAVs innsats og alle de andre kontrollvariablene.

Figur 3. Samlet måloppnåelse i perioden 2012–2015 for alle NAV-kontor, gjennomsnitt.

Figur 3. Samlet måloppnåelse i perioden 2012–2015 for alle NAV-kontor, gjennomsnitt.

Figur 4. Gjennomsnittlig måloppnåelse alle NAV-kontor hvert år.

Figur 4. Gjennomsnittlig måloppnåelse alle NAV-kontor hvert år.

Tabell 1. Tre regresjonsmodeller, NAVs innsats med og uten kontrollvariabler.

 

Modell 1

Modell 2

Modell 3

Avhengig variabel - Overgang til arbeid

 

 

 

 

 

 

 

NAVs innsats

 

Samlet måloppnåelse på målstyringsindeks

-0.011

-0.038**

-0.026*

Andel brukere med jobbmatch

 

0.028**

0.019*

Andel virksomheter med arbeidsgiverkontakt

 

0.014

0.008

Andel brukere svart innen fristen

 

0.012

0.034*

Andel journalføringer innen fristen

 

0.059*

0.061**

Statlig sykefravær

 

-0.055**

-0.049**

Oppfølging 3 måneder

 

0.006

0.052

Andel brukere med plan

 

0.043

0.024

Andel brukere i tiltak

 

-0.066

-0.064

Tiltak – Lønnstilskudd

 

-0.006

0.002

Tiltak – Arbeidspraksis

 

-0.003

0.001

Tiltak – Opplæring

 

-0.003

-0.001

Tiltak – Oppfølging

 

-0.013*

-0.013**

Tiltak – Arbeidsavklaring

 

-0.001

-0.001

Tiltak – Tilrettelagt arbeid

 

-0.025*

-0.008

Tiltak – Arbeidsr. rehab

 

0.014**

0.009**

Tiltak – Utredning og beh.

 

0.020**

0.017**

Tiltak – Egenetablering

 

0.013**

0.007

Tiltak – Tilrettelegging

 

0.013**

0.006

 

 

 

 

Demografiske variabler

 

Andel brukere med fullført vgs

 

 

0.045

Andel brukere som er innvandrere

 

0.121

Andel brukere med mål om å beholde arbeid

 

 

-0.061*

Andel brukere som er kvinner

 

0.038

Andel brukere over 50 år

 

 

-0.095*

Antall brukere med nedsatt arbeidsevne

 

-0.000**

Andelen brukere i fylket (på AAP) med en psykisk diagnose

 

 

-0.253

Andel i nøkkelvarighet

 

-0.087**

 

 

 

 

Kontorinterne forhold

 

Snittalder i kontoret

 

 

-0.001

Snitt antall måneder ansiennitet i NAV

 

-0.001

Snittlønn i kontoret

 

 

0.000

Antall brukere delt på antall statlig ansatte

 

0.001**

Størrelse på NAV-kontor (1/5) er referansegruppe

 

 

-

Størrelse på NAV-kontor (2/5)

 

 

0.062**

Størrelse på NAV-kontor (3/5)

 

 

0.073**

Størrelse på NAV-kontor (4/5)

 

 

0.099**

Størrelse på NAV-kontor (5/5)

 

 

0.091**

Kontoret deltok i prosjektet Oppfølging i Egenregi

 

 

0.008

Kontrollvariabler

 

 

 

Bruttoledighet i kommunen

 

 

-0.023

Bruttoledighet i fylket

 

 

-2.035**

Medianinntekt i kommunen

 

0.173**

Etterspørsel etter arbeidskraft i fylket

 

 

0.093**

Andel på helserelaterte ytelser (AAP, Uføretrygd) i fylket

 

0.338*

Andel studenter i kommunen

 

 

0.000

Konstantledd

0.412**

0.429**

0.299**

N - antall observasjoner

19,665

19,665

19,665

Antall grupper

19

19

19

AIC

4830

4786

4585

BIC

4869

4967

4948

Log likelihood

-2410

-2370

-2247

** p<0.01, * p<0.05

 

 

 

I Modell 3 ser vi at det først og fremst er økonomisk-demografiske forhold som har en påvirkning på hvor stor andel av brukerne som har overgangen til arbeid, sammen med viktige kontorinterne og demografiske forhold som NAV har mindre kontroll over.

Ved høy arbeidsledighet og lav etterspørsel etter arbeidskraft går overgangen til arbeid ned. Mange brukere i nøkkelvarighet vil i perioder påvirke NAV-kontorets kapasitet negativt og i perioden vi ser på slå dette ut i en dårligere utvikling på overgang til arbeid. Vi ser at NAV-kontor som har en høyere andel eldre brukere har lavere andel brukere med overgang til arbeid. Vi ser også at det generelle velstandsnivået, uttrykt gjennom medianinntekt i kommunen, har en påvirkning på hvor mange brukere som har overgang til arbeid. Noen kontorinterne forhold er også viktige, slik som størrelsen på NAV-kontoret, hvor mange brukere hver saksbehandler har ansvar for å følge opp, og hvor stort det interne sykefraværet ved NAV-kontoret er[8]Disse resultatene kommenteres mer i Roaldsnes (2018)..

De teoretiske forutsetningene, operasjonaliseringen, tidligere forskning og resultatene for variablene i Tabell 1 forklares og gjennomgås i detalj i Roaldsnes (2018). For å forstå virkningen og samspillet mellom NAVs arbeid knyttet til journalføring, må vi kommentere disse effektene raskt.

Det er få av aktivitetene NAV påvirker direkte som har sammenheng med overgang til arbeid. Variabelen med klarest sammenheng er «Andel journalføringer utført innen fristen». Dernest ser vi at det kan være en kobling mellom hvor arbeidsrettet et NAV-kontor er og overgangen til arbeid, men størrelsen på påvirkningen er ikke stor[9]«Andel med jobbmatch» er positiv og signifikant i denne modellen, men funnet er ikke like robust som «Andel journalføring» eller skåre på målstyringsindeks. Vi diskuterer sammenhengen mellom jobbmatch og overgang til arbeid nærmere i Roaldsnes (2018).. En høyere andel brukere med jobbmatch predikerer en litt høyere overgang til arbeid. Ved å jobbmatche en bruker før samtale kan brukeren være bedre forberedt til møtet med NAV og NAV har vist brukeren noe av arbeidsmarkedet. NAV-kontor med høy andel jobbmatch kan tenkes å være mer arbeidsrettede enn andre, men høy andel jobbmatch kan også tenkes å være en strategisk tilpasning der man bevisst prøver å oppnå gode resultater på målekortet.

Den teoretiske koblingen mellom «Andel brukere svart innen fristen» og overgang til arbeid følger samme logikk som «Andel journalføringer» og er gruppert i teorigjennomgangen i Roaldsnes (2018)[10]Ettersom funnet for «Andel brukere svart innen fristen» er mindre robust, men nært beslektet med «Andel journalføringer» kommenterer vi journalføringer videre..

Journalføringsoppgaver er en aktivitet som gjennomføres hyppig ved de ulike NAV-kontorene. NAV-kontoret har vanligvis behandlet opp mot 90 prosent av journalføringsoppgavene innen fristen. Det er ikke slik at overgangen til arbeid går veldig opp når NAV-kontoret øker innsatsen på denne aktiviteten, men kontor med jevnt svake resultater på disse indikatorene har svakere overgang til arbeid. Vi kan anta at når et NAV-kontor opplever først en sterk og plutselig nedgang i resultatoppnåelse på måleindikatorene for så å ha en rask innhenting og høy aktivitet knyttet til disse aktivitetene, så faller andelen brukere med overgang til arbeid sterkt. Dette midlertidige droppet i resultater kan vi kalle «istapper». En slik kraftig nedgang og deretter kraftig oppgang i måloppnåelse på måleindikatorer vil se ut omtrent som en istapp når man observerer det i en figur (se figur 6).

Det er flere måter å forstå disse funnene på. Svake resultater på journalføring og sykefravær kan tenkes å være tegn på intern «støy». Det kan skyldes høy arbeidsbelastning, perioder med dårlige rutiner for journalføringenes og for oppfølgingsoppgavene sin del kan det også skyldes høyt sykefravær.

En annen mulig sammenheng er at NAV-kontoret reagerer på «istappen», at de omdirigerer ressurser for å imøtekomme plutselige dropp i disse indikatorene. Dersom man omdirigerer ressurser for å få unna restanser i journalføringsoppgaver kan det tenkes at fokuset trekkes bort fra den arbeidsrettede oppfølgingen av brukerne. Det kan også tenkes at selve innhentingen fra plutselig dårlige resultater i seg selv er en type respons som svekker overgang til arbeid.

Figur 5 viser forventet andel med overgang til arbeid for personer med nedsatt arbeidsevne, gitt ulik størrelse på variabelen «Andel journalføringer»[11]Figuren er en lineær prediksjon gitt ulike verdier på variabelen «Andel journalføringer» med konfidensintervaller. Et konfidensintervall viser prediksjonens sikkerhet. I denne figuren viser konfidensintervallet hvilket spenn 95 prosent av verdiene vil falle inn i, gitt de ulike verdiene på variabelen. Store spenn i konfidensintervallet betyr større usikkerhet rundt den predikerte verdien.. Landssnittet i perioden er at kontorene får journalført nær 90 prosent av oppgavene sine innen fristen og er markert ved rød vertikal linje. Ved dette punktet ser vi at overgangen til arbeid for personer med nedsatt arbeidsevne ligger rett over 40 prosent, som er konstantleddet i de fleste modellene.

Figuren viser at det er lite å hente med hensyn til å forbedre resultatet sitt dersom NAV-kontoret allerede ligger nær snittet.

Figur 6 viser tidsserier for andelen journalføringer for tjue tilfeldig trukne NAV-kontor[12]Uttrekket er tilfeldig og inneholder to NAV-kontor fra hver størrelseskategori fra 1 til 10 der 10 er de ti prosent største NAV-kontorene i landet.. Her ser vi «istappene» i praksis. Ta eksempelvis NAV Tromsø, nummer fire fra venstre i nederste rad. NAV Tromsø har for det meste nesten 90 prosent på andel journalføringer gjennomført innen 24 timer, men har opplevd perioder med fall, der de raskt har hentet seg tilbake til normalen, altså en «istapp». Andelen journalføringer sank kraftig i disse periodene, ned til omtrent 70 prosent, men kun for en kort periode. Noen kontorer opplever få slike «istapper», mens andre opplever dem hyppigere.

Viktige aktivitetsindikatorer uten sammenheng med bedre resultater

Figur 5. Predikert overgang til arbeid gitt ulike verdier på andel journalføringer utført innen fristen.

Figur 5. Predikert overgang til arbeid gitt ulike verdier på andel journalføringer utført innen fristen.

Figur 6. Andel journalføringer utført 2012–2015 i 20 tilfeldig trukne NAV-kontor.

Figur 6. Andel journalføringer utført 2012–2015 i 20 tilfeldig trukne NAV-kontor.

Tabell 2. Modell 4, 5 og 6. Regresjonsmodeller med individuell måloppnåelse på viktige indikatorer.

 

Modell 4

Modell 5

Modell 6

Avhengig variabel - Overgang til arbeid

 

 

 

 

 

 

 

NAVs innsats

 

Måloppnåelse: Arbeidsgiverkontakt

0.004

0.000

0.000

Måloppnåelse: Kontakt bruker innen fristen

-0.003

-0.009

-0.006

Måloppnåelse: Andel brukere med nedsatt arbeidsevne med oppfølging siste 6 mnd

-0.012**

-0.013**

-0.009

Andel brukere med jobbmatch

 

0.021*

0.014

Andel virksomheter med arbeidsgiverkontakt

 

-0.002

-0.002

Andel brukere svart innen fristen

 

0.019

0.038

Andel journalføringer innen fristen

 

0.058*

0.060**

Statlig sykefravær

 

-0.044*

-0.042*

Oppfølging 3 måneder

 

0.013

0.057

Andel brukere med plan

 

0.036

0.019

Andel brukere i tiltak

 

-0.073

-0.068

Tiltak – Lønnstilskudd

 

-0.006

0.002

Tiltak – Arbeidspraksis

 

-0.003

0.001

Tiltak – Opplæring

 

-0.002

-0.001

Tiltak – Oppfølging

 

-0.013*

-0.013**

Tiltak – Arbeidsavklaring

 

-0.001

-0.001

Tiltak – Tilrettelagt arbeid

 

-0.025*

-0.008

Tiltak – Arbeidsr. rehab

 

0.014**

0.009**

Tiltak – Utredning og beh.

 

0.020**

0.017**

Tiltak – Egenetablering

 

0.013**

0.007

Tiltak – Tilrettelegging

 

0.013**

0.006

 

 

 

 

Demografiske variabler

 

Andel brukere med fullført vgs

 

 

0.044

Andel brukere som er innvandrere

 

0.117

Andel brukere med mål om å beholde arbeid

 

 

-0.063*

Andel brukere som er kvinner

 

0.042

Andel brukere over 50 år

 

 

-0.100*

Andelen brukere i fylket (på AAP) med en psykisk diagnose

 

-0.259

Antall brukere med nedsatt arbeidsevne

 

 

-0.000**

Andel i nøkkelvarighet

 

-0.084**

 

 

 

 

Kontorinterne forhold

 

Snittalder i kontoret

 

 

-0.001

Snitt antall måneder ansiennitet i NAV

 

-0.001

Snittlønn i kontoret

 

 

0.000

Antall brukere delt på antall statlig ansatte

 

 

0.001**

Størrelse på NAV-kontor (1/5) er referansegruppe

 

-

Størrelse på NAV-kontor (2/5)

 

 

0.062**

Størrelse på NAV-kontor (3/5)

 

0.073**

Størrelse på NAV-kontor (4/5)

 

 

0.099**

Størrelse på NAV-kontor (5/5)

 

0.091**

Kontoret deltok i prosjektet Oppfølging i Egenregi

 

 

0.008

Kontrollvariabler

 

 

 

Bruttoledighet i kommunen

 

-0.025

Bruttoledighet i fylket

 

 

-1.996**

Medianinntekt i kommunen

 

0.173**

Etterspørsel etter arbeidskraft i fylket

 

 

0.088**

Andel på helserelaterte ytelser (AAP, Uføretrygd) i fylket

 

0.329*

Andel studenter i kommunen

 

 

0.005

Konstantledd

 

0.422**

0.295**

N – antall observasjoner

 

19,665

19,665

Antall grupper

 

19

19

AIC

 

4787

4589

BIC

 

4985

4967

Log likelihood

 

-2369

-2246

** p<0.01, * p<0.05

I tillegg til å undersøke effekten av samlet måloppnåelse har vi undersøkt visse aktivitetsindikatorer fra Mål- og disponeringsbrev gjennom perioden. Vi finner ingen statistisk signifikant sammenheng mellom god måloppnåelse på sentrale aktivitetsindikatorer og overgang til arbeid. De tre aktivitetsindikatorene som er med i analysen har vært en del av målstyringen fra 2012 til 2014 og er sammenlignbare over tid. Vi finner ikke at aktivitetsindikatoren «Andel virksomheter som har fått arbeidsmarkedsbistand fra NAV» predikerer økt overgang til arbeid[13]Dette kan være at andre operasjonaliseringer kunne gitt andre resultater, for nærmere beskrivelse av definisjoner og valg av opeasjonalisering se (Roaldsnes 2018)..

Tabell 2 er identisk med Tabell 1, bortsett fra at vi bytter ut forklaringsvariabelen «Samlet måloppnåelse» med de tre dikotome forklaringsvariablene om måloppnåelse på viktige indikatorer.

Vi ser i Tabell 2, under seksjonen «NAVs innsats» at ingen av de tre utvalgte aktivitetsindikatorene som er felles for mål- og resultatstyringen 2012–2014 har signifikante utslag på overgang til arbeid i Modell 4, som er den endelige modellen. Når vi kontrollerer for de andre viktige forholdene som påvirker hvor stor andel av NAVs brukere som har overgang til arbeid, ser vi at høy måloppnåelse på disse utvalgte mål- og resultatstyringsindikatorene ser ut til å bety lite eller ingenting[14]På grunn av problemer med multikollinearitet ekskluderer vi variabelen «Andel brukere med nedsatt arbeidsevne med oppfølging siste 6 mnd» fra Modell 5, da denne variabelen måler det samme fenomenet som variabelen «Måloppnåelse: Andel brukere med nedsatt arbeidsevne med oppfølging siste seks måneder»..

Vi fant lignende funn i Roaldsnes (2018). Der var styringsparameterne operasjonalisert som rene verdier, og ikke avhengig av om de var over eller under resultatkravet i Mål- og disponeringsbrev, slik de er i denne analysen.

Mulige begrensninger ved analysen

Etter å ha presentert funnene gjør vi rede for mulige begrensninger ved analysen. Det finnes mange mulige alternative forklaringer for funnene i analysen. Vi har prøvd å kontrollere for dem på ulike vis. Det kunne tenkes at NAV-kontor som har gjort en god avklaringsjobb fikk svakere og svakere overgang til arbeid over tid, fordi det var færre brukere å arbeide med. Eller at NAV-kontor som har god sykefraværsoppfølging begrenser tilgangen personer med nedsatt arbeidsevne, og at bare de aller sykeste kommer videre på arbeidsavklaringspenger. Dette er kontrollert for ved å inkludere andelen personer med nedsatt arbeidsevne i befolkningen ved hvert kontor og kontrollen påvirket ikke resultatene. Vi har også brukt befolkningstall for å kontrollere «by-bygd-variabler», uten endring av resultatene. En annen utfordring er at NAVs brukere i analysen betraktes som en statistisk sett homogen gruppe, men noen NAV-kontor kan ha en høyere andel brukere med større vansker enn andre. Dersom et NAV-kontor praktiserer inngangsvilkårene til arbeidsavklaring strengere enn andre, vil deres brukere stå lengre unna arbeidsmarkedet enn brukergruppen ved et annet NAV-kontor. Disse vil da være vanskeligere å få i arbeid. Den samme utfordringen møter vi i NAV-kontorets bruk av målstyring. Noen NAV-kontor kan tenkes å bruke læringsperspektivet i målstyringen bedre enn andre. Begge disse forholdene antar vi å være tilfeldig i dataene, men dette kan være et område for fremtidig forskning. Metoden som er brukt kan heller ikke påvise kausaliteter. Men i hvilken grad NAVs aktivitetsindikatorer statistisk predikerer overgang til arbeid, kontrollert for andre kjennetegn, er likevel viktig når vi skal vurdere om indikatorene vil gi NAV-kontorene riktige «signaler» slik mål og resultatstyringsmetoden krever dersom den skal fungere.

Diskusjon

Resultatene viser ingen sammenheng mellom høy måloppnåelse på en rekke aktivitetindikatorer i NAV-kontoret og høyere overgang til arbeid. Dette gjelder både når vi ser på alle mål- og resultatindikatorene samlet i en indeks, og når vi ser på utvalgte aktivitetsindikatorer som vi særlig skulle anta at ville påvirke overgang til arbeid. Denne analysen indikerer dermed at de indikatorene som måles gjennom mål- og resultatstyringen i NAV ikke ser ut til å gi ønsket effekt på målet om økt overgang til arbeid for personer som har helseproblemer og vansker på arbeidsmarkedet.

I tillegg til at vi ikke klarer å påvise sammenheng mellom utvalgte individuelle aktivitetsindikatorer og overgang til arbeid for brukere med nedsatt arbeidsevne, viser resultatene våre at når vi kontrollerer for andre viktige faktorer så er det slik at NAV-kontor med høy måloppnåelse har lavere overgang til arbeid. Det betyr at målstyringsregimet, alternativt indikatorene vi har utarbeidet i NAV, ikke gir de signaler til NAV-kontoret som man skulle ønske. De NAV-kontorene som får indikasjoner gjennom målekortet og kanskje også i samtaler om resultatene med fylkeskontoret eller direktoratet om at de må forbedre seg (øke måloppnåelse på indikatorene), vil slik sett kunne være kontor som lykkes i stor grad med å øke overgang til arbeid.

Dette kan føre til at kontor som har et helhetsblikk på arbeidsoppgaver blir bedt om å forsøke å øke frekvensen på aktiviteter som kanskje ikke vil bidra til at flere kommer i arbeid. Det kan for eksempel føre til målforskyving, som at man jobber for å oppnå aktivitetsmålene, istedenfor å være konsentrert om det overordnede målet om å få flere i arbeid.

Bård Kuvaas, professor i organisasjonspsykologi, har oppsummert mye av både nasjonal og internasjonal forskning på området. For oppgaver som krever at «medarbeiderne gjør lokale og situasjonsbetingede intelligente vurderinger og tar et helhetlig ansvar for jobben sin» er slik styring lite egnet oppsummerer han[15]«Ubalansert målstyring» av Bård Kuvaas, gjestekommentar Ledelse i Dagens næringsliv 6. desember 2011.. Dette er en beskrivelse som kan passe mange av oppgavene NAV-veiledere utfører daglig. Dette passer også godt med den beskrivelsen Ekspertgruppen (2015) som vurderte NAV ga av hvilke arbeidsoppgaver som egner seg for aktivitetsmålinger. «Hvis oppgaver ikke er rutinepreget, de krever mye kompetanse, variert informasjonsbehov og mye skjønnsutøvelse er aktivitetsmål lite effektivt». Ekspertgruppen skriver videre at «Både informasjonstilgang, trekk ved omgivelsene og oppgavenes karakter kan tale for delegasjon av myndighet nedover i arbeids- og velferdsforvaltningen – til NAV-kontoret». Dette arbeides det nå med å gjennomføre i NAV. Det er imidlertid vanskelig fordi departementet i sitt tildelingsbrev krever at mange aktiviteter skal måles. En løsning kan likevel være at man i mindre grad måler dette fortløpende på NAV-kontor nivå, og heller måler det på aggregert nivå, eventuelt rapporterer målingene sjeldnere til NAV-kontoret, dersom man ikke får ny kunnskap om aktiviteter som bidrar til økt overgang til arbeid.

Kombinert med analyser og forskning av hvilke aktiviteter som i størst grad bidrar til eller predikerer overgang til arbeid, kan målstyringen i økende grad vris i retning av myndige NAV-kontor, der oppfølging av kontorene i mindre grad skjer ved hjelp av måleindikatorer, og i større grad på mål om overgang til arbeid, der man kontrollerer for viktige variable som NAV-kontoret ikke har innflytelse på, eksempelvis økonomiske konjunkturer.

Det er mange mulige forklaringer på hvordan bedre resultater på mål- og resultatstyring kan føre til lavere overgang til arbeid dersom vi ser på konteksten NAV arbeider i med dagens målstyringsparadigme.

Et lite responsivt mål

I Norton og Kaplans originale arbeid, som inspirerer dagens målekortparadigme i NAV, er det flere forhold som er interessante å trekke frem. De skriver at dersom informasjonssystemet er lite responsivt så vil det være en akilleshæl i målstyring. Er tallene langt bak i tid kompliserer det metoden sterkt (Norton og Kapland 2005: 7). I NAV er det ikke snakk om at resultatene er synlige først en uke senere, som Norton og Kaplan er bekymret for, men én måned senere. Dette er i utgangspunktet ikke noen stor utfordring, men utfordringen ligger i at resultater for overgang til arbeid ligger åtte måneder bak resten av målekortet[16]Internt sykefravær og andel graderte sykmeldinger ligger to måneder bak i tid.. Dette betyr at lokale NAV-ledere og ledere for resultatområder i liten grad vil kunne analysere sammenhengen mellom ulike styringsparametere og overgang til arbeid. Statistikken som viser overgang til arbeid er svært egnet for forskning, men svært lite egnet for et verktøy der responsivitet måned for måned er viktig.

Målekortene fanger ikke opp eksterne forhold som påvirker overgang til arbeid

Ikke bare er overgang til arbeid svært vanskelig å se i sammenheng med NAV-kontorets innsats, problemet leder oss videre til et annet sentralt element fra Norton og Kaplans originale teori for hvordan bedrifter kan oppnå bedre resultater. Målekortet skal tvinge ledelsen til å se ulike forhold sammen og se sammenhenger. Ledere skal kunne se om forbedring på ett område går ut over et annet (2005: 3). Årsakssammenhengene rundt overgang til arbeid på NAV-kontornivå er ikke tidligere undersøkt empirisk og kvantitativt i relasjon til målekortet.

Målekortet mangler i dag informasjon om de forholdene som vi i denne analysen har vist har betydelig påvirkning på overgang til arbeid. Ledighetsnivå og utviklingen på arbeidsmarkedet, etterspørsel etter arbeidskraft, samfunnsvelstand for øvrig og demografisk sammensetning av innbyggerne i en kommune burde utgjøre konteksten i et målekort og balansere styringsparametene. Uten muligheten for hele tiden å ta høyde for disse forholdene vil mulighetene for å bruke målstyringsverktøyet på en effektiv måte være sterkt begrenset, og lett kunne gi forvirrende signaler til Nav-kontorene om deres innsats..

Svak bruk av læringsperspektivet

Norton og Kaplan fortsetter med å påpeke mulige problemer som kan oppstå ved implementering av målekort. Læringsperspektivet er en sentral forutsetning for å lykkes med mål- og resultatstyring. Et av forbedringspotensialene som ble pekt på i evalueringen av mål- og resultatstyringen i NAV i 2015 var at læringsaspektet må tydeligere frem (PSG 2015: 4).

Ensidig vektlegging av «flere i arbeid» på bekostning av andre viktige mål?

Et annet problem målstyringsparadigmet i NAV kan sies å stå ovenfor er at viktige målsettinger blir borte i styringsmodellen. NAVs overordnede mål er «Flere i arbeid, bedre brukermøter, økt kompetanse (Mål- og disponeringsbrev 2017: 2)». En enkel analyse av hvordan de tre målene er å finne igjen i NAVs målstyringssystem viser en overvekt av indikatorer knyttet til delmålet «flere i arbeid». To av de åtte obligatoriske styringsparameterne omhandler overgang til arbeid. Disse rapporteres på og gjennomgås månedlig med tilhørende kvantitativt måltall. Målet «Bedre brukermøter» og referanser til kvalitet i brukermøtene dukker bare opp to ganger blant 92 kvalitative rapporteringskrav i Mål- og disponeringsbrevet for 2015. I følge Norton og Kaplan skal balansert målstyring omsette en virksomhets visjoner til strategier og mål, men i NAV er dette tilsynelatende bare delvis gjennomført. NAV har et mål om bedre brukermøter. Kundebaserte mål er viktige, skriver Norton og Kaplan, men de må oversettes til mål som virksomheten må oppnå for å kunne møte brukernes forventninger (2005: 6). Det interne perspektivet – hva må vi bli bedre på – kan ikke sies å være balansert med de andre målene i NAV dersom man ser på de kvantitative målene og rapporteringskravene i etaten.

Brukertilfredshet etter møte med NAV er en indikator som kunne vært inkludert i målekortet dersom vi bygde en infrastruktur for det. På samme måte kunne brukere rapportert om opplevd kvalitet i tjenestene etter besøk hos NAV gjennom løsninger i «Ditt NAV» i fremtiden. I sin meta-studie av effekten av balansert målstyring påpeker Østergaard Møller m.fl. at «de resultater som det måles på vil alltid være definert av de sterkeste interessene på området (Østergaard Møller 2016: 51)». NAVs mål- og disponeringsbrev kan tolkes til å gjenspeile dette, da politikeres «flere i arbeid» tilsynelatende tar forrang foran «bedre brukermøter», målt etter de kvalitative og kvantitative rapporteringskravene vi ser i mål- og disponeringsbrevene.

Overførbart styringsparadigme?

Mål- og resultatstyring, og balansert målstyring, var utviklet som styringslogikk for moderne private bedrifter som søker å skape overskudd for aksjonærer. Styringsmodellen er forsøkt konvertert til å være en styringslogikk for offentlig sektor, men kontekstene til offentlig og privat sektor er ofte svært lite sammenlignbare, og er derfor en mulig utfordring. NAV opplever for eksempel ikke «intens global konkurranse», og har ikke som mål å «sikre sin status som markedsleder» og jobber ikke for å «øke verdien til aksjonærene», slik den originale målstyringslitteraturen fokuserer på (Norton og Kaplan 2005).

I hvilken grad passer teoriene og elementene i balansert målstyring for styring av en offentlig etat? NAV har sammensatte mål, som å forvalte velferdsytelser og et økonomisk sikkerhetsnett for personer som står uten inntekt, å sikre rettssikkerhet og å bidra med hjelp til å skaffe inntektsgivende arbeid til mennesker som har falt ut av arbeidslivet? I motsetning til en privat profittsøkende bedrift, hvis viktigste mål er å skape overskudd, kan en offentlig virksomhet ha mange mål. Resultatene fra denne analysen peker i retning av at styringsmetoden – eller NAVs implementering av styringsmetoden – ikke har de ønskede resultatene på et av NAVs overordnede mål.

Det brukes mye ressurser i NAV på styring og rapportering, så det er selvsagt viktig at vi gjør dette på en måte som har ønskede effekter på de overordnede målsettingene. Resultatene fra denne analysen indikerer at den modellen eller de indikatorene vi har valgt i NAV ikke lever opp til de teoretiske forutsetningene som må være tilstede i balansert målstyring dersom den skal fungere. Dette bør lede til mer forskning og flere analyser knyttet til dette, samt en gjennomgang av målstyringsparadigme og kanskje også en diskusjon av overførbarheten av mål- og resultatstyring til offentlig sektor.

Utilsiktede konsekvenser ved bruk av balansert målstyring

Østengaard Møller (2016) finner at balansert målstyring fører til ikke-tilsiktede konsekvenser i organisasjonene, der organisasjonene reagerer på prestasjonsmålene og tilpasser egen adferd for å oppnå målene.

De finner for eksempel at lederne får fokus på kortsiktige resultater og blant annet prioriterer brukere det er lettest å hjelpe (2016: 42). Resultatene fra denne analysen kan tenkes å støtte en slik tolkning ved at høy måloppnåelse har en svak negativ effekt på overgang til arbeid. Det kan bety at NAV-kontorene med høy skåre på måleindikatorene ikke lykkes med å gi bedre arbeidsrettet oppfølging, og at de konsentrerer mye ressurser rundt de aktivitetene de blir målt på. Hvis da disse aktivitetene viser seg ikke å ha stor effekt på å få brukerne over i arbeid, vil man oppleve at man ikke lykkes med dette overordnede målet.

Målstyringskultur

En dimensjon som er vanskeligere å belyse, men som kan ha stor påvirkning, er kulturen for målstyring som utvikler seg i etaten. Denne kulturen kan være svært fragmentert, men også ha mange likhetstrekk mellom ulike NAV-enheter. Vi har lite systematisk kunnskap om denne kulturen. På hvilke ulike måter arbeider NAV-kontor og NAVs fylkeskontor med målstyring? Direktoratet oppfatter målekortet som et av flere styringsverktøy i oppfølgingen av NAV-kontor og -fylker. Direktoratet kan kanskje ha vanskelig for å oppfatte, og har har uansett lite systematisk kunnskap om hvordan målekortet oppfattes lokalt og i hvilken grad det er et styringstrykk i etaten basert på dette. Svært mye mer enn det som er obligatoriske styringsparametere kan observeres i målekortet. Mer myndige NAV-kontor kan dermed også føre til et sterkere styringspress, dersom man ikke er bevisst på dette og skaffer seg kunnskap om hvordan styringen påvirker de ansatte.

Implikasjoner for styring av NAV

Det er et avgjørende element i teorien rundt balansert målstyring at det er en årsakssammenheng mellom indikatorer og målet som man vil styre etter.

Hvilke implikasjoner har funnene for styringen av NAV?

Ettersom balansert målstyring kan tenkes å ha en negativ effekt bør man ha en debatt om man bør gå bort fra mål- og resultatstyringsparadigmet som i dag er den lovbestemte styringsformen.

Dersom man ønsker å fortsette med målekort i en eller annen form kan det vurderes om målekortet bør presenteres «kontrollert for» forhold som NAV-kontoret ikke kan påvirke. Det bør vurderes om indikatorene skal presenteres langt sjeldnere enn i dag (en eller to ganger i året). Dette fordi mange kontor er små, og slike analyser ikke har nok data til å gi presise anslag for korte tidsperioder, samt at de tilfeldige variasjonene blir store. I tillegg kan hyppig måling forstyrre arbeidet med å få til forbedringer i saksbehandlingen. Samtidig som både gode og dårlige skår kan gi feil signaler.

Det er imidlertid mange styringsparametere som det er viktig å følge med på som har andre mål, eller som speiler lovbestemte krav, eksempelvis i forvaltningsloven.

Det bør forskes på hva slags type kontakt med arbeidsmarkedet som har størst betydning for målet om flere i arbeid. Det kan tenkes at det er utilsiktede konsekvenser ved å bruke dagens indikatorer. I Roaldsnes (2018) diskuteres svakhetene ved aktivitetsindikatorene knyttet til arbeidsgiverkontakt som vi benytter i dag. Denne indikatoren legger opp til kortsiktig kontakt med arbeidsmarkedet ved å kun måle måned for måned. En enkel telefonkontakt med en arbeidsgiver NAV allerede har et godt samarbeid med teller like mye som et større og godt planlagt samarbeidsmøte med en bedrift NAV aldri har hatt kontakt med. Når NAV-kontorets tall for arbeidsmarkedskontakt tilbakestilles til 0 hver måned, må først de enkle kontaktene prioriteres dersom man skal oppnå en god score på målekortet. Slik ender man opp i en situasjon der man mangler incentiver for å planlegge langsiktig og jobbe grundig, men heller belønnes for å prioritere enkle oppgaver. En ny undersøkelse viser at NAV har en dårligere kontakt med arbeidsmarkedet enn man hadde trodd (PWC 2017). Selv om respondentene som ble intervjuet oppgir å være lojale overfor målene, forteller de at de ofte opplever dårlig samsvar mellom hva de må gjøre for å hjelpe brukerne og å bedre egen kompetanse på den ene siden og det å nå målene som er satt i målstyringen på den andre (PWC 2017).

I utgangspunktet har NAV allerede fått et grunnlag for å utvikle denne idéen i tankene rundt «Utviklingen av NAV-kontor», som bygger på Ekspertgruppen i NAVs sluttrapport «Et NAV med muligheter» (Ekspertgruppen 2015) om myndige og løsningsdyktige NAV-kontor. I en mandagshilsen til NAV fremstilte Arbeids- og velferdsdirektøren det slik: «Jeg vil måle lederne på hva de oppnår, ikke på hvor mange oppfølgingsmøter eller telefoner de har tatt til arbeidsgivere. Ikke på detalj-telling av antall deltakere på jobbklubber, men effekten av disse (Vågeng 2017)». Både Sverige og Danmark har nylig gjennomført såkalte «tillitsreformer», og det kan tenkes at norsk arbeids- og velferdsforvaltning kan se til løsninger som er utviklet der. Etter nær 40 år med mål- og resultatstyring i offentlig sektor kan det tenkes at vi trenger en debatt om hva som er den mest hensiktsmessige måten å styre på.

Kvalitetsikring av kontorenes arbeid kan gjøres gjennom ulike samarbeidsmodeller, slik som saksdrøftingsverksted på sykepengeområdet som ble innført i Hedmark i 2013 og i store deler av landet for øvrig i 2015(se Kann m.fl. 2014 og Kann og Lima 2015).

Vi bør ikke begrense oss til å ha en rent teknisk eller vitenskapelig tilnærming til styringsprinsippene i NAV. Vi bør også ha en normativ debatt som trekker på erfaringene til de som jobber ute i fagmiljøene og er i direkte kontakt med brukerne. Hvilke styringsprinsipper bør ligge til grunn for å styre Arbeids- og velferdsetaten? Bør fokuset i etaten ligge på rettssikkerhet og service, og mildne dagens sterke fokus på overgang til arbeid? Er det mulig å balansere flere mål? Hvordan skal offentlige etater styres slik at de blir gode på det de trenger å bli gode på for å lykkes?

Litteratur

Ekspertgruppen for NAV. (2015). Et NAV av muligheter. Oslo: Arbeids- og sosialdepartementet.

Fleten, N., & Johnsen, R. (2006). «Reducing sick leave by minimal postal intervention: a randomized controlled intervention study». Occup Environ Med, 2006: 63, ss 676–682.

Gulbrandsen, B., & Hansen, T. V. (2001). Balansert målstyring i offentlig sektor. Oslo: Statkonsult.

Johansson, P., & Lindahl, E. (2013). «Can sickness absence be affected by information meetings? Evidence from a social experiment». Empirical Economics, 44 (3), 1673–1695.

Kann, I. C., & Lima, I. A. (2015). «Tiltak i NAV Hedmark ga færre nye mottakere av arbeidsavklaringspenger». Arbeid og Velferd 2/2015, ss 77–94.

Kann, I. C., Lima, I. A., & Kristoffersen, P. (2014). «Håndheving av aktivitetskravet i Hedmark har redusert sykefraværet». Arbeid og Velferd 3/2014, ss 14–33.

Kaplan, R. S., & Norton, D. P. (2005). «The Balanced Scorecard: Measures That Drive Performance». Boston: Harvard Business Review, July-August 2005 Issue.

Markussen, S., Røed, K., & Schreiner, R. (2015). «Can compulsory dialogues nudge sick-listed workers back to work?» Bonn: Institute for the Study of Labor, Discussion paper No. 9090..

Midtbø, T. (2012). Stata: En entusiastisk innføring. Oslo: Universitetsforlaget.

NOU 1984: 23. (1984). Produktivitetsfremmende reformer i statens budsjettsystem. Finansdepartementet.

NOU 2003: 6. (2003). Hva koster det? Finansdepartementet.

PSG, Partssammensatt gruppe gitt mandat av Styringsstaben i Arbeids- og velferdsdirektoratet. (2015). Sluttrapport. Mål- og resultatstyring i NAV. Oslo: Arbeids- og velferdsdirektoratet.

PWC. (2017). Evaluering av opplæring i arbeidsmarkedskompetanse i NAV-kontorene. Oppsummeringer av hovedfunn og anbefalinger. Arbeids- og Velferdsdirektoratet.

Raaum, O., Røed, K., & Torp, H. (2002). «Riktig satsning i arbeidsmarkedspolitikken?» Norsk økonomisk tidsskrift. Vol 116, No. 2.

Roaldsnes, A. (2018). NAVs hovedmål sett fra NAV-kontoret – En kvantitativ analyse av overgang til arbeid. NAV-rapport 1/2018. Oslo: Arbeids- og velferdsdirektoratet.

Røed, K., & Westlie, L. (2012). «Unemployment insurance in welfare states: The impacts of soft duration constraints». Journal of the European Economic Association, 10 (3) 518–554.

Selnes, C., & Skindarhaug, I. M. (2014). Mål med mening? NAV-kontorenes valg av indikatorer etter endring i målekortet fra 2013. Oslo: Masteroppgave, Høgskolen i Oslo og Akershus.

Senter for statlig økonomistyring. (2010). Veileder. Resultatmåling. Mål- og resultatstyring i staten. Oslo: Hentet fra: http://www.dfo.no/Documents/FOA/publikasjoner/veiledere/Maal_og_resultatstyring_i_staten.pdf, Hentet: 2017.04.20.

Vågeng, S. (2016, november 28). God Mandag. Om Handlingsrom og mindre detaljstyring. Hentet fra NAVET. NAVs intraweb: https://navet.adeo.no/Etatstjenester/Virksomhetsstyring/Informasjon+fra+ledelsen/God+mandag/god-man-dag-om-handlingsrom-og-mindre-detaljstyring

Østengaard Møller, M., Iversen, K., & Normann Andersen, V. (2016). Review af resultatbaseret styring. Resultatbaseret styring på grunnskole-, beskæftigelses- og socialområdet. København: Det Nationale Institut for Kommuners og Regioners Analyse og Forskning (KORA).

Vedlegg 1

I 2012 til 2014 var oppfølgingsindikatoren laget med et tremånedersperspektiv for arbeidssøkere og seksmånedersperspektiv for personer med nedsatt arbeidsevne. I 2015 ble oppfølgingsindikatoren sammenslått til en samleindikator for begge gruppene med et tremånedersperspektiv. To indikatorer har ligget konstant i perioden. Det er indikatorene som omhandler hvor mange arbeidsgivere som har fått arbeidsmarkedsbistand fra NAV den siste måneden, og hvor stor andel av brukerne som har tatt kontakt med NAV og som NAV har tatt kontakt med innen fristen på 48 timer.

Noen indikatorer er ekskluderte basert på metodehensyn. Indikatorene det gjelder er ekskludert fra analysen på grunn av manglende data, bortsett fra antall formidlinger, som er ekskludert på grunn av manglende sammenlignbart målkrav.

Vedlegg 2 – operasjonaliseringer av data

Operasjonaliseringer av NAVs innsats

De fleste variablene i denne gruppen er hentet fra universet «Indikatorer i målekort» i NAVs datavarehus og følger operasjonaliseringen som er brukt i NAVs styringslogikk. Samtlige av variablene er godt beskrevet i NAV-kontorenes målekort rundt omkring i landet. Av ti variabler i kategorien «NAVs innsats» er det bare to som ikke er hentet fra målekortet. Det er «andelen brukere med nedsatt arbeidsevne som deltar i et tiltak», og er naturlig nok antallet brukere som deltar i tiltak i den gitte måneden, delt på antallet brukere med nedsatt arbeidsevne i kontoret. Den andre er «andel brukere med aktivitetsplan». Denne variabelen følger samme operasjonalisering, bare at det er antallet brukere med nedsatt arbeidsevne med en godkjent aktivitetsplan, delt på antallet brukere med nedsatt arbeidsevne totalt.

«Jobbmatch» er en variabel som bruker NAVs standardoperasjonalisering. Jobbmatch er mulig å utføre på både ordinære arbeidssøkere og brukere med nedsatt arbeidsevne, men nevneren i indikatoren er antall ordinære arbeidssøkere ved kontoret. Formelt er dermed indikatoren ikke logisk bygd for å fange opp det vi leter etter. Den går først og fremst på de ordinære arbeidssøkerne. Det betimelige spørsmålet blir derfor: hvilken relevans kan en slik variabel ha i denne analysen?

Grunnen er todelt. NAV ønsker jobbmatch utført på brukere med nedsatt arbeidsevne også. Indikatoren blir ofte tenkt på som en indikator som sier noe om hvor arbeidsrettet et kontor er. Nevneren blir dermed mindre viktig i denne sammenhengen. Det som er mer viktig for relevansen i denne analysen er at NAV bruker jobbmatch som en måte å synliggjøre at man snakker med bruker om arbeid. Derfor er operasjonaliseringen og inklusjonen av variabelen valid etter NAVs interne styringslogikk. Møtene med bruker skal være arbeidsrettet, og det er antatt at å gjennomføre en jobbmatch i forkant av et møte med bruker er en god indikator på om møtet med bruker faktisk er arbeidsrettet. Relevansen til denne variabelen hviler dermed på antakelsen om at de NAV-kontorene som har høy andel med jobbmatch er mer arbeidsrettet enn andre kontorer. Dette er en forlenging av NAVs styringslogikk og dermed blir det relevant å teste effekten av denne variabelen på overgangen til arbeid for personer med nedsatt arbeidsevne, selv om primærgruppen i variabelen omhandler de ordinære arbeidssøkerne.

Operasjonaliseringer av tiltak

Tiltaksvariablene er alle, unntatt «Kjerneoppgaver i NAV-kontor», laget og operasjonalisert på samme måte. Utgangspunktet for alle variablene er antallet brukere registrert i tiltaket i NAVs saksbehandlingssystem Arena. For at tiltakene skulle være historisk korrekte og sammenhengende – noen av tiltakene i NAV har endret seg over tid – har tiltaksteamet i NAV Finnmark bistått[17]Takk spesielt til Vigdis Kristiansen i NAV Finnmark og til Siw Stærk for generell veiledning i Standard for arbeidsrettet brukeroppfølging og mye mer..

Tiltaksbruk er operasjonalisert som antallet brukere på hvert tiltak delt på antallet brukere på tiltak totalt i kontoret. Dermed får vi «Andelen på tiltak X» som forklaringsvariabel. Antall på tiltak som andel av antall brukere er også en forklaringsvariabel, som forklart i avsnittet over.

Operasjonaliseringen som vant frem som endelig operasjonalisering er en metode som beror på tilbøyelighet til å bruke et visst tiltak. Vi har valgt en percentiltilnærming. Dette er en dikotom variabel der et kontor som bruker et tiltak mest sammenlignet med de andre NAV-kontorene (ligger i 75 prosent-percentilen) får kjennetegnet 1, og de andre 0. Dette betyr at vi sorterer ut de mest hyppige brukerne av hvert tiltak for å se om hyppig bruk av et visst tiltak fører til bedre overgang til arbeid.

Kjerneoppgaver i NAV-kontor (KIN) er operasjonalisert slik at de kontorene som hadde brukere i forsøket (Bamble, Ski, Åsane, Kongsvinger og Heimdal) får et positivt kjennetegn i en dikotom variabel. Det er kun disse fem kontorene som kjennetegnes ved KIN, mens de 432 andre kjennetegnes ved å mangle KIN.

Operasjonaliseringer av kjennetegn ved NAV

Størrelse på NAV-kontor ble operasjonalisert i fem dikotome variabler basert på percentilinndeling der alle NAV-kontor som er i samme størrelseskategori har verdien 1 og de som er i andre størrelseskategorier har verdien 0. Deretter blir dummyvariablene omkodet som faktorvariable. Det minste kontoret i NAV har én statlig medarbeider i perioden. Det største har 178 statlige medarbeidere. 40 prosent av alle NAV-kontor har flere enn 9 statlige medarbeidere. 20 prosent har flere enn 20. Ellers er tallene i denne gruppen hentet fra NAVs datavarehus og universet «HR-rapportering». Tallene er aggregerte og det hersker noe usikkerhet rundt kvaliteten på tallene[18]Viser til epostkorrespondanse med Fredrik Knoph Kvamme i Seksjon for styringsinformasjon i Arbeids- og velferdsdirektoratet..

Demografiske variabler

Samtlige variabler er utarbeidet med tall fra NAVs saksbehandlingssystem Arena. Antallet brukere (med nedsatt arbeidsevne) med utdanning på minimun VGS-nivå (videregående skole) registrert i Arena delt på antallet brukere med nedsatt arbeidsevne utgjør variabelen «Andel brukere som har gjennomført VGS». Tilsvarende utregningsmetode er gjort for de med høyere utdanning (4 år eller mer), og innvandringsbakgrunn fra et land utenfor OECD[19]Hentet fra Ainfo Person – PERSON, Demografi Arena, Demografi Arena (Utfaset), Innvandringsbakgrunn 2001-2009 og kun verdien «Innvandrer ikke-OECD-land» og de som har hovedmål om å beholde arbeid. Alle dataene er hentet fra Ainfo Person.

Tabell 3. Inkluderte og ekskluderte indikatorer fra Mål- og disponeringsbrevene fra 2012 til 2015.

Aktivitetsindikatorer

Målkrav

2015

2014

2013

2012

Andel arbeidssøkere / brukere med nedsatt arbeidsevne med oppfølging siste 3 måneder (samleindikator)

70 prosent

Tilstede

 

 

 

Andel arbeidssøkere med jobbmatch

30 prosent

Tilstede

 

 

Tilstede

Andel brukere med nedsatt arbeidsevne i alder 20 – 29 år med spesielt tilpasset innsatsbehov med godkjent aktivitetsplan

90 prosent

Tilstede

 

 

 

Andel gjennomførte dialogmøte 2 innen 26 uker

80 prosent

Tilstede

 

 

 

Andel virksomheter som har fått arbeidsmarkedsbistand fra NAV-kontorene

20 prosent

Tilstede

Tilstede

Tilstede

Tilstede

Akkumulert avvik mellom planlagte tiltaksplasser og faktisk bruk av tiltaksplasser (standard og situasjonsbestemt innsatsbehov)

+/- 4 prosent

Ekskludert

 

 

 

Akkumulert avvik mellom planlagte tiltaksplasser og faktisk bruk av tiltaksplasser (tilpasset innsatsbehov)

+/- 4 prosent

Ekskludert

 

 

Ekskludert

Andel kontakt bruker innen 48 timer

85 prosent

Tilstede

Tilstede

Tilstede

Tilstede

Andel personer med nedsatt arbeidsevne med oppfølging siste 6 mnd.

80 prosent

 

Tilstede

Tilstede

Tilstede

Andel stillinger meldt til NAV med tilvisning

90 prosent

 

Ekskludert

Ekskludert

Ekskludert

Andel stillinger meldt til Arbeids- og velferdsetaten av tilgang stilinger totalt (markedsandel)

40 prosent

 

Tilstede

Tilstede

Tilstede

Andel arbeidssøkere med oppfølging siste 3 mnd.

80 prosent

 

Tilstede

Tilstede

Tilstede

Det egenmeldte og legemeldte sykefraværet skal i gjennomsnitt for året ikke overstige 6,8 prosent (Sykefraværet er periodisert over året.)

6,8 prosent

 

Tilstede

Tilstede

Tilstede

Andel Arbeidssøkere i alderen 20-24 år med oppfølging siste tre måneder

85 prosent

 

 

 

Tilstede

Andelen mottakere av AAP med et oppfølgingsvedtak

75 prosent

 

 

 

Tilstede

Andelen mottakere av AAP som har en godkjent aktivitetsplan

75 prosent

 

 

 

Tilstede

Andel i målgruppen jobbstrategien som har oppfølgingsvedtak

85 prosent

 

 

 

Ekskludert

Andel i målgruppen jobbstrategien som har godkjent aktivitetsplan

80 prosent

 

 

 

Ekskludert

Journalføring innen 24 timer

90 prosent

 

 

 

Tilstede

Effektindikatorer

 

 

 

 

 

Antall formidlinger

 

Ekskludert

 

 

 

Andel med gradert sykmelding ved passering 12 uker

 

Tilstede

Tilstede

 

Antall aktive styringsparameter i analysen:

 

7

7

6

11

Alle tallene i denne analysen er hentet fra kommune- og enhetsnivå dersom ingenting annet er spesifisert. Diagnosegrupperinger er ikke tilgjengelige på enhets- og kommunenivå, derfor er en fylkesvariabel benyttet.

Hver variabel i denne gruppen er andelsvariabler som går fra 0 til 1. I hvert tilfelle er variablene andelen brukere med akkurat det spesifikke kjennetegnet delt på antallet brukere.

Variabelen «Andel med mål om å beholde arbeid» er et forsøk på å operasjonalisere hvor mange brukere som hadde et nylig arbeidsforhold ut fra det registrerte hovedmålet i Arena. Hovedmålet til en bruker kan være å beholde arbeid, skaffe arbeid, eller øke aktivitet med mål om å få arbeid på sikt. Denne forsøker å fange opp at brukere som kom til AAP fra sykepenger hadde langt bedre odds for å gå til arbeid enn de som kom til AAP uten en historie med sykepenger (Kann m.fl. 2016).

Varighetsvariabelen er operasjonalisert som summen av brukere med nedsatt arbeidsevne som har varighet på hhv 12, 24, 36, 48, 60 og 72 måneder.

Operasjonaliseringer av kontrollvariabler

Andel studenter er hentet fra SSB og er årlige tall. Tallene viser hvor stor andel av befolkningen som hadde denne kommunen som bostedskommune ved 16-års alder og som er studenter i dag. Ettersom tallene for høyere utdanning oppdateres i oktober begynner ikke tallene før oktober. Det betyr at 2012-observasjonene er 2011-observasjoner frem til september 2012. Dette er gjort for at endringen over tid skal bli mer logisk. Tallene er hentet fra Tabell 09 224 fra ssb. no. Bydelskontorene har fått byen de tilhører sin andel studenter.

Medianinntekten i bydeler og kommuner er hentet fra ssb.no sin Tabell 06 944. Tallene som er brukt er medianinntekten i husholdningen. Tallene er logaritmisk omkodet.

«Andel som mottar helserelaterte ytelser» operasjonaliseres som summen av mottakere av arbeidsavklaringspenger og uførestønad i et område delt på antallet i arbeidsstyrken. Da får vi en grov «mottakerbidrager»-andel som er basert på deltakere i den aktive arbeidsstyrken og de som mottar inntektssikring på helserelatert ytelse. Variabelen er operasjonalisert på fylkesnivå.

Arbeidsledighet ble operasjonalisert som ledige, delvis ledige og arbeidssøkere på tiltak, samt andre arbeidssøkere tilmeldt NAV.[20]Den vanlige operasjonaliseringen av bruttoledighet i NAV er summen av helt ledige og arbeidssøkere på tiltak. Vi valgte en annen operasjonalisering for å fange opp et mer samlet trykk på tilbud på arbeidskraft.

Dataene er hentet fra NAVs datavarehus (universet Ainfo Person). Det er også laget en fylkesnivåvariabel av ledigheten. Denne variabelen summerer de ledige og arbeidsstyrken og lager en fylkesledighetsvariabel.

Etterspørselen i arbeidsmarkedet er antallet nye stillinger i månedsperioden delt på antallet bedrifter i fylket den gitte måneden. En mulig svakhet med denne operasjonaliseringen er at NAV mangler oversikt over hele populasjonen av utlyste stillinger. NAV selv estimerer at etaten kun har oversikt over 10–20 prosent av nye stillinger i arbeidsmarkedet. Etterspørselen vil derfor kunne være høyere og lavere enn det vi kan observere[21]I tillegg til å operasjonalisere variablene over på NAV-kontor og fylke ble Norsk institutt for By og Regionsforsknings (NIBR) Bo- og arbeidsmarkedsregioner (BA) brukt som områdevekting av ledigheten (finn BA-regionene i Gundersen 2013), men dette kompliserte analysene uten å endre resultatene eller påvirke forklaringskraften i modellene, så denne kategoriseringen ble ikke benyttet i de endelige modellene..