Fører brukarprofilering til meir treffsikker arbeidsretta oppfølging?
Av Espen Steinung Dahl og Kristian Harald Myklathun[1] Takk til Beate Sildnes, Ingunn Sørli, Heidi Nicolaisen, Ivar Lima, Ida Bring Løberg og Jorunn Furuberg for klargjerande informasjon og mange gode innspel.
Samandrag
Når personar kontaktar NAV er det ofte for å få bistand til å komme i jobb. NAV må då vurdere kor mykje hjelp kvar enkelt vil trenge for å komme seg i arbeid. Personane vert delt inn i såkalla innsatsgrupper som reflekterer forventa behov for bistand.
I vurdereringa av riktig innsatsgruppe vert det no nytta ei enkel form for brukarprofilering for å støtte rettleiaren si avgjerd. Denne støtta foreslår for rettleiaren kva oppfølging personen vil trenge for å komme tilbake i arbeid. Rettleiaren veljar om hen vil følgje dette forslaget eller ikkje.
Vi undersøker korleis denne automatiserte brukarprofileringa verkar og om den har gitt meir treffsikker arbeidsretta oppfølging for personane som kjem til NAV. Vi finn at rettleiarane i stor grad ikkje følgjer forslaget frå profileringa i dei tilfella der den føreslår meir enn inga eller lite oppfølging. Likskapen mellom profilering og vedtak aukar med tida i dei tilfella der profileringa foreslår noko oppfølging, noko som kan skuldast at ein bevisst har vald ein algoritme som "overprofilerer", altså heller foreslår for mykje innsats enn for lite.
Denne overprofileringa ser ut til å ha gitt ein auke i bruken av innsatskategoriar som tilseier meir innsats frå NAV. Samstundes finn vi ein nedgang i bruken av tiltak for dei same gruppene. Derimot finn vi ikkje nokon teikn på at det har gjeve lågare overgang til arbeid.
Innleiing
Ein av dei viktigaste oppgåvene for NAV er å støtte brukarane våre så dei kjem seg tilbake eller inn i jobb. Til dømes å støtte sjukmeldte med å komme raskast mogleg tilbake i jobb, eller å hjelpa arbeidssøkjarar med å finne seg ein jobb. For å kunne gjere dette best mogleg er det mellom anna viktig å finne ut kven som har behov for oppfølging, og korleis denne oppfølginga bør vere innretta.
NAV kategoriserer brukarar etter kva bistand ein antek at ein person har behov for. Denne vurderinga har bakgrunn i § 14a i NAV-loven, og ligg til grunn for kva oppfølging brukaren får.
Då det er mange som registrerer seg hjå NAV i løpet av eit år, og det er viktig å raskt avklare behovet til dei som registrerer seg, er det frå fleire hald blitt anbefalt at NAV utviklar verktøy for å effektivisere prosessen med behovsavklaring. I Meld St. 33 (2015-2016) vert utviklinga av profileringsverktøy for avklaring av behov omtalt som eit tiltak som kan bidra til "mer treffsikker og effektiv kanalisering av brukere". Dette blir gjentatt av Sysselsettingsutvalet i 2021 når dei peiker på at NAV bør utvikle profileringsverktøy som kan "bidra til mer effektiv oppfølging og bruk av arbeidsmarkedstiltak tilpasset individuelle behov" (NOU 2021:2, s. 10).
Dette vart følgd opp av NAV som ein del av prosjektet Forenklet oppfølging, som leverte forprosjekt i 2015. I november 2018 vart det innført ei avgjerdsstøtte for å hjelpe rettleiarane med å fatte vedtak om innsatsbehov. Denne avgjerdstøtta er ein enkel regelbasert algoritme, som foreslår innsats basert på kjenneteikn ved personen. Her bruker algoritmane med andre ord informasjon om NAV-brukarar til å gjere predikasjonar om brukaren sitt behov for bistand. Algoritmen vart utforma på bakgrunn av kva kjenneteikn som såg ut til å påverka arbeidssøkjarane sine moglegheiter til å komme seg i jobb. Dette er eit døme på ei halvautomatisert avgjerd som skal fungere som eit rådgjevande verktøy for forvaltninga. Foreløpig veit vi lite om korleis tilsette i forvaltninga forheldt seg til detta.
I denne artikkelen undersøker vi korleis innføringa av denne avgjerdsstøtta har påverka vedtaka om innsatsbehov, og om dette kan ha hatt konsekvensar for dei som nyttar NAV sine tenester. Frå eit forvaltningsperspektiv vil både over- og underprofilering, altså at profileringsalgoritmen foreslår for mykje/for lite oppfølging, vere uheldig. Overprofilering vil komme i konflikt med målet om rett ressursbruk i staten. Det er også eit mål at brukarar skal være aktive i eiga sak og i størst mogleg grad greia seg sjølve. For omfattande bistand frå NAV kan også ha uheldige konsekvensar for brukaren, då hen kan bli for passiv og gå glipp av moglegheiter til å komme i arbeid. Underprofilering, altså at algoritmen foreslår for lite bistand, har like uheldige følger for storsamfunn og brukarar dersom det resulterer i at brukarar ikkje kjem i arbeid, eller kjem seinare i arbeid enn hen kunne gjort.
Bruk av automatisert avgjerdsstøtte er endå ganske nytt i forvaltninga og det er grunn til å tru at det vil bli meir nytta i framtida. Det er difor viktig å undersøkje korleis profileringsverktøya verkar for samfunn og borgarar slik at vi kan vurdere kva bruk som er legitim.
Denne artikkelen er lagt opp som følgjer. Fyrst skal vi diskutere korleis den arbeidsretta oppfølginga fungerer i NAV i dag. Deretter skal vi gå gjennom utviklinga i vedtak og profileringsutfall over tid, og utviklinga i arbeidstilknyting og mottak av ytingar. Til slutt skal vi samanfatte funna.
Arbeidsretta oppfølging
Når ein person melder seg hjå NAV følgjer NAV-kontoret ei rekkje rutinar for å bestemme korleis personen bør følgjast opp. Nokre av desse rutinane er bestemt av lovar og reglar, medan andre er bestemt av NAV sjølv.
Alle som henvender seg til NAV har rett til å få vurdert sitt bistandsbehov etter NAV-lovens §14a. Alle som har behov for ein meir omfattande vurdering, har i tillegg rett til å få ein arbeidsevnevurdering. NAV har operasjonalisert dette til ein kategorisering av kva oppfølgingsbehov personane har. Dei blir satt i ein av følgjande kategoriar: standard innsats, situasjonsbestemt innsats, spesielt tilpassa innsats eller varig tilpassa innsats (sjå faktaboks).
Innsatskategoriar
Standard innsats – vurderast til å klare å skaffa seg arbeid på eiga hand og med generelle tenester, som arbeidsformidling, sjølvbetjeningstenester, informasjonsmøte med meir. Dette er typisk personar som er nyutdanna eller som ønskjer ein ny jobb.
Situasjonsbestemt innsats – personar som treng rettleiing for å skaffe seg arbeid. Personar med vedtak om situasjonsbestemt innsats kan få kortare aktivitetar, tenester som kvalifisering og hjelp til jobbsøking. Dette er ofte personar med kvalifikasjonar som ikkje svarar til krava i arbeidsmarknaden.
Spesielt tilpassa innsats – personar som treng rettleiing og har nedsett arbeidsevne. Det kan vere fleire årsaker til denne kategoriseringa, til dømes helseproblem, sosiale problem, eller manglande kompetanse i grunnleggjande ferdigheiter.
Varig tilpassa innsats – liten moglegheit til å skaffa seg arbeid og har varig nedsett arbeidsevne. Denne kategorien vert oftast brukt for personar som har prøvd ulike arbeidsretta aktivitetar tidlegare, men ingen av desse aktivitetane har ført til ordinært arbeid.
Innsatskategoriane er og til ein viss grad knytt til mottak av ytingar. Dei som får arbeidsavklaringspengar er oftast dei som har nedsett arbeidsevne og gjerne spesielt tilpassa innsats, medan dei som får uføretrygd gjerne har varig tilpassa innsats.
Arbeidssøkjarar har rett til ein aktivitetsplan. Aktivitetsplanen inneheld delmål, aktivitetar og ein plan for oppfølging. Dersom dei manglar formell utdanning med yrkeskompetanse, gir dette vedtaket også rett til stønad under utdanning. Sjå Kalstø (2022) for meir informasjon om kva aktivitetar som kan inngå i aktivitetsplanen. Innsatskategoriane har no endra namn, og det har blitt lagt til ein ny: jobbe delvis (delvis, varig tilpassa innsats).
Frå og med 1.9.2018 fekk rettleiarane, fyrst ved nokre få kontor, eit forslag til innsatsbehov som rettleiarane kan nytte som støtte for vedtaket om innsatsbehov. Etter ei prøvetid på to månadar fekk alle kontor denne avgjerdsstøtta.
Forslaget er basert på brukaren sin alder, utdanning, oppgitte helseproblem og nyleg jobbhistorikk. Personen blir vurdert til å ha behov for standardinnsats dersom følgjande vilkår er oppfylt:
Alder mellom 18 og 59 år.
Minimum fullført grunnskole.
Ingen oppgjevne helseproblem som er til hinder for å søke eller bli verande i jobb.
Har arbeidd i minst seks av dei siste tolv månadene.
Oppgjer ingen andre utfordringar med å søke eller å bli verande i jobb.
Dei som er under 18 eller over 60 år, ikkje har godkjend utdanning, eller som ikkje har vore i arbeid i minst seks av dei siste tolv månadene får forslag om «situasjonsbestemt innsats». Dei som opplyser at dei har helseutfordringar eller har andre utfordringar med å søkje eller vere i jobb får forslag om behov for arbeidsevnevurdering.
I vurderinga av kva bistand arbeidssøkjaren treng for å få seg arbeid kan rettleiaren velje om dei vil følgje dette forslaget i den vidare behovs- og arbeidsevnevurderinga.
Bruk av andre metodar for profilering
Metoden som i dag vert nytta til avgjerdsstøtte i NAV er ein enkel og regelbasert algoritme. Enkle regelbaserte algoritmar har fleire fordelar, som at dei er gjennomsiktige, og at det er enklare for rettleiarar å forstå kva som ligg til grunn for anbefalinga.
Det finst andre, meir komplekse algoritmar ein kunne ha nytta. Dei siste åra har det blitt stadig meir vanleg å nytte ulike maskinlæringsmetodar for tilsvarande oppgåver. Maskinlæring er eit samleomgrep innan kunstig intelligens for algoritmar der mønstera og samanhengane i datamaterialet ikkje vert definert av menneske, og at algoritmen sjølv "lærar" samanhengane i datamaterialet basert på tidlegare data. Med meir komplekse algoritmar kjem også meir komplekse juridiske og etiske spørsmål.
NAV har i samarbeid med datatilsynet gjennomført eit såkalla sandkasseprosjekt for å avklare juridiske spørsmål knytt til bruken av kunstig intelligens for å predikere framtidig behov for oppfølging av sjukmeldte (Datatilsynet, 2022). Dette er nært i slekt med å predikering av oppfølgingsbehov for arbeidssøkjarar. Konklusjonane i dette prosjektet er at NAV har eit rettsleg grunnlag for å bruke kunstig intelligens som støtte til avgjerslene om kva oppfølging den enkelte bør ha. Men det er usikkert om NAV kan nytta personopplysningar til å utvikle sjølve algoritmen. For å avklare dette trengs det avklaring av heimlane i lovverket. Det er viktig å sikre at algoritmane er rettferdige og undersøkje om dei gjev diskriminerande utfall. Openheit er også viktig, og det er avgjerande at NAV-rettleiarane forstår og stolar på algoritmen.
Vedtak om innsatsbehov styrar kva oppfølging ein får
NAV-kontora nyttar avgjerdsstøtta som eit verktøy for å avgjere kva slags oppfølging personane har behov for. Vedtaket om innsatsbehov er viktig fordi det er definerande for kva oppfølging ein får. Riktig oppfølging kan vere avgjerande for å komme raskt tilbake i arbeid. Behovs- og arbeidsevnevurderinga skal avdekkje om personane har helseutfordringar eller andre utfordringar som hindrar dei i å jobba, sånn at NAV kan ta omsyn til dette. «Feil» vedtak kan medføre enten at arbeidssøkjaren får meir eller mindre tiltak og oppfølging enn det hen eigentleg har behov for.
Det er mykje som påverkar arbeidssøkjarane sine moglegheiter til overgang til arbeid. Fyrst og fremst er det eigenskapar ved arbeidssøkjaren sjølv. Vidare kan også rettleiaren påverka utfallet. Det kan til dømes vere skilnadar i korleis rettleiarane arbeidar, og kor godt dei kjenner arbeidsmarknaden. Rettleiaren speler også ei rolle i å bestemme kva slags tiltak og aktivitetar arbeidssøkjaren bør delta i. Kva type rettleiar ein får bistand frå kan bety noko, sjølv om Andresen mfl. (2022) ikkje finn nokon betydelege effektar av rettleiarar for overgang til arbeid. Tilsvarande studiar i Sverige og Danmark finn derimot at rettleiar har betydning (Cederlöf mfl., 2021, Rasmussen, 2021).
Generelt vil kva oppfølging arbeidssøkjarane får kunne påverke utfallet deira. Det er enkelte grupper som får meir oppfølging enn andre. Frå 2017 vart det iverksett ein forsterka ungdomssinnsats i NAV, for å sørge for å få fleire unge i arbeid og utdanning. I ei evaluering av den forsterka innsatsen, finn Strand mfl. (2020) at dei unge blir prioritert ved NAV-kontora og at dei fekk rask oppfølging. Dei finn ikkje noko teikn til at oppfølginga gir auka overgang til arbeid, men at det blir nokon fleire unge med overgang til formell utdanning. Kalstø (2022) studerer kva slags arbeidsretta aktivitetar dei unge (dei under 30 år) er i, og finn då at dette i stor grad er avhengig av kva slags innsatsgruppe dei er i. [2] Det er og andre grupper av arbeidssøkjarar som får forsterka oppfølging, personar med nedsett arbeidsevne og personar født i land utanfor EØS. NAV har mellom anna dei siste åra utvida bruken av såkalla jobbspesialistar som jobbar med utvida oppfølging av personar med nedsett arbeidsevne. Schönfelder mfl. (2020) har følgd denne innføringa, og finn at både arbeidsgjevarar og brukarar er nøgde med metoden, men at få arbeidsgjevarar er villige til å tilby brukarane faste jobbar. Vidare finner dei at metoden som vert nytta, supported employment (SE), er krevjande i praksis.
Vidare vil det vere mange av arbeidssøkjarane som vil bli utsett for ei eller annan form for aktivering. Aktiveringa er stort sett brukt som vilkår for mottak av ytingar. Både ved mottak av dagpengar, sosialhjelp og AAP, så er det aktiveringsvilkår. Effektane av slike vilkår er usikre og sprikande. Røed (2012) sin gjennomgang av skandinaviske erfaringar med vilkår visar at trusseleffekten ser ut til å avgrensa problema med moralsk hasard som er knytt til ytingane[3] Moralsk hasard betyr i denne samanhengen at dei som betalar ytingane ikkje veit om dei som mottek dei gjer alt dei kan for å få seg jobb. Det er ein type asymmetrisk informasjon. , men at effektane av deltaking i aktivitetane er ambivalente.
Data og metode
Datagrunnlaget vårt er alle vedtak om oppfølging etter NAV-lovens §14a, frå 2015 og ut 2021. Profileringsløysinga vart fyrst innført som ei prøveordning for nokre få NAV-kontor i september 2018, før den vart rulla ut til alle NAV-kontor i november 2018. Informasjon om kva oppfølgingsvedtak profileringsløysinga anbefaler føreligg dermed fyrst frå denne datoen. I tillegg har vi kopla på bakgrunnskjenneteikn, samt informasjon om arbeidsforhold, arbeidsløyse, bruk av tiltak og mottak av ytingar (dagpengar, AAP og uføretrygd), både før og etter vedtaket.
Vi nyttar deskriptiv metode for å undersøke korleis det går med dei som kjem til NAV for å få hjelp. Vi er interessert i om innføringa av profileringa kan ha hatt ein påverknad på utfallet for dei som registrerer seg, men av fleire grunnar er det er vanskeleg å isolere denne effekten. Vi følgjer då dei som har registrert seg i dei seks påfølgjande månadane og finn talet på månader dei er i arbeid, arbeidslaus, og i arbeidsmarknadstiltak. Vi finn og i kor stor grad dei mottek ytingar (dagpengar, AAP og uføretrygd).
Kjenneteikn og resultat av profilering |
2019 |
2020 |
2021 |
---|---|---|---|
Standard innsats |
36,6 % |
54,8 % |
42,5 % |
Ikkje i arbeid i siste 6 av 12 månadar |
32,3 % |
14,0 % |
25,6 % |
Utdanning ikkje bestått |
20,2 % |
14,3 % |
19,2 % |
Utdanning ikkje godkjent |
23,3 % |
20,2 % |
24,3 % |
Alder under 18 eller over 60 |
4,8 % |
7,1 % |
5,4 % |
Situasjonsbestemt innsats |
35,3 % |
32,9 % |
35,7 % |
Helseutfordringar |
18,1 % |
7,6 % |
14,7 % |
Andre utfordringar |
15,3 % |
6,5 % |
11,1 % |
Behov for arbeidsevnevurdering |
28,1 % |
12,3 % |
21,8 % |
Totalt |
119 020 |
501 767 |
204 803 |
Resultat
Fleire får situasjonsbestemt innsats etter innføring av profileringa
Fleirtalet av dei som registrerer seg hjå NAV får vedtak om standard innsatsbehov. Dette vedtaket blir gitt til personar som NAV vurderer vil komme seg raskt tilbake i arbeid med minimalt med bistand.
Dei nest mest vanlege 14a-vedtaka er vedtak om situasjonsbestemt innsats og vedtak om spesielt tilpassa innsats, som medfører ein moglegheit for meir bistand frå NAV. Vedtak om varig tilpassa innsats blir gitt til ein relativt liten prosentdel av dei som registrerer seg hjå NAV.
Prosentdelen som får vedtak om standardinnsats minkar i perioden frå 2015 og fram til koronapandemien, og nedgangen er spesielt stor i 2019. Nedgangen i perioden 2016 til 2018 skuldast i store grad betring i konjunktursituasjonen. I åra frå 2016 til 2018 er det ein stor nedgang i talet på arbeidssøkjarar (tabell 2), og det fører til at ein større prosentdel av dei som likevel vert arbeidslaus har større vanskar med å vere å jobb.
Frå 2018 til 2019 går prosentdelen som får vedtak om standardinnsats meir ned enn den samla nedgangen i dei føregåande tre åra, utan at det er ein tilsvarande stor nedgang i talet på arbeidssøkjarar. Mykje av grunnen til dette er ein stor auke i prosentdelen som får vedtak om situasjonsbestemt innsats. I oktober 2018, månaden før innføringa av profileringsalgoritmen, får 23 prosent av alle som registrerer seg vedtak om situasjonsbestemt innsats. Eitt år seinare, i oktober 2019, er denne prosentdelen 28 prosent.
Utbrotet av koronaviruset våren 2020 gjer den vidare utviklinga vanskeleg å tolke. I den fyrste fasen av pandemien vart svært mange personar registrert som arbeidslause, og dei aller fleste av desse vart berre halde utanfor arbeidsmarknaden av smitteverntiltaka som vart innført i starten av pandemien. Desse personane hadde lite nytte av bistand frå NAV, og prosentdelen som fekk vedtak om situasjonsbestemt innsats gjekk betydeleg ned i månader der mange vart arbeidslause som følgje av midlertidige smitteverntiltak, og spesielt i den fyrste fasen av pandemien. Hausten 2021, då dei fleste tiltaka vart fjerna, gjekk prosentdelen tilbake til nivået frå før pandemien.
År |
Standard innsats |
Situasjonsbestemt innsats |
Spesielt tilpassa innsats |
Varig tilpassa innsats |
Heilt arbeidslause |
---|---|---|---|---|---|
2015 |
54 % |
15 % |
24 % |
7 % |
80 561 |
2016 |
52 % |
17 % |
23 % |
8 % |
83 813 |
2017 |
48 % |
19 % |
23 % |
10 % |
74 235 |
2018 |
47 % |
20 % |
21 % |
12 % |
65 548 |
2019 |
39 % |
26 % |
24 % |
12 % |
63 451 |
2020 |
55 % |
22 % |
17 % |
7 % |
141 939 |
2021 |
36 % |
26 % |
24 % |
10 % |
88 862 |
Stabil utvikling i profileringsutfall
Når ein person registrerer seg hjå NAV tildeler profileringsalgoritmen personen éin av tre ulike kategoriar, basert på ein kombinasjon av informasjon personen oppgjev og kjenneteikn ved personen.
I perioden frå lansering hausten 2018 og fram til koronapandemien råka Noreg i mars 2020, var prosentdelen som vart profilert til dei ulike innsatskategoriane ganske stabil. I mars 2020 auka talet på arbeidssøkjarar svært raskt, og dette førte til at samansetninga av arbeidssøkjarar endra seg. Dei færraste av desse oppgav problem med helsa eller andre utfordringar, og prosentdelen som vart profilert til behov for arbeidsevnevurdering gjekk difor kraftig ned i denne perioden. Etter kvart som talet på personar som vart arbeidslause på bakgrunn av smittevernstiltak gjekk ned, vart også fordelinga mellom dei tre profileringsgruppene meir lik situasjonen før pandemien.
Kriteria for profileringa er valde på bakgrunn av at dei skal reflektere faktorar ved personen og personen sin situasjon som har størst betydning for kor mykje bistand dei vil ha behov for. Det at det er liten endring i fordelinga av vedtak i perioden fram til pandemien er ein indikasjon på at samansetninga av personar heller ikkje endrar seg nemneverdig med tanke på dei viktigaste personavhengige faktorane som har betydning for innsatsbehov.
Mange som blir profilert til situasjonsbestemt innsats ender opp med standardinnsats
Då avgjerdsstøtta vart innført, gjorde ein eit bevisst val om å la algoritmen "overprofilere", heller enn å "underprofilere" – altså at den heller skulle foreslå eit for stort bistandsbehov enn for lite. Dette ser ein tydeleg når ein samanliknar utfallet frå profileringa med vedtaket som brukarane får. Ein stor prosentdel av dei som blir profilert til standardinnsats ender også opp med eit vedtak om standardinnsats, og berre ein liten prosentdel av dei med denne profileringa fekk andre vedtak enn det som vart føreslått.
Vedtaka blir gjennomgåande langt oftare ulike forslaget til profileringa i dei tilfella der profileringsalgoritmen foreslår eit større innsatsbehov (figur 3). Både for tilfella der profileringalgoritmen foreslår behov for arbeidsevnevurdering, og for situasjonsbestemt innsats, får meir enn halvparten vedtak om mindre innsats enn det profileringa føreslår. Dersom vedtaket vart sett automatisk basert på profileringa så ville dette ført til om lag ein tredobling i talet på personar med vedtak om situasjonsbestemt innsats.
Det er ulike grunnar til at personar får vedtak om mindre innsats enn det profileringsalgoritmen føreslår. Til dømes vert alle som oppgjev at dei har helseproblem eller andre utfordringar som gjer det vanskeleg å vere i jobb eller skaffe seg jobb profilert til behov for arbeidsevnevurdering. Grunnen til at ein så stor prosentdel av dei som blir profilert til behov for arbeidsevnevurdering ender opp med eit vedtak om mindre innsats kan til dømes vere at rettleiarane vurderer at desse utfordringane er forbigåande, og at problemet difor ikkje bør utløyse meirinnsats frå NAV si side.
Figur 3 viser at rettleiarane stort sett er einige med profileringsalgoritmen når den føreslår standardinnsats, men at det er større avvik mellom profileringsalgoritmens forslag og rettleiarane sine vedtak i dei tilfella der algoritmen foreslår vedtak om eit høgare innsatsnivå. Dette speglar oppfatninga til NAV-rettleiarar som er sitert av Løberg (2022).
Denne skilnaden kan tolkast på ulike måtar. Algoritmen er ikkje programmert til å ta omsyn til at ressursane er knappe, og at ein må ta omsyn til dette når ein fattar vedtak om innsats. På bakgrunn av dette kan rettleiarane vere nøydd til å prioritere strengare enn ein eigentleg skulle ønske. Ei anna tolking av denne skilnaden er at informasjonen som inngår i algoritmens avgjerdsgrunnlag er for knapp, og at ei subjektiv tolking av informasjonen naudsynt for å lande på riktig vedtak.
Denne skilnaden mellom profileringsutfall og vedtak er interessant fordi det viser at utfallet av profileringsalgoritmen systematisk er ulik vurderinga til rettleiarane. Det betyr at dersom rettleiarane blir påverka av algoritmen så vil det endre prosentdelen som får dei ulike vedtaka i retning av "overprofileringa" i modellen – altså at vedtaka blir meir like utfallet av profileringsalgoritmen.
Korleis går det med dei som kjem til NAV?
I denne delen ser vi nærare på utviklinga i arbeidstilknyting og mottak av ytingar for dei som kjem til NAV i perioden vi ser på.
Tilknyting til arbeid og mottak av ytingar
Som eit mål på arbeidstilknyting i perioden etter personane registrerer seg hjå NAV nyttar vi tal på månader i arbeid dei påfølgjande seks månadene etter registrering. Vi har også sett på kor mange månader dei er ledig, er i tiltak, eller mottar ytingar som dagpengar, AAP og uføretrygd.
Dei som får vedtak om standardinnsats jobbar klart mest etter at dei registrerer seg hjå NAV. Vi kan også sjå ein viss auke i talet på månader i arbeid i løpet av perioden fram til koronapandemien i mars 2020 (figur 4a). Med pandemien auka talet på månader i arbeid brått. Dette skuldast truleg at det var ei særs brå auke i talet på dei som vart arbeidslause. Desse kom seg raskare i jobb att etter den fyrste stenginga enn dei som vart arbeidslause i forkant av pandemien. Dei som vart arbeidslause etter stenginga jobba også meir enn dei som vart arbeidslause før. Dette kan tyde på at samansettinga av dei arbeidslause endra seg.
Det er derimot ikkje like stor forskjell i talet på månader dei er registrerte som arbeidslause (figur 4b). Det er hovudsakeleg dei som har fått vedtak om standard eller situasjonsbestemt innsats som er arbeidslause. Det ser ut som det blir noko mindre forskjell mellom talet på månader som arbeidslaus etter at profileringsalgoritmen vart tatt i bruk. Men kva som driv dette er usikkert. Det kan vere at når det har blitt fleire med situasjonsbestemt innsats, så har samansettinga i denne gruppa endra seg, slik at det no har blitt ei «enklare» gruppe å få tilbake i jobb.
Før profileringa vart tatt i bruk var det dei som fekk situasjonsbestemt innsats som hadde flest månadar i tiltak (figur 4c). Men etter at profileringsalgoritmen vart tatt i bruk var det færre av dei med situasjonsbestemt innsats som var i tiltak, og det vart mest brukt blant dei med vedtak om spesielt tilpassa innsats.
Generelt har det vore ein nedgang i bruken av statlege arbeidsmarknadstiltak frå 2017 til 2021[4] Sjå https://www.nav.no/no/nav-og-samfunn/statistikk/arbeidssokere-og-stillinger-statistikk/tiltaksdeltakere for oversikt over talet på statlege arbeidsmarknadstiltak og Sohlman og Kann (2021) for ein oversikt over bruken av opplæringstiltak som følgje av utvida tilgang til utdanningstiltak sidan juli 2019., og dette ser spesielt ut til å gjelde for dei med situasjonsbestemt innsats. Koronapandemien og medfølgjande smitteverntiltak gjorde det krevjande å gjennomføre enkelte arbeidsmarknadstiltak. Sjølv om endringane vi ser byrja før pandemien, kan det vere at det då var spesielt krevjande å gjennomføre tiltak retta mot gruppa som har fått vedtak om situasjonsbestemt innsats.
Det er hovudsakleg dei som ikkje har nedsett arbeidsevne som mottek dagpengar (figur V1a i vedlegg). Både dei som har fått vedtak om standard og situasjonsbestemt innsats mottek dagpengar i ein og ein halv månad i gjennomsnitt. Vi kan observere ein viss fallande trend i løpet av perioden vi ser på her.
Blant dei med nedsett arbeidsevne mottek mange AAP. Spesielt gjeld dette dei med vedtak om spesielt tilpassa innsats, som mottek AAP i gjennomsnitt i fem av seks månadar (figur V1b i vedlegg). Blant dei med vedtak om varig tilpassa innsats varierer mottaket av AAP i større grad, og etter innføringa av profileringa mottek dei AAP i stadig mindre grad. Dette kan ha samsvar med innstrammingar i regelverket for AAP i dei seinare åra (sjå til dømes Lima og Grønlien, 2020).
Mottak av uføretrygd speglar mottaket av AAP for dei med varig tilpassa innsats (figur V1c i vedlegg). I perioden etter innføringa av brukarprofilering mottek dei i større grad uføretrygd framfor AAP.
Dei som blir profilert til standard innsats jobbar mest
Vidare ser vi på tilsvarande utvikling i tal på månadar i arbeid fordelt på kva oppfølgingskategori profileringa foreslår, og kva vedtak personen får (figur 5). Dette er interessant å sjå på for å vise at både profileringa og den faktiske innsatskategorien kan sei noko om framtidig arbeidstilknyting. Dei blå linjene visar utviklinga for dei som blir vurdert til å klare seg sjølv. Det er dei som både blir profilert til standard innsats og får vedtak om denne innsatsen som er mest i arbeid.
Dei som blir profilert til standard innsats, men som får vedtak om ein annan innsatskategori jobbar meir enn dei som blir profilert til situasjonsbestemt innsats og får satt standard innsats. Dette kan skuldast at dei som får situasjonsbestemt innsats i større grad får tett oppfølging frå NAV-kontoret, og at dei dermed kjem seg raskare i arbeid, eller at det som gjer at personane blir profilert til situasjonsbestemt innsats også gjer at dei arbeider mindre.
Legg rettleiarane for mykje vekt på profileringa?
Algoritmen som ligger til grunn for avgjerdsstøtta er som nemnt ganske enkel, og tek utgangspunkt i eit par utvalde kjenneteikn ved personen. Faktorane som inngår i algoritmen er vald ut på bakgrunn av forklaringskraft, men det er mykje informasjon som ikkje inngår avgjerdsgrunnlaget til algoritmen.
I det fyrste vindauget rettleiarar ser når dei skal bestemme innsatsbehov, får rettleiarane presentert forslaget til innsatsbehov som avgjerdsstøtta gir. Dette, saman med korleis avgjerdstøtta blir presentert, kan gi opphav til ein "forankringseffekt", som inneberer til at rettleiarane legger for mykje vekt på forslaget som avgjerdsstøtta gir.
Ankring er ein tankefeil der ein i for liten grad justerer vurderingane sine basert på ny informasjon ein får etter å fyrst å ha blitt presentert for ein parameter (Tversky og Kahneman 1974).
Ankringseffekten oppstår når ein person som skal ta ei avgjerd blir presentert for ein ankringsparameter dei ser på som plausibel. Når dei gjer vurderingar i forkant av avgjersla så testar dei ein hypotese om at ankringsverdien er korrekt, og fokuserer i for stor grad på dei aspekta som peiker i retning av å bekrefte hypotesen (Furnham og Boo, 2011). Sagt med andre ord, så blir personen mentalt plassert i gruppa som profileringsverktøyet gir, og så må rettleiarane eventuelt argumentere personen ut av gruppa.
I litteraturen viser fleire til andre mekanismar som kan verke på same måten som ankringseffekten. Til dømes viser Marston (2006) at kunnskapen som blir presentert i digitale løysingar kan bli oppfatta som overlegen sidan den framstår som objektiv. Flügge mfl. (2021) viser at sakshandsamarar oppfattar ein algoritmebasert avgjerdsstøtte som eit nyttig "objektivt" argument ovanfor leiinga når dei ønsker å tildele ein sak ekstra ressursar.
Dersom nokon av desse mekanismane gjer seg gjeldande vil det medføre at innføringa av ein algoritmebasert avgjerdstøtte vil kunne påverke rettleiarane sine avgjersler.
Blir rettleiarane over tid meir einige med profileringa?
Figur 6 visar utviklinga i prosentdelen av profileringsforslaga som ender med eit vedtak om det same innsatsnivået. Det fyrste året etter at avgjerdsstøtta vart innført, auka likskapen mellom profilering og vedtak samla sett. Denne auken skuldast at ein større prosentdel av personane som fekk føreslått situasjonsbestemt innsats enda opp med eit vedtak om dette innsatsnivået.
Talet på heilt arbeidslause er representert som gule stolpar, med tal på personar på y-aksen til venstre, og er på eit ganske stabilt nivå fram til pandemien.
Dei fyrste månadane etter at profileringa vart innført fekk om lag ein tredjedel av dei som vart profilert til situasjonsbestemt innsats vedtak om dette innsatsnivået. Eitt år seinare følgde rettleiarane profileringa i halvparten av tilfella der brukaren vart profilert til situasjonsbestemt innsats.
Ein mogleg forklaring på denne auken er at rettleiarane i aukande grad forankrar avgjersla si i forslaget som profileringa gir. Ein føresetnad for forankring er at rettleiarane ser på forslaget som profileringa gir som truverdig. Det at avgjerslene blir meir like over tid kan vere eit utslag av at rettleiarane blir meir vant med profileringsverktøyet, og over tid oppfattar forslaget som meir truverdig. Det kan også komme av at nytilsette etter innføringa vart lært opp til å bruke profileringsverktøyet, medan personar med meir erfaring la mindre vekt på resultatet frå profileringa, sånn at likskapen gjekk opp etter kvart som fleire nytilsette kom til. Ulike studiar viser at også personar med mykje erfaring på det aktuelle området blir påverka av ein ankringseffekt, men at dei gjerne blir mindre påverka enn dei med lite erfaring (Furnham og Boo, 2011)
Det kan verke som eit paradoks at dei som blir profilert til situasjonsbestemt innsats i større grad får vedtak om situasjonsbestemt innsats, medan dei som blir profilert til standardinnsats ikkje blir påverka i like stor grad av denne ankringseffekten. Men som mellom anna van Exel mfl. (2006) viser, så er ankringseffekten sterkare når usikkerheita er større. Sidan variasjonen i utfall er større blant dei som får vedtak om situasjonsbestemt innsats enn dei som får standardinnsats, så er det rimeleg å anta at usikkerheita knytta til vedtakssetting også er større for dei som enda opp med vedtak om situasjonsbestemt innsats, og at ankringseffekten dermed vil vere sterkare i dette tilfellet.
Samtidig med at det er relativt sett få av rettleiarane som følgjer forslaget om situasjonsbestemt innsats, ser vi at det er veldig store skilnadar mellom NAV-kontora i kor stor grad dei følgjer profileringsalgoritmen. Somme kontor følgjer nesten alle forslaga, medan andre nesten ikkje følgjer nokon av forslaga. Kva som fører desse skilnadane, kan vi berre spekulere i. Det kan til dømes vere skilnadar i arbeidssøkjarane mellom kontora som ikkje gjev utslag i variablane som inngår i profileringa, eller det kan vere individuelle skilnadar mellom rettleiarane som gjer at dei legg meir eller mindre vekt på forslaget.
Diskusjon
Ei av dei viktigaste oppgåvene til NAV er å hjelpe personar som har blitt arbeidslause med å komme tilbake i jobb. Arbeidsløyse er kostbart både for samfunnet og for personane det gjelder. Langvarig arbeidsløyse har dessutan negativ effekt på jobbmoglegheitene til dei det gjelder (Eriksson og Rooth, 2014).
I løpet av det fyrste påfølgjande året etter at avgjerdsstøtta vart innført så auka prosentdelen vedtak om situasjonsbestemte innsats med 18 prosent, medan prosentdelen som vart profilert til situasjonsbestemt innsats gjekk ned med 9 prosent. Sidan profileringa er basert på dei kjenneteikna ein meiner skal ha størst betydning for oppfølgingsbehov, tyder dette på at auken ikkje kan forklarast av samansettingseffektar.
Resultata våre tyder på at det var ei endring i åtferd blant rettleiarane, som det er naturleg å sjå i samanheng med innføringa av avgjerdsstøtta. Det var ikkje nokon endring i retningslinjene for tildeling etter NAV-lovens § 14a vedtak i perioden, og det var heller ikkje betydelege endringar i konjunktursituasjonen som kan forklare resultata.
Éi mogleg forklaring på resultata er at rettleiarane i stadig større grad forankrar avgjersla si i forslaget som avgjerdsstøtta gir. Resultatet kan også skuldast andre mekanismar. I litteraturen vert det til dømes peikt på at ei algoritmebasert anbefaling kan få tyngde i kraft av å bli oppfatta som objektiv.
Svært mange personar registrerer seg hjå NAV i løpet av eit år, og det er difor avgjerande at NAV prioriterer riktig for å kunne utføre oppgåvene på best mogleg vis. Avgjerdsstøtta kan vere eit viktig verktøy som kan bidra til at NAV utfører denne jobben endå betre enn tidlegare, men det er også enkelte fallgruver som potensielt kan ha negative konsekvensar for fordelinga av ressursar til arbeidsretta oppfølging.
Dette synspunktet støttast i anna forsking, til dømes undersøker Janssen mfl. (2020) om ei algoritmebasert avgjerdsstøtte kan bidra til betre saksavgjersler i offentleg sektor. Dei finn at ei avgjerdsstøtte kan gjere avgjerslene betre, men at utforminga av algoritmen er avgjerande, og at det er svært viktig at sakshandsamarane har ei god forståing av algoritmen, og spesielt kva svakheiter den har.
Dersom innføringa av avgjerdsstøtta førte til at fleire fekk vedtak om høgare innsatsbehov, kan dette føre til feil bruk av ressursar frå NAV si side. Dersom personar som i utgangspunktet har gode moglegheiter for å komme seg tilbake i jobb på eige hand blir profilert til, eller plassert i eit tett oppfølgingsløp, kan dette ha ulike konsekvensar. Til dømes viser Europakommisjonen (2015) til at det å få beskjed om at ein er ein person som kan ha utfordringar med å halde på ein jobb i seg sjølv kan ha negative konsekvensar for personen si tilknyting til arbeidslivet.
Vidare viser mellom anna Røed og Raaum (2006) og Gaure mfl. (2012) at deltaking i arbeidsmarknadsprogram kan forlenge jobbsøkjarperioden gjennom ein innlåsingseffekt, men at programma betrar jobbutsiktene etter gjennomføring. Merk at vedtak om situasjonsbestemt innsats opnar døra for å få tilbod om tiltak, men det medfører ikkje nødvendigvis at ein får tilbod om dette.
Samstundes fører ikkje nødvendigvis eit vedtak om situasjonsbestemt oppfølging til ein stor auke i ressursbruk. Dette vedtaket opnar for meir oppfølging, i form av opplæring, bruk av tiltak mm., men vi har ikkje vist at ressursbruken faktisk har auka. Det kan difor hende at auken i vedtak om situasjonsbestemte innsats førte til ei viss utvatning av gruppene – men ikkje noko særleg auka ressursbruk.
Ein av dei viktigaste grunnane til å automatisere prosessar er at det fører til at ein brukar mindre tid på den aktuelle prosessen. Dersom algoritmen kan bidra til at å kutte i tidsbruk på dei enkle sakene, kan dette føre til at ein kan bruke meir ressursar på dei meir kompliserte sakene. Vi har ikkje undersøkt dette aspektet i artikkelen, men det er viktig å vekte eventuelle ulemper ved profileringsverktøy mot denne fordelen.
Det bør framover bli gjort analyser av om det er meir formålstenleg å nytte andre og meir treffsikre algoritmar. Då kan det vere aktuelt å nytta metodar innan til dømes maskinlæring. Det kan også vere aktuelt å finne metodar for å foreslå ikkje berre kven som bør få oppfølging, men kva oppfølging dei bør få. I dag er det juridiske hinder for å ta bruk maskinlæringsmetodar, og desse må oppklarast før ein eventuelt kan ta i bruk desse metodane.
Referansar
Andresen, Martin E., Manudeep Bhuller, Espen S. Dahl og Gaute Torsvik (2021) «Veiledere og arbeidssøkeres overgang til arbeid» Rapport gjeve til arbeids- og velferdsdirektoratet
Cederlöf, Jonas, Martin Söderström og Johan Vikström (2021) «What makes a good caseworker?» IFAU Working Paper 2021:9.
Datatilsynet (2022) «NAV: sluttrapport fra sandkasseprosjektet med NAV. Temaer: rettslig grunnlag, rettferdighet og forklarbarhet» Rapport fra datatilsynet, januar 2022.
Eriksson, Stefan og Dan-Olof Rooth (2014) «Do employers use unemployment as a sorting criterion when hiring? Evidence from a field experiment». American economic review 104 (3), 1014–39
Europakommisjonen (2015) «Identification of latest trends and current developments in methods to profile jobseekers in European Public Employment Services: Final report», April 2015.
Flügge, Asbjørn A., Thomas Hildebrandt, og Naja H. Møller (2021) «Street-Level Algorithms and AI in Bureaucratic Decision-Making: A Caseworker Perspective». Proceedings of the ACM on Human-Computer Interaction Volume 5, Issue CSCW1
Furnham, Adrian og Hua Chu Boo (2011) «A literature review of the anchoring effect» The Journal of Socio-Economics. Volume 40, Issue 1, February 2011, Pages 35-42
Furuberg, Jorun (2021) «Kven vart arbeidslause i den første bølga av koronakrisa og korleis har det gått med dei?» Arbeid og velferd 2021/2.
Gaure, Simen, Knut Røed og Lars Westlie (2012) «Job search incentives and job match quality». Labour Economics, Volume 19, Issue 3
Gjerde, Audun, Kristian H. Myklathun og Johannes Sørbø (2021) «Arbeidslaus i fyrste del av koronakrisa – dei fleste raskt tilbake i arbeid» Arbeid og velferd nr. 3/2021.
Janssen Marijin, Marijn Hartog, Ricardo Matheus, Aaron Y. Ding og George Kuk (2020) «Will Algorithms Blind People? The Effect of Explainable AI and Decision-Makers’ Experience on AI-supported Decision-Making in Government» Social Science Computer Review, Vol 40, Issue 2, 2020
Kalstø, Åshild M. (2022) «Aktivitet og samhandling. Hvilken oppfølging får unge som kommer til NAV?» Arbeid og velferd nr. 1/2022. 35–58
Løberg, Ida B. (2022) «Assessments of Digital Client Representations: How Frontline Workers Reconstruct Client Narratives from Fragmented Information. Journal of Public Administration and Theory» Journal of Public Administration Research and Theory, 03/2022,
Marston, Greg (2006) «Employment services in an age of e-government». Information, Communication & Society, Volume 9, 2006.
Meld. St. 33 (2015/2016) «NAV i en ny tid – for arbeid og aktivitet» Melding til Stortinget. Arbeids- og sosialdepartementet
van Exel, Job, Werner B.F. Brouwer, Bernard van den Berg og Marc A. Koopmanschap (2006) «With a little help from an anchor: Discussion and evidence of anchoring effects in contingent valuation». The Journal of Socio-Economics, 35(5), 0–853. doi:10.1016/j.socec.2005.11.045
NOU 2021:2. (2021) «Kompetanse, aktivitet og inntektssikring: Tiltak for økt sysselsetting» Arbeids- og sosialdepartementet.
Rasmussen, Mette (2021) «Caseworker quality and jobseeker transitions out of unemployment» Technical report, University of Copenhagen
Røed, Knut (2012) «Active social insurance» IZA Journal of Labour Policy, 1, Article number 8 (2012). https://doi.org/10.1186/2193-9004-1-8
Røed, Knut og Oddbjørn Raaum (2006) «Do Labour Market Programmes Speed up the Return to Work?» Oxford Bulletin of Economics and Statistics, Volume 68, Issue 5.
Schønfelder, Walter, Cathrine Arntzen, Thomas Johansen og Mai C. Munkejord (2020) «Jobbspesialister i NAV. Følgeforskning på implementering av oppfølgingstjenester i egenregi» NORCE-rapport 1/2020.
Sohlman, Mia og Inger Cathrine Kann (2021) «Færre får opplæringstiltak, men meir til prioriterte grupper av arbeidssøkere og mer formell kompetanse» Arbeid og velferd, nr. 2/2021, 3–25
Strand, Anne H., Arne B. Grønningsæter, Roy A. Nielsen og Jon H. Holte (2020) «Tid for aktivering. Evaluering av forsterket ungdomsinnsats i NAV» Fafo-rapport 2020:19
Tversky, Amos og Daniel Kahneman (1974) «Judgment under uncertainty: heuristics and biases» Science, 185, pp. 1124-1131