Fordelene med flernivåanalyse

I mange sammenhenger er det vanlig å aggregere individdata til et høyere nivå som kjennetegner individene, eksempelvis deres kommune- og fylkestilhørighet. De aggregerte indikatorene benyttes deretter til å sammenligne enheter på samme nivå, for eksempel NAV-kontor, og noen kan tolke de aggregerte dataene som et uttrykk for enhetenes prestasjoner. En slik tolkning avhenger imidlertid av at enhetene som nevnes påvirker individene – at de utgjør en relevant kontekst. Om ikke, står vi overfor en økologisk feilslutning (Skog 2004, s. 110), hvor forskjeller som egentlig skyldes sammensetningen av individnivået feilaktig benyttes til å si noe om egenskapene ved et høyere nivå.

Vanlig lineær regresjon brukes som oftest til å avdekke hvordan en eller flere uavhengige variabler påvirker en avhengig variabel, alt annet holdt likt (f.eks. Field 2009; Skog 2004). Estimatene beregnes for hver av de uavhengige variablene slik at summen av residualene (det uforklarte) i modellen minimeres. En av forutsetningene for modellen er at det er uavhengighet mellom residualene for den enkelte observasjon, med andre ord at studieobjektene ikke tilhører grupperinger som kan tenkes å påvirke resultatene. Denne forutsetningen regnes gjerne som oppfylt i undersøkelser hvor et tilfeldig utvalg ligger til grunn (Skog 2004).

I noen tilfeller vil det imidlertid være tvil om hvorvidt forutsetningen om restleddenes uavhengighet er oppfylt. Et eksempel er tidsseriedata, hvor data tilknyttet de samme personene registreres på ulike tidspunkter. Det kan også være tvil om uavhengigheten selv ved tilfeldige utvalg i enkeltundersøkelser: disse kan påvirkes av ulike grupperinger, som husholdning eller, som er aktuelt i denne artikkelen: geografi.

Flernivåanalyse kan benyttes til å undersøke om det foreligger strukturer i dataene – i vårt tilfelle geografiske nivåer – som påvirker residualene. Dersom det er slike strukturer, kan betydningen av disse estimeres og beskrives nærmere. Ved hjelp av flernivåanalyse kan vi altså si noe mer presist om forholdet mellom sammensetnings- og kontekstuelle effekter. Hvert nivås betydning for variasjonen måles med intraklassekorrelasjonen (ICC) i prosent. I Vedlegg 1 kommer vi noe nærmere inn på hvordan flernivåanalysen fungerer.

Data

For å beregne sammensetnings- og kontekstuelle effekter på brukertilfredshet, benytter vi surveydata fra Personbrukerundersøkelsen 2019. Vi benytter to spørsmål fra undersøkelsen til å måle henholdsvis generell tilfredshet og tilfredshet med veileder:

• Tenk tilbake på dine erfaringer med NAVs service de siste seks måneder. Hvor fornøyd eller misfornøyd er du med den service du har fått hos NAV helhetlig sett? (generell tilfredshet)

• Veiledningen jeg har fått i møte med ansatte på NAV-kontoret (tilfredshet med veiledning)

Sistnevnte spørsmål inngår i en matrise hvor respondenten blir spurt hvor fornøyd han eller hun er med ulike forhold. Begge spørsmål er besvart på en Likertskala fra 1 til 6, hvor 6 er høyeste skår.

For å avdekke om den geografiske betydningen er større når brukeren har hatt kontakt med et NAV-kontor enn når brukeren kun har hatt kontakt med en nasjonal enhet, er det behov for å skille mellom brukergrupper. Vi deler brukerne inn i to hovedgrupper, basert på om de har svart på spørsmål om veiledning ved NAV-kontoret og om de er i en av NAVs oppfølgingsgrupper (tabell 1). Siden de som benytter oppfølgingstjenester i stor grad også benytter forvaltningstjenester (f.eks. en person med nedsatt arbeidsevne som mottar arbeidsavklaringspenger), men ikke motsatt, er det vanskelig å skille ut en gruppe av betydelig størrelse med kun oppfølgingstjenester. Videre, antar vi at arbeidssøkere får noe mindre lokal oppfølging enn de andre nevnte gruppene, og vi estimerer derfor også en modell uten disse. Totalt har vi tre hovedgrupperinger av brukere: (1) Alle, (2) forvaltning og oppfølging, med og uten arbeidssøkere og (3) kun forvaltning.

I noen av flernivåmodellene vil vi inkludere uavhengige variabler på individ- og lokalnivå som av ulike årsaker kan tenkes å påvirke brukertilfredsheten og forholdet mellom sammensetnings- og kontekstuelle effekter. Variablene på individnivå er de samme som er registrert på respondentene i Personbrukerundersøkelsen, deriblant brukergruppe, alder, innvandrerbakgrunn, digitalt kompetansenivå og utdanningsnivå (se Vedlegg 2 i Nyberg mfl. 2019 for detaljer). Variablene på lokalnivå har vi hentet ut fra NAVs registerdata. Disse inkluderer forhold på lokalnivå som vi antar kan ha påvirkning på brukertilfredsheten, som befolkningsstørrelse, hvor stor andel NAVs prioriterte grupper utgjør av befolkningen, sykefravær blant ansatte på NAV-kontoret og arbeidsmarkeds- og uførestatistikk (ASD 2018; Ballas og Tranmer 2011; Bergh og Tjerbo 2013; Roaldsnes 2018). I Tabell 2 gir vi en beskrivelse av variablene.

Tomme flernivåmodeller

Vi får en pekepinn på hvor stor andel av variasjonen i dataene som kan tillegges fylkesnivået, lokalnivået og individnivået ved å estimere «tomme» flernivåmodeller, altså modeller uten (uavhengige) forklaringsvariabler (se vedlegg 1). I tabell 3 viser vi fem tomme modeller, med ulike brukergrupper og ulike avhengige variabler. Konstantleddet blir i de tomme modellene et estimat på avhengig variabel; altså gjennomsnittet for brukertilfredsheten, angitt på en skala fra 1 til 6. Deretter vises den beregnede totale variansen for hvert av de tre nivåene. Intraklassekorrelasjonene (ICC) er andelen av variansen som tillegges det enkelte nivå og er gjengitt i prosent. Den er dermed et estimat på hvor stor andel av den totale variasjonen i brukertilfredsheten som forklares av fylkes- og lokalnivået. Det er denne vi er mest opptatt av i den første delen av analysen.

For det første forventet vi at lokalnivået betyr mer for tilfredsheten for de som har kontakt med NAV-kontoret, enn for de som kun har kontakt med en forvaltningsenhet. Forventningen synes bekreftet ved at den lokale andelen av variansen (ICC) er høyere i Modell 3, enn i Modell 1 og 2.

Vi antok at det generelle tilfredshetsspørsmålet fanget opp både nasjonal og lokal tilfredshet med NAV. Vår andre forventning var derfor at den lokale variasjonen er større når brukerne vurderer veiledningen de har fått på NAV-kontoret. Resultatene fra Modell 4 og 5 (tabell 3), hvor avhengig variabel er tilfredshet med veiledningen, peker i retning av en slik tendens. Her er andelen av variasjonen som tillegges lokalnivået høyere enn i de tre første modellene. Andelen er høyere for den gruppen som vi antar har mest kontakt med NAV-kontoret – altså oppfølgingsgruppen uten arbeidssøkere i Modell 5. Her er lokalnivåets andel av variasjonen 3,2 prosent (med en usikkerhet på mellom 1,3 og 7,7). Vi får også en noe høyere ICC dersom vi fjerner sykmeldte fra utvalget, da en del av disse trolig får oppfølging fra helsevesenet i større grad enn fra NAV (modell ikke vist her). Ut fra dette synes også den andre forventningen bekreftet. Det er altså en tendens til at den konteksten som lokalnivået utgjør, betyr mer, jo mer kontakt brukerne har med NAV-kontoret. Betydningen synes imidlertid som liten, noe vi kommer tilbake til i diskusjonen.

Ofte er det større interesse for hvordan bestemte enheter skårer, snarere enn total varians, og vi vil illustrere hvordan flernivåanalysen kan benyttes til å belyse dette. Vi bruker de estimerte gjennomsnittsverdiene for det enkelte lokalnivå fra flernivåmodellen og sammenligner disse med resultatene vi ville fått uten bruk av flernivåanalyse (se mer om «empirical Bayes» i vedlegg 1). Starten på pilene i figur 1 er det estimerte gjennomsnittet i tilfredsheten for hvert lokalnivå, etter en vanlig regresjon som kun inneholder lokalnivå som uavhengig dummyvariabel (modellen ikke gjengitt her). Enden på pilene er estimatene fra en flernivåanalyse tilsvarende den i Modell 5, men for enkelthets skyld uten fylkesnivået. Det fremgår at variasjonen mellom de ulike lokalnivåene blir mindre når vi bruker estimatene fra flernivåmodellen.

Øvelsen viser at vi uten flernivåanalyse kan stå i større fare for å feilaktig konkludere at ett kontor er «bedre» enn et annet på brukertilfredshet. Resultatene fra vanlig regresjon vil trolig i større grad være «belemret» med sammensetningseffekter, mens resultatene fra flernivåanalysen i større grad kan tolkes som å representere kontekstuelle effekter. Likevel er det fortsatt forskjeller mellom lokalnivåene også i estimatene fra flernivåanalysen. I dette tilfellet vil vi imidlertid nevne at usikkerheten er relativt stor grunnet få respondenter (mellom 14 og 64 for lokalnivåene vist her), noe som også må hensyntas om en skal trekke slutninger om forskjeller mellom spesifikke enheter.

Videre modellering med individ- og lokalnivåvariabler

Hittil har vi vist at det kan være hensiktsmessig å benytte flernivåmodeller i analyser av brukertilfredshet, spesielt når bruker har kontakt med lokalkontoret. Vi bygger nå videre på Modell 5 fra tabell 3 ved å legge inn konkrete påvirkningsvariabler. For enkelthets skyld ser vi nå bort fra fylkesnivået og inkluderer kun lokalnivået. Denne forenklede tomme tonivåmodellen vises i tabell 4 som Modell 6.

I tabell 4 gjengir vi resultatene fra tre ulike flernivåmodeller, spesifisert med flere uavhengige (fixed) variabler, for å undersøke forholdet mellom sammensetning og kontekst videre. Modell 7 og 8 inkluderer variabler for henholdsvis individ og lokalnivå, mens Modell 9 gjengir en «full» modell med variabler fra begge nivå.

Tabell 4 inneholder i tillegg tre indikatorer for forklaringskraften (R ²) i Modell 7 til 9. Denne beregnes ut fra hvor mye variansen reduseres i den enkelte modell, sammenlignet med Modell 6. Vi kan derfor beregne total forklart varians og den forklarte variansen for hvert av nivåene (de tre første formlene i LaHuis mfl. 2014; se også Mehmetoglu og Jakobsen 2017). Disse estimatene kan i utgangspunktet forstås på samme måte som i en vanlig regresjon; som andelen forklart varians. Den forklarte variansen for de enkelte nivåene – spesielt for lokalnivået – må imidlertid tolkes med forsiktighet, siden både variansen som beregnes for det enkelte nivå i den tomme modellen og forholdet mellom disse (ICC) kan endres når det tilføres ny informasjon i form av uavhengige variabler (LaHuis mfl. 2014). Nivåestimatene for R ² må derfor ses som en pekepinn, mens den totale R ² kan tolkes mer bokstavelig.

Modell 7 inneholder kun variabler på individnivå. Vi ser blant annet at tilfredsheten med veiledningen øker med alder, og at brukere som er registrert med nedsatt arbeidsevne (uten AAP) er noe mindre fornøyde. Digital kompetanse og husholdningsinntekt påvirker tilfredsheten i form av en «omvendt u», hvor de som er midt på skalaen er mer tilfredse med veiledningen enn de som er i topp og bunn. Samtidig er det en tendens til at de med høyere utdanningsnivå er mindre fornøyd. Altså virker «gjennomsnittsbrukeren» til å være mer fornøyd enn andre. Den beregnede avstanden fra brukers bosted til nærmeste NAV-kontor har ikke sammenheng med tilfredsheten. Funnene likner på resultatene i hovedrapporten fra Personbrukerundersøkelsen (Nyberg mfl. 2019), og omtales derfor ikke nærmere her.

ICC for lokalnivået reduseres noe i Modell 7 i forhold til Modell 6, trolig fordi noen av individvariablene også reflekterer egenskaper ved lokalnivået. Dette gjenspeiles i R² for lokalnivå, som indikerer at 31 prosent av variansen i lokalnivået fanges opp i denne modellen. Som nevnt, må R ² på lokalnivå tolkes med stor forsiktighet. Vi kan imidlertid med grunnlag i disse estimatene påstå at individvariablene fanger opp både sammensetnings- og konteksteffekter. R ² på individnivå og totalt indikerer at Modell 7 forklarer 4 prosent av variansen i dataene på individnivået og 5 prosent totalt. Forklaringskraften til modellen i sin helhet er derfor svak.

I Modell 8 inkluderte vi kun variabler knyttet til lokalnivå. Befolkningsstørrelse – og dermed grovt sett størrelsen på NAV-kontoret – synes ikke å ha betydning for tilfredsheten. Sykefravær ved kontoret, andel brukere med oppfølgingsbehov i befolkningen og andel uføre påvirker heller ikke tilfredsheten ifølge modellen. Vi fant imidlertid at både andelen ungdom og andelen innvandrere (målt som personer født utenfor Norden) hadde en liten, men signifikant negativ sammenheng med tilfredsheten. Høye andeler av ungdom og innvandrere forekommer ofte samtidig og er knyttet til større byer. Samtidig er dette prioriterte målgrupper for NAV. Det er dermed flere mulige mekanismer som kan forklare en slik effekt. Eksempelvis kan det tenkes at kontorer som har en høy andel brukere som skal prioriteres (ungdom og innvandrere, se ASD 2018) får redusert kapasitet til oppfølging sammenlignet med andre kontorer. Det kan også tenkes at effektene representerer noe mer underliggende, eksempelvis knyttet til urbanitet, som vi ikke klarer å fange opp slik modellene er satt opp her.

Om vi skal tolke R² for lokalnivået i Modell 8 bokstavelig, blir en vesentlig del – 16 prosent – av variansen beregnet i den tomme modellen forklart med disse variablene. Samtidig kan den lave R² for individnivået tolkes som at modellen kun så vidt berører sammensetningseffekter og at vi her hovedsakelig har å gjøre med kontekstuelle effekter. Totalt sett har modellen svært liten forklaringskraft, med en total R² beregnet til 1 prosent.

I Modell 9 gjengir vi den «fulle» modellen, inkludert både individ- og lokalnivåvariabler. Estimatene for de enkelte variablene er omtrent de samme som i de foregående modellene. Det er verdt å bemerke at de individuelle effektene og lokalnivåeffektene knyttet til ungdom og innvandring består. Det tyder på at disse effektene dreier seg om både sammensetning og kontekst. Med andre ord, kan vi si at den negative effekten av høy andel ungdom og innvandrere består, selv etter at det samme kontrolleres for på individnivå. Om vi igjen skal tolke R² for lokalnivået bokstavelig, forklarer denne en høy andel – 42 prosent – av den estimerte variansen i den tomme modellen. Vi må imidlertid påpeke at den totale R² fortsatt ligger på 5 prosent og at den kontekstuelle betydningen av lokalnivået, som målt i ICC, nå er redusert til 1,8 prosent. Hovedinntrykket er derfor at lokalnivåets betydning reduseres når modellen «tilføres» informasjon i form av flere uavhengige variabler og at lokalnivåvariablene ikke bidrar nevneverdig til å øke modellens totale forklaringskraft.

NAV-kontorene påvirker variasjonen i brukertilfredsheten – men kjennetegn ved brukerne betyr mest

NAVs brukere kan deles inn i de som får forvaltningstjenester fra sentrale enheter i NAV og de som får oppfølgingstjenester fra sitt lokale NAV-kontor. Disse brukergruppene gir mulighet til å studere i hvilken grad NAV-kontoret påvirker tilfredsheten med NAVs tjenester. Vi hadde to spesifikke forventninger til studien: a) at den lokale variasjonen i den generelle brukertilfredsheten ville være større for brukere som har hatt kontakt med NAV-kontoret, enn for brukere med erfaring kun fra sentrale enheter og b) at det ville være større lokal variasjon i brukernes tilfredshet med veiledningen på NAV-kontoret sammenlignet med den generelle brukertilfredsheten. Vi forventet altså at betydningen av den lokale konteksten ville være større, jo mer brukerne har hatt å gjøre med NAV-kontoret.

I analysene fremkommer det at andelen variasjon som tillegges konteksten, altså lokalnivået, er større for de brukerne som er under oppfølging enn for de brukerne som kun hadde erfaring med forvaltningstjenestene. Dette bekrefter forventningene om lokalnivåets betydning. Siden vi har denne konkrete sammenligningen mellom sentral og lokal kontakt, kan vi også langt på vei påstå at det er forhold på selve NAV-kontoret, snarere enn andre egenskaper ved lokalsamfunnet, som står for disse systematiske forskjellene.

Resultatene viser med andre ord at NAV-kontorets arbeid betyr noe for tilfredsheten, og det er dermed i tråd med det som kanskje vil være «gjengs» oppfatning. Det som derimot strider mot «allmenne» antakelser, er at NAV-kontoret innsats tilsynelatende betyr lite: kun 3,2 prosent av andelen av variasjonen på nivået kan tilskrives denne konteksten. Motsatt, kan vi altså si at sammensetningseffekter, som tilskrives 96,8 prosent av variasjonen, betyr desidert mest. Det er med andre ord forhold ved brukerne som er mest avgjørende for variasjonen i brukertilfredsheten.

Andelen av variasjonen som tilskrives konteksten er i nederste sjikt sammenlignet med studiene referert til over (Ballas og Tranmer 2011; Christensen og Midtbø 2011; Duncan mfl. 1993; Monkerud og Sørensen 2010). Det må imidlertid ikke forstås som at NAV-kontorene i praksis er ubetydelige for brukertilfredsheten, noe som er en vanlig feiltolkning av slike resultater (se f.eks. Hellevik 2011, s. 164–168). Det er minst tre årsaker til at NAV-kontorets andel av variasjonen er lav. For det første, vil andelene fra flernivåanalysen være en sammenligning mellom variasjonen som kan tillegges lokal- og individnivå. Selv om vi kan dele brukerne inn i ulike kategorier, kan det innenfor kategoriene være stor forskjell på brukerne som ikke lar seg måle på en god måte. Det er naturlig at slike store forskjeller mellom mennesker utgjør det meste av variasjonen i dataene.

For det andre, kan den lave andelen være et uttrykk for at NAV-kontorene er relativt standardiserte i møte med brukerne. Mekanismer som kan bidra til likhet i brukermøtene inkluderer lovverk og sentrale retningslinjer i form av for eksempel «veiledningsplattformen», intern ressursfordeling, møter og informasjonsutveksling mellom kontorer på ulike arenaer og felles digitale løsninger som både veiledere og brukere må benytte. Disse mekanismene kan være motivert av et ønske om å finne «best practice», men også en forventning blant politikere og innbyggere om at velferdstjenestene skal være mest mulig like, uansett hvilket forvaltningsnivå som har ansvaret (Grønlie 2004). Kanskje er også dette årsaken til at nær sagt ingen andel av variasjonen kan tillegges fylkesnivået: det kan tenkes at fylkene fungerer som en iverksetter av nasjonale rammer snarere enn at de bidrar til forskjeller mellom fylkene.

Selv om mange av rammene for brukeroppfølgingen er lagt er det, som vi har argumentert for tidligere i artikkelen, trolig fortsatt et betydelig handlingsrom for tilpasninger til lokale og individuelle forhold. Vårt tredje poeng er likevel at disse variasjonene ikke nødvendigvis reflekteres i brukertilfredsheten: det er fullt mulig å tenke seg at to brukere med ellers like egenskaper kan være like fornøyde med NAV, selv om de har fått ulik innretning på oppfølging og tjenester. Tilfredshet er tross alt et lineært mål på oppfatningen av tjenesten, ikke et mål på innretning.

Det er altså flere mulige årsaker til at NAV-kontorets andel av variasjonen er lav, som kan ha sine naturlige forklaringer relatert til individ, organisasjon og hvor godt tilfredshetsbegrepet er til å fange opp variasjon.

I de videre analysene «fyller» vi opp flernivåmodellen med variabler på individ- og lokalnivå. Vi gjør et interessant funn i form av at en høy andel av NAVs prioriterte grupper – ungdom og innvandrere – i befolkningen synes å danne en kontekst som påvirker brukertilfredsheten negativt. Det kan dreie seg om at en høy andel prioriterte grupper påvirker brukertilfredsheten ved at NAV-kontorets kapasitet til oppfølging reduseres. Vi kan imidlertid ikke utelukke at funnet dreier seg om noe mer underliggende knyttet til urbanitet som ikke fanges opp i våre analyser. Vi finner også, i tråd med tidligere analyser (Nyberg mfl. 2019), at det er flere kjennetegn ved individet som påvirker brukertilfredsheten. Eksempelvis har alder, digital kompetanse, inntekt og hvilke ordninger brukerne er tilknyttet, sammenheng med brukertilfredsheten. Dette er kjennetegn som har størst sammenheng med sammensetningseffektene og som forklarer noe mer av variasjonen i brukertilfredsheten enn de kontekstuelle faktorene. Totalt sett forklarer imidlertid påvirkningsfaktorene relativt lite av variasjonen i brukertilfredsheten.

I sum synes flernivåanalysen å være en fruktbar tilnærming for å øke kunnskapen om ulike nivåer og forholdet mellom sammensetnings- og kontekstuelle effekter. Vi vil likevel trekke frem tre svakheter og en betenkning med analysen. En forutsetning for å undersøke betydningen av ulike nivåer i et hierarki, er at vi spesifiserer de nivåer som vi mener utgjør en relevant kontekst for individet. I artikkelen har vi benyttet NAVs organisasjonsstruktur, men kun «i grovt». Det er sannsynlig at den enkelte veileder utgjør en mer relevant kontekst for brukeren enn det mer «abstrakte» NAV-kontoret og at et slikt nivå ville økt den kontekstuelle betydningen (Lipsky 2010). Vi kan også tenke oss andre relevante kontekster som ikke er tatt høyde for, eksempelvis forhold innad eller på tvers av kommunegrenser eller brukernes sosiale nettverk. En annen svakhet er at vi ikke fullt ut kjenner til hvor mye kontakt respondentene har hatt med veileder på NAV-kontoret. Mer kontakt kan tenkes å øke den lokale betydningen. Den tredje svakheten er relatert til den lave forklaringskraften den «fulle» modellen har. Det betyr at analysen trolig kunne vært tjent med flere forklaringsvariabler. En spesielt interessant variabel kunne vært den interne ressursfordelingen i NAV, siden slike økonomiske aspekter synes å gjøre utslag i lignende studier (Christensen og Midtbø 2011; Monkerud og Sørensen 2010). Av praktiske årsaker inkluderte vi ikke slike variabler i analysen.

Vår betenkning bunner i at vi skiller relativt skarpt mellom sammensetnings- og kontekstuelle effekter uten å ta hensyn til om konteksten påvirker hvordan sammensetningen ble til. I vår analyse benytter vi et tverrsnitt på et gitt punkt i tid, uten å stille spørsmål ved om det er egenskaper ved konteksten (NAV-kontorets arbeid og andre faktorer ved lokalsamfunnet) som bidrar til sammensetningen. Eksempelvis kan det tenkes at urbane områder tiltrekker seg personer med visse kjennetegn, og derfor at konteksten påvirker sammensetningen over tid. Det er vanskelig å se for seg at våre analyseresultater ville blitt nevneverdig annerledes selv om vi tok høyde for dette – men det er et interessant spørsmål å reflektere over når vi diskuterer skillet mellom sammensetning og kontekst.

Mulige implikasjoner for NAVs arbeid

Funnene i artikkelen viser at flernivåanalyse er fruktbart når vi skal studere lokale variasjoner. Dersom vi ønsker å si noe mer presist om betydningen av arbeidet i en organisasjon for det vi studerer, synes det verdifullt å kunne skille mellom sammensetnings- og kontekstuelle effekter. Fra et organisasjonsperspektiv er det ofte nettopp betydningen av konteksten vi er ute etter: hva er organisasjonens rolle? Ofte er det også av interesse å kunne peke på forskjeller mellom bestemte enheter.

I tillegg til at vi sammenligner den generelle betydningen av sammensetning og kontekst, demonstrerer vi hvordan den kontekstuelle effekten som bestemte enheter utgjør, kan undersøkes og sammenlignes. Det gjør vi ved å hente gjennomsnittsestimatene for hvert NAV-kontor ut fra analysen (figur 1). Vi sitter følgelig igjen med mer av den «rene» effekten som et bestemt NAV-kontor utgjør for brukertilfredsheten. Dersom vi skal kunne påstå at ett NAV-kontor har mer fornøyde brukere enn et annet – og at dette skyldes forhold ved NAV-kontoret – er det dette estimatet vi bør bruke. Denne tilnærmingen bidrar til mer kunnskap om hvorvidt ulikheter mellom enheter skyldes sammensetningen blant brukerne eller de enhetene de forholder seg til. Dette er eksempelvis uklart når vi presenterer den fylkesvise variasjonen i brukertilfredsheten i hovedrapporten fra brukerundersøkelsene (Nyberg mfl. 2019). I rapporten har vi ikke grunnlag for å si om disse variasjonene i hovedsak skyldes egenskaper ved brukerne eller ved fylkene, og noen vil derfor kunne tolke dette som at det er NAV-fylkene som påvirker brukertilfredsheten. Eller med andre ord: de ville begått en feilslutning, fordi vi i denne artikkelen finner at de geografiske forskjellene først og fremst skyldes sammensetningseffekter, ikke kontekstuelle effekter.

Mange av NAVs statistikker, både offisielle og interne, fordeler indikatorer på NAVs ulike styringslinjer og disse kan være bakgrunn for viktige samtaler og beslutninger som berører utviklingsarbeidet i NAV. En del av disse statistikkene, inkludert resultatene fra brukerundersøkelsene, inngår også som styringsparametere. Følgelig kan flernivåanalyse være aktuelt i mange tilfeller.

I mange tilfeller vil det imidlertid ikke være nødvendig å skille mellom sammensetnings- og kontekstuelle effekter. Lokale variasjoner kan være av interesse uansett. Det at noe først og fremst bør forstås som en sammensetningseffekt, betyr ikke at NAV kan innta en passiv rolle. Eksempelvis kan vi tenke oss at brukertilfredshet må tas på alvor, selv om mye av variasjonen kan tilskrives sammensetningseffekter. Kunnskap om den kontekstuelle betydningen vil imidlertid kunne være viktig for å peke på i hvor grad kontekstuelle faktorer, som NAVs arbeid, spiller inn og for å bedre kunne sammenligne innsatsen mellom ulike NAV-kontor.