Annet
Last ned

Måling av brukeres erfaringer fra møter med veileder – muligheter og utfordringer

Av Tor Erik Nyberg, Sverre Friis-Petersen og Ann Kristin Løe

Sammendrag

NAV og andre etater gjennomfører jevnlig brukerundersøkelser for å skaffe kunnskap som kan brukes til å bedre tjenestene. Resultater fra slike undersøkelser gjengis som oftest på kontor- eller etatsnivå. Brukernes erfaringer fra møtene med NAV kan imidlertid variere med hvilken veileder de møter. Det reiser spørsmål om brukerundersøkelser bør gjennomføres slik at resultatene knyttes til den enkelte veileder.

Hensikten med artikkelen er å belyse muligheter og utfordringer ved brukerundersøkelser på ansattnivå. Vi har et særskilt blikk på hva det kan bety for veiledningen og for NAV-ansatte, og diskuterer temaet ved å trekke på faglitteratur og en spørreundersøkelse om hva ansatte selv mener om denne type brukerundersøkelse.

Om lag halvparten av medarbeiderne og 70 prosent av lederne ved NAV-kontor stiller seg positive til denne typen brukerundersøkelse og mener det kan bedre kvaliteten i NAVs veiledning. Det kan eksempelvis skje ved at veilederne reflekterer over tilbakemeldingene og gjør endringer for å forbedre egne resultater.

Om lag 20 prosent av de ansatte stiller seg negative til brukervurdering på ansattnivå. Innvendingene kan knyttes til tre aspekter. For det første er det tvil om i hvor stor grad brukernes vurderinger reflekterer kvaliteten i veiledningen, og følgelig om vurderingene kan brukes til konkret forbedringsarbeid. For det andre er det bekymring for om ønske om gode tilbakemeldinger kan medføre at ansatte unngår å utfordre brukerne, selv om det skulle være nødvendig. For det tredje kan denne type brukerundersøkelser være uheldige for arbeidsmiljøet, eksempelvis dersom det oppstår «konkurranse» om gode tilbakemeldinger eller om ansatte ikke klarer å forbedre sine resultater. Disse innvendingene kan ses i sammenheng med at det kan oppstå spenninger mellom brukernes ønsker, veiledernes vurderinger og NAVs regelverk.

Abstract

Measuring users’ experiences of meetings with their NAV counselor – possibilities and challenges

The Norwegian Labor and Welfare Administration (NAV) and other public agencies regularly conduct user surveys to obtain knowledge for improving services. The results from such surveys are usually reported at section or agency levels. Users’ experiences with NAV may, however, vary according to which counselor they meet. That raises the question of whether user surveys should be conducted in such a way that the results are tied to individual counselors.

This article’s purpose is to consider the opportunities and challenges inherent in user assessment at the employee level. Our focus is on possible outcomes for the counseling service and for NAV employees. We discuss the topic by drawing on the research literature and the results of a survey about employees’ opinions on the matter.

Half the employees and 70 percent of the managers take a positive stance toward this kind of user survey and believe that it can improve the quality of NAV’s counseling. That might happen if, for instance, counselors individually or groupwise discuss and take measures to improve their own results.

About 20 percent of the employees and managers take a negative stance toward user assessment at the employee level. The objections concern three aspects. First, there is doubt about the extent to which users’ assessments reflect the quality of the counseling, and, subsequently, if the assessments can be used in improvement processes. Second, some worry that a desire for positive user assessments may lead employees to avoid confrontations with users, even when necessary. Last, this kind of survey may affect the work environment negatively, for instance, if it leads to “competition” in obtaining good results, or if employees are not able to improve their results despite taking measures. The objections can be understood in relation to possible tensions between what users want, counsellors’ assessments, and NAV’s regulations.

Innledning

Brukerundersøkelser er utbredt i offentlig sektor. Hensikten er som oftest å oppnå kunnskap som kan bidra til å forbedre de offentlige tjenestene. Brukerundersøkelser i NAV viser at oppfatningen av møtet med veileder har sterk sammenheng med den overordnete brukertilfredsheten (NAV 2019a, 2021b). På tross av at veileder er viktig for brukeropplevelsen, blir resultater fra brukerundersøkelser verken knyttet til, eller gjengitt til den enkelte ansatte. Den ansatte får altså ikke vite hva «egne» brukere har ment, og oppmerksomheten rettes ofte mot kontorets samlede resultater. Med andre ord, aggregeres brukernes erfaringer med NAV på «ansattnivå» opp til «kontornivå» eller høyere. Det medfører at potensielt viktig informasjon om brukeropplevelser på ansattnivå ikke kommer fram.

Hensikten med denne artikkelen er å belyse muligheter og utfordringer ved brukervurdering på ansattnivå, med et særskilt blikk på hva det kan bety for veiledningen og de ansatte. Brukermøtene er en viktig del av den arbeidsrettede oppfølgingen, og det er et mål for NAV at brukerne skal ha en god opplevelse av møtet (NAV 2019b; NAV-loven, 2006, §1). En mulig fordel med brukervurdering på ansattnivå er at veilederen får en ny kilde til kunnskap om hvordan brukerne oppfatter veiledningen, noe som kan benyttes til refleksjon og forbedring (Haugum mfl. 2014). En annen fordel er at et slikt system kan fange opp kontinuerlige tilbakemeldinger fra brukerne og dermed synliggjøre brukernes egne opplevelser i eksempelvis NAV-kontorets styringsstatistikk (Rolland 2005). Denne type brukervurderinger kan dermed bidra til utvikling av kunnskapsbasert praksis i NAV (NAV 2021a).

Samtidig kan det argumenteres for at brukervurderinger verken bør registreres eller gjengis på ansattnivå. For det første, tilsier erfaringer fra andre sektorer at det ikke nødvendigvis er sammenheng mellom brukernes vurdering av enkeltansattes arbeid og andre kvalitetsindikatorer (Boring mfl. 2016; Dechsling mfl. 2021; Kreitzer og Sweet-Cushman 2022). Det kan altså stilles spørsmål ved i hvor stor grad brukervurderingene reflekterer kvaliteten i det enkelte møte. For det andre, kan brukervurdering på ansattnivå implisere at høy grad av brukertilfredshet alltid er mulig og ønskelig. NAV-veiledere kan imidlertid måtte fatte beslutninger som ikke er i tråd med brukers ønske og som dermed kan redusere brukertilfredsheten (Sanden Sannes og Spjelkavik 2014; Skriver og Meier 2020). I verste fall kan brukervurderinger medføre at veiledere kvier seg for å uttrykke uenighet med brukere, selv om det noen ganger er nødvendig at veileder bruker «sin makt og sitt mandat til å motivere og utfordre arbeidssøkeren» (Sanden Sannes og Spjelkavik 2014, s. 130). For det tredje, kan brukervurdering på ansattnivå bidra til «konkurranse» mellom veiledere, noe som kan gå utover arbeidsmiljøet.

Brukervurderinger på ansattnivå kan dermed medføre både muligheter og utfordringer. En oversiktsartikkel om brukervurderinger i helsesektoren tilsier at ansatte hovedsakelig stiller seg positive til «vanlige» brukerundersøkelser (Haugum mfl. 2014). Vi finner imidlertid få studier om hvordan offentlige ansatte stiller seg til brukervurderinger på ansattnivå. I NAV er det initiert en prosess for å vurdere nettopp om, og i tilfelle hvordan, denne typen brukervurderinger kan samles inn. I den forbindelse er det dermed interessant å diskutere muligheter og utfordringer forbundet med temaet, samt få mer kunnskap om hvordan ansatte selv stiller seg til brukervurderinger på ansattnivå.

I den første delen av artikkelen trekker vi på utvalgt litteratur for å belyse spenningsfeltet NAV-veiledere står i og hvordan brukervurdering på ansattnivå kan påvirke arbeidet. I den andre delen av artikkelen bruker vi en spørreundersøkelse blant NAV-ansatte i Trøndelag og Vestland for å undersøke hvordan ansatte selv stiller seg til brukervurdering på ansattnivå. I undersøkelsen ble de ansatte bedt om å ta stilling til en tenkt innføring av et system for brukervurdering på ansattnivå. Avslutningsvis drøfter vi resultatene fra undersøkelsen i lys av de teoretiske betraktningene i første del av artikkelen.

Veilederens oppgaver og mulige fordeler og ulemper ved brukervurdering

Veiledere ved NAV-kontorene bistår brukerne med helsemessige, sosiale og økonomiske utfordringer, ofte knyttet til at de ikke er i jobb. Eksempelvis gir de råd og veiledning i forbindelse med valg brukeren står overfor, bistår med kompetansehevende tiltak og bygger nettverk mot arbeidsgivere for å koble markedets behov med brukernes ressurser. Bredt forstått utøver veilederne sosialt arbeid: de streber etter å fremme samfunnsutvikling og inkludering av den enkelte (IFSW 2017).

Veilederrollen ligger samtidig i et spenningsfelt mellom hjelp og kontroll. Som offentlig ansatte skal veilederne forvalte lover fattet av Stortinget og forholde seg til NAVs interne regler og rutiner. Det kan dermed oppstå spenninger mellom brukers ønsker, veileders vurderinger, og hva veileder kan (og må) kreve av og tilby bruker i henhold til regelverket (Jordan og Parton 2004; Kjørstad 2019; Molander og Terum 2008; Lipsky 2010). Ressursknapphet og tidsnød kan gjøre det krevende å håndtere dette spenningsfeltet på en god måte: eksempelvis mener 88 prosent av veilederne at manglende personalressurser er en utfordring (Fossestøl mfl. 2020, s. 134). Veilederne vil selv også kunne være gjenstand for ulike former for kontroll, eksempelvis i form av mål- og resultatstyring eller at brukerne selv utløser kontrollmekanismer i form av klager. I sum innebærer det at veilederen må ta mange ulike hensyn i sitt arbeid og at veileder overfor brukerne har en rolle både som hjelper og «portvokter».

Brukermøtene som en viktig arena i veiledningen

Møter med brukere som ønsker og har behov for veiledning er en vesentlig del av veiledernes oppgaver. Ved hjelp av dialogen i møtet skal veilederne bedre kunne forstå hva som er brukers utfordringer og ønsker, for å kunne gi tilpasset hjelp og veiledning. Møtet er altså mer enn en formalitet: det kan være avgjørende for hvilke tjenester den enkelte får fra NAV og påvirke brukerens selvoppfattelse og livssituasjon (Svensson 2008, s. 137; Abbot 1988). Eksempelvis kan positive tilbakemeldinger fra veileder gjøre brukere tryggere på egne evners relevans for arbeidsmarkedet (Marthinsen og Skjefstad 2011). Møtet blir dermed et samspill og i seg selv en vesentlig del av den offentlige tjenesten (Osborne og Strokosch 2013). Denne forståelsen av møtet er noe veilederne selv slutter seg til: Svært mange er enige i at «oppfølgingen er et samarbeid mellom brukeren og meg som veileder» (Fossestøl mfl. 2020, s. 94).

Samspillet gjør at brukermøtene er ulike og at de avhenger av forhold både ved bruker og veileder. Selv om NAV har retningslinjer for arbeidsrettet oppfølging, kan møtene ikke fullt ut standardiseres, etterprøves eller kontrolleres (Goodin 1989). Det gjør at både opplevelsen av møtene og kvaliteten varierer. Samtidig er det som oftest kun veileder og bruker som deltar. Det kan gjøre det vanskelig både for veilederne selv, og eksempelvis deres ledere, å vurdere kvaliteten ved den enkeltes veiledningsarbeid. Siden brukermøtene er en vesentlig del av velferdstjenesten, kan den begrensede innsikten oppleves som problematisk (Molander mfl. 2012).

Muligheter og utfordringer ved brukervurdering av møtet med veileder

På tross av begrenset innsikt i enkeltmøter, er det flere metoder for å oppnå innsikt i møtenes innhold. Veiledere kan reflektere over bestemte møter sammen med kollegaer (såkalt kollegaveiledning), og brukerne kan levere en klage dersom de har hatt en dårlig opplevelse. Andre metoder er dialog med brukere i brukerutvalg, brukerråd eller mer uformelle arenaer som brukercafé. Det kan være nyttig for å oppnå generell kunnskap om brukermøter, men er trolig mindre egnet for å oppnå systematisk kunnskap om den enkelte veileders arbeid.

Brukervurdering på ansattnivå går ut på at bruker får mulighet til å vurdere møtet med veileder ved å delta i en anonym spørreundersøkelse i etterkant. Som vist til innledningsvis, skiller metoden seg fra vanlige brukerundersøkelser ved at vurderingene knyttes til den enkelte ansatte. Bruker kan få spørsmål om total tilfredshet med møtet, og sine erfaringer med mer spesifikke deler av møtet, eksempelvis om innholdet var planlagt og kjent for bruker, eller om bruker opplevde å få tilstrekkelig tid og anledning til å forklare sin situasjon. Tilfredshet og erfaringer er to noe ulike tilnærminger til spørsmålsstillinger, men ofte vil en brukerundersøkelse søke å fange opp begge aspekter. Her bruker vi for enkelthets skyld begrepene brukertilfredshet, erfaringer, opplevelser og vurderinger om hverandre.

Det kan være flere positive sider ved å innhente brukernes vurdering av møtet med NAV. Noen gjelder brukerundersøkelser generelt, og noen gjelder brukervurdering på ansattnivå. Undersøkelser om verdien av «vanlige» brukerundersøkelser i helsesektoren tilsier at de fleste ansatte mener at de lærer av tilbakemeldinger fra brukerne (Haugum mfl. 2014). Om den ansatte får tilgang til tilbakemeldinger fra brukere som gjelder en selv, kan det tenkes at disse kan brukes til mer målrettet forbedringsarbeid av egen veiledning, enn om tilbakemeldingene kun gjengis på avdelings-, kontor- eller etatsnivå. Det kan også være fruktbart at den ansattes leder får tilgang til resultatene, eksempelvis for å kunne skreddersy kompetansehevende tiltak. Siden NAV ikke har brukerundersøkelser som er store nok til at de jevnlig kan brytes ned på kontornivå, kan tilbakemeldinger fra brukermøtene også danne grunnlag for løpende statistikk på dette nivået. Denne «brukerstemmen» kan supplere det Rolland (2005) kaller for typiske «top-down» styringsparametere (se Roaldsnes 2018 for eksempler og kritikk av NAV-kontorenes styringsparametere). Data som reflekterer og gjengir brukernes egne perspektiver kan bidra til styrket brukerorientering, altså at medarbeidere og ledere blir mer opptatte av brukernes perspektiver. Dette kan ha en rekke positive følger. Eksempelvis finner Salge mfl. (2012), i en studie av helsesektoren, at brukerorientering nærmest er en forutsetning for å kunne levere bedre tjenester.

Brukervurderinger, både vanlige og på ansattnivå, kan imidlertid også ha problematiske sider. Her vil vi trekke fram tre av dem. For det første, kan det oppstå usikkerhet om hva som måles i brukerundersøkelser, altså begrepsvaliditeten (Skog 2004). Det kan eksempelvis stilles spørsmål ved om brukerne har tilstrekkelige forutsetninger til å vurdere ulike aspekter ved veiledningen, selv om de blir spurt om og velger å svare på dette (Grand 2010; Hansen mfl. 2012; Kahneman og Tversky 1974; Kirkebøen 2013). Andre faktorer enn selve veiledningen vil kunne prege svarene, eksempelvis brukers egen situasjon eller andre kjennetegn ved veileder. Ordinære brukerundersøkelser viser at brukererfaringer varierer systematisk med brukers kjennetegn, noe som understøtter dette argumentet (NAV 2021b; Nyberg mfl. 2020). Om resultatene brytes ned på ansattnivå, kan det medføre vanskeligheter med å skille ut hvilke deler av resultatene som kan knyttes til og brukes til å forbedre veiledningen. Det kan også gjøre det problematisk å sammenligne veiledere. Innenfor akademia er det eksempelvis vist at studenters vurderinger av undervisere ikke nødvendigvis har sammenheng med undervisningskvaliteten (Boring mfl. 2016; Dechsling mfl. 2021; Kreitzer og Sweet-Cushman 2022). På den andre siden, kan det argumenteres for at brukernes subjektive opplevelse nettopp er en viktig og ufravikelig del av kvaliteten ved offentlige tjenester (Hansen mfl. 2012). Som Rolland (2005, s. 14) skriver i en betraktning om brukerundersøkelsers rolle som offentlig styringsverktøy, er det kun brukeren som «vet hva som er viktige og uviktige kvalitetsindikatorer ved tjenesten, for brukeren» (vår utheving). Brukerens opplevelse er trolig av særlig betydning når tjenestene blir til i et samspill mellom bruker og det offentlige, noe som nettopp er et trekk ved brukermøtene i NAV (Osborne og Strokosch 2013; Alford 2016). Potensielle utfordringer med begrepsvaliditet er dermed mer et argument for å være kritisk til hva en måler og hvordan resultatene tolkes, snarere enn et argument mot brukervurderinger i seg selv.

En annen årsak til at brukervurderinger kan være problematiske, er at de kan medføre vridningseffekter. Med det menes at de kan fungere helt eller delvis mot sin hensikt og i verste fall senke kvaliteten i veiledningen (Grimen 2008 kaller dette for perverse insentiv). Som nevnt, fungerer veilederen som både den enkeltes hjelper og myndighetenes representant. Det ideelle er at veilederen forener disse hensynene på en måte som brukeren er fornøyd med, men det kan også oppstå spenninger. Kanskje må veileder bruke «sin makt og sitt mandat til å motivere og utfordre arbeidssøkeren» (Sanden Sannes og Spjelkavik 2014, s. 130) på måter som utfordrer brukertilfredsheten, men som øker sannsynligheten for å komme i arbeid. Enighet og tilfredshet er ikke alltid en forutsetning for utvikling, kanskje kan det også skje ved konfrontasjon og uenighet (Skriver og Meier 2020). Med andre ord, kan veilederen stå i situasjoner hvor andre hensyn bør få forrang, eller vanskelig kan kombineres på en måte som ivaretar målet om en god brukeropplevelse. Om veileder opplever brukervurderinger som et insentiv til å prioritere brukeropplevelsen over andre hensyn, kan det medføre at veileder vegrer seg for å utfordre bruker (Nasr mfl. 2015). Kanskje fører det også til «creaming» (Lipsky 2010), altså at veileder nedprioriterer eller unngår å møte brukere som en forventer negative tilbakemeldinger fra. Vi finner en parallell til slike vridningseffekter i akademia, hvor studentvurderinger kan utgjøre et insentiv til å sette gode karakterer (Ewing 2012). Studier av undervisere og leger tyder også på at vektlegging av enkeltbrukeres ønsker kan stå i et visst motsetningsforhold til ivaretakelse av bredere samfunnsinteresser (Andersen mfl. 2013; Carlsen og Norheim 2003; Jensen og Andersen 2015). Når det er sagt, er det ikke uvanlig at ansatte i offentlig sektor må forholde seg til det som kan oppfattes som motstridende styringssignaler (Røhnebæk og Breit 2021). En kan derfor argumentere for at ulike insentiv først får uheldige effekter dersom de ikke møtes på en nyansert og balansert måte.

En tredje årsak vi vil trekke fram dreier seg om arbeidsmiljø. Noen ansatte vil kunne få negative vurderinger over tid. Om statistikk i tillegg viser at den ansatte ligger «verre an» enn kollegaer, vil veilederen kunne oppleve lite mestring i arbeidshverdagen. Om tilbakemeldingene ikke lar seg omsette til positiv endring, vil det kunne medføre redusert motivasjon, sykefravær eller ønske om å bytte jobb. Slåtten mfl. (2011) argumenterer for at det er rimelig å anta at ansatte ønsker å gjøre en god jobb, og at tilbakemeldinger fra kunder og brukere kan påvirke ansattes mestringsfølelse. I deres studie av ansatte i norske private og offentlige virksomheter finner de nettopp at mestringsfølelse har sammenheng med ønske om å bytte jobb. Denne type konsekvenser kan også påvirke arbeidsmiljøet i stort, hvis forhold rundt veiledningen ses på og behandles som et individuelt spørsmål snarere enn som felles utfordringer. «Konkurranse» om brukerevalueringer mellom ansatte, avdelinger eller kontorer kan oppstå. Kanskje er dette fruktbart om en er sikker på at brukervurderinger kun reflekterer kvalitet og ikke står i motsetning til andre mål. Uten denne vissheten er det imidlertid usikkert om konkurranse gagner ansatte, brukere, NAV eller samfunnet i stort. Om brukervurderinger går utover arbeidsmiljøet, er det også mulig at dette i seg selv får negative konsekvenser for brukeropplevelsen. Eksempelvis fant en studie fra helsesektoren sammenheng mellom sykepleieres jobbtilfredshet og brukertilfredshet (Kvist mfl. 2014). På den andre siden, kan det argumenteres for at brukervurderinger kan være positive for arbeidsmiljøet dersom disse brukes i konstruktive prosesser. Det kan innebære å løse både individuelle og felles utfordringer i fellesskap, noe som kan styrke samholdet mellom ansatte og øke motivasjonen for arbeidsoppgavene.

Data og metode

For å undersøke hvordan NAV-ansatte stiller seg til brukervurderinger på ansattnivå, bruker vi data fra en spørreundersøkelse blant ansatte ved NAV-kontorer i Vestland og Trøndelag. Dataene analyserer vi med logistiske regresjonsmodeller og en enkel kvalitativ gjennomgang av undersøkelsens fritekstkommentarer.

Spørreundersøkelse om holdninger til brukervurdering på ansattnivå

Spørreundersøkelsen ble sendt ut til alle ansatte ved NAV-kontorene i Vestland og Trøndelag i begynnelsen av mars 2021. På forhånd hadde 19 (av 79) kontorer i de to fylkene deltatt i et pilotprosjekt hvor ansatte nettopp fikk erfaring med brukervurderinger på ansattnivå (se faktaboks).

Undersøkelsen ble distribuert via e-post, med syv dagers svarfrist over to ulike uker. E-posten inneholdt informasjon om hensikten med og innholdet i undersøkelsen og samtykke til behandling av personopplysninger. De som ikke svarte fikk opptil to påminnelser. Totalt gjennomførte 1039 ansatte undersøkelsen, tilsvarende en svarprosent på 46 (korrigert for fravær o.l.). 49 prosent av de som svarte tilhørte et kontor som ikke deltok i pilotprosjektet. Blant disse var svarprosenten 43, mens svarprosenten blant ansatte ved pilotkontorer var 50. På grunn av metodiske utfordringer med pilotprosjektet (se faktaboks) benytter vi kun svarene til de som ikke tilhørte pilotkontorer i den kvantitative analysen. For den kvalitative analysen benytter vi begge gruppers svar.

Undersøkelsen inneholdt spørsmål om arbeidsmiljø, brukerorientering, erfaringene med pilotprosjektet (dersom de deltok) og det som er denne artikkelens tema: hvordan respondenten stiller seg til et system for brukervurdering på ansattnivå. Sistnevnte tema ble undersøkt ved at vi ba respondenten tenke seg at NAV vurderer å utvikle et system for brukervurdering på ansattnivå. I et forsøk på å unngå at ansatte svarte ut fra en bekymring for at systemet ville være tidkrevende å administrere, ble det understreket at systemet ikke ville medføre merarbeid:

Tenk deg at NAV vurderer å innføre et system hvor brukerne kan gi tilbakemelding på det siste møtet de hadde med NAV-kontorets veileder. Etter møtet får brukerne invitasjon til å svare på en spørreundersøkelse. De får eksempelvis spørsmål om veilederen var godt forberedt og om de ble møtt med forståelse.

Systemet vil være helt automatisk, altså medfører det ikke merarbeid for veileder eller andre på kontoret. Brukerne får automatisk en spørreundersøkelse etter møtet, og rapporter med statistikk og skriftlige tilbakemeldinger som ivaretar brukernes anonymitet lages automatisk.

Ut fra dette stilte vi opp påstander om de kunne tenke seg et slikt system og hvilke funksjoner de så for seg at systemet burde ha (se tabell 1). Respondentene kunne svare på en skala fra 1 til 5, hvor 1 var «helt uenig» 3 var «verken eller» og 5 var «helt enig». I analysene regner vi de som svarte 4 eller 5 som positive, de som svarte 3 som ambivalente og de som svarte 1 eller 2 som negative.

Pilotprosjektet «System for tilbakemelding fra brukerne»

Om lag halvparten av de ansatte som inngår i den kvalitative analysen i denne artikkelen, deltok i pilotprosjektet «System for tilbakemelding fra brukerne». Prosjektet ble ledet av Arbeids- og velferdsdirektoratet, i samarbeid med NAV Vestland, NAV Trøndelag og statsforvalterne i de to fylkene. Hensikten med pilotprosjektet var å høste erfaring med brukervurderinger på ansattnivå, herunder hvordan slike vurderinger kan gi økt innsikt i brukernes opplevelser og om innsikten kan benyttes til å utvikle veiledningen og NAVs tjenester. Pilotprosjektet skilte seg fra NAVs ordinære brukerundersøkelser (f.eks. NAV 2021b) på to hovedmåter: ved at brukerne ble invitert til å gi tilbakemelding om sin erfaring med enkeltmøter kort tid etter at møtene fant sted, og at svarene ble brutt ned på og gjort tilgjengelige for den enkelte ansatte i anonymisert form. Ikke-anonyme brukervurderinger som er egnet til å inngå i selve veiledningen ble ikke testet ut i prosjektet (f.eks. Ardito og Rabellino 2011; Skriver og Meier 2020; NAPHA 2021).

Tilbakemeldingene fra brukerne viste seg å være vesentlig mer positive enn hva som kan forventes ut fra vanlige brukerundersøkelser (NAV 2021b), men var på nivå med brukeres tilbakemeldinger etter telefonsamtaler med veiledere på NAV Kontaktsenter. Gjennomsnittet på de fleste spørsmålene var 5,6 på en sekspunktsskala og om lag 96 prosent av brukerne svarte positivt (4-6 på skalaen). Det er av flere årsaker umulig å fastslå om resultatet er representativt. Et manuelt system for utsending kan ha medført at misfornøyde brukere til en viss grad ble selektert bort ved utsending av undersøkelsen (eller motsatt, at fornøyde brukere ble prioritert). Det kan også hende at misfornøyde brukere i mindre grad valgte å svare på undersøkelsen, eksempelvis om de var usikre på om svarene virkelig ville bli behandlet anonymt. Disse svakhetene kan ha resultert i at veilederne fikk tilbakemeldinger som var bedre enn om undersøkelsen hadde gått ut automatisk til samtlige brukere. Det kan medføre at veilederne som deltok i prosjektet er mer positive til innføring av brukervurdering på ansattnivå enn de ville vært om de hadde fått en større andel negative tilbakemeldinger. Forberedende analyser (ikke vist her) tilsier nettopp at veiledere som deltok i prosjektet er mer positive til innføring av et system enn de som ikke deltok. På grunn av de metodiske usikkerhetene inkluderer vi kun de som ikke deltok i prosjektet i den kvantitative analysen. I den kvalitative analysen bruker vi imidlertid kommentarer fra begge grupper.

Analysemetoder

For å belyse hvordan NAV-ansatte stiller seg til et system for brukervurdering på ansattnivå, gjengir vi hvor stor andel av de ansatte som stilte seg positive til det tenkte systemet i sin helhet og til de enkelte funksjonene. Det viste seg i forberedende analyser at det for enkelte av påstandene var mest variasjon i svarene mellom medarbeidere og ledere. Resultatene er derfor fordelt på disse to gruppene. For å kunne peke på om forskjellene er statistisk signifikante eller ikke, satte vi de to gruppene opp som uavhengige variabler i en logistisk regresjonsmodell. Det ble beregnet én modell for hver påstand. En logistisk regresjonsmodell er velegnet når utfallet vi er opptatt av er dikotomt: altså i dette tilfellet positiv eller ikke positiv (se f.eks. Mehmetoglu og Jakobsen 2017). I analysen legges medarbeidere til grunn og det testes om ledere avviker signifikant fra disse.

I logistiske regresjonsmodeller beregnes det som regel odds ratioer som kan være vanskelige å tolke. For å forenkle tolkningen beregner vi og viser kun predikerte andeler (Williams 2012). Siden de to grupperingene er de eneste uavhengige variablene i modellene, vil de predikerte andelene fra de logistiske regresjonsmodellene være de samme som en enkel beregning av andelen positive innenfor hver gruppe.

De statistiske analysene er egnet til å beregne hvor mange ansatte som stiller seg negative, ambivalente eller positive til brukervurdering på ansattnivå, men sier mindre om hvorfor de svarer som de gjør. Vi supplerte derfor de statistiske analysene med en enkel analyse av svarene på fritekstspørsmålet «Har du andre tanker eller kommentarer om et slikt system?». Til sammen valgte 221 respondenter å skrive en kommentar, og det var en tendens til at disse var mindre positive til systemet enn de som ikke skrev en kommentar. To av forfatterne leste igjennom samtlige kommentarer for å danne seg et inntrykk av hvilke temaer som gikk igjen. Ut fra dette, valgte vi ut noen kommentarer som vi anså som representative for disse temaene (for å hindre gjenkjenning er enkelte av kommentarene forkortet og/eller gjengitt på bokmål). Målet med analysen av kommentarene var altså å få et innblikk i noen temaer og bekymringer flere av de ansatte er opptatte av.

Resultater

I det følgende gjengir vi og analyserer resultatene fra undersøkelsen blant de ansatte. Først ser vi på hvordan ansatte stilte seg til innføring og tenkte funksjoner ved et system for brukervurdering på ansattnivå. Deretter kommer vi nærmere inn på de ansattes kommentarer til systemet.

Halvparten av veilederne er positive til brukervurdering på ansattnivå

I tabell 1 gjengir vi andelen ansatte som svarte positivt på om de kunne tenkt seg et system for brukervurdering på ansattnivå og hvordan de stilte seg til ulik funksjonalitet ved systemet. Vi gjengir andelene brutt ned på om de ansatte er medarbeidere (veiledere) eller ledere.

Halvparten av medarbeiderne var positive til at brukervurdering på ansattnivå bør innføres i NAV (påstand 1). 32 prosent svarte verken eller (ikke vist i tabell), og kan derfor regnes som ambivalente. Blant lederne var 70 prosent positive og 7 prosent ambivalente. I begge grupper er dermed om lag 20 prosent negative. Vurderingen av om et system bør innføres er tett knyttet til om ansatte mener at det vil bedre kvaliteten i NAVs veiledning (påstand 2).

Tabell 1: ansattes holdning til innføring og tenkte funksjoner for brukervurdering på ansattnivå, andel positive (som har svart 4 eller 5 på en fempunktsskala)

Påstander

Medarbeidere

Ledere

1. Et slikt system, som beskrevet over, bør innføres i NAV

50

70**

2. Et slikt system vil bedre kvaliteten i NAVs veiledning

53

72**

3. Det enkelte kontor / fylke bør ha anledning til å legge inn egne spørsmål til brukerne

62

57

4. Tilbakemeldingene bør være tilgjengelige for den enkelte avdeling og kontor (f.eks for at de kan sammenlignes med andre kontorer og seg selv over tid)

70

79

5. Den enkelte veileder bør få tilgang til tilbakemeldinger som gjelder sine møter, for å sammenligne eget gjennomsnitt med andre

50

52

6. Den enkelte veileder bør få tilgang til tilbakemeldinger som gjelder sine møter, for å lese (anonyme) tekstlige tilbakemeldinger fra bruker

66

72

7. Den enkelte veileder må selv kunne vurdere om han/hun deler sine tilbakemeldinger med andre

57

44*

8. Den enkelte veileders tilbakemeldinger bør kunne ses av leder for at leder skal bidra til utvikling av den enkelte

59

78**

9. Veileder bør kunne bruke tilbakemeldingene som argument i f.eks. lønnskrav

29

19

10. Tilbakemeldinger for det enkelte kontor bør være del av fylkesdirektørens resultatoppfølging

44

52

11. Tilbakemeldingene for det enkelte kontor og fylke bør være offentlig tilgjengelig, slik at f.eks. aviser kan skrive om dem

16

24

12. Tilbakemeldinger fra brukere bør samles inn hele året

48

58

13. Tilbakemeldinger fra brukere bør samles inn i kortere tidsperioder

27

24

14. Det bør være et støtteopplegg for veiledere som får tilbakemeldinger (f.eks. kollegaveiledning)

75

88*

N

432

49

* p<0,10, ** p<0,05, indikerer at andelen er signifikant forskjellig fra den første gruppen.

Kilde: NAV

Påstand 3 til 14 dreier seg om ulik funksjonalitet ved systemet. Før påstandene ble respondenten bedt om å se for seg at et system skulle bli innført, og ta stilling til hvilken funksjonalitet det burde inneholde. Vi må likevel regne med at svarene er farget av om respondenten er positive eller negative til systemet i utgangspunktet, og vi kommenterer derfor kun hovedtrekkene i svarene.

Det virker ikke avgjørende at det enkelte kontor eller region får anledning til å legge inn egne spørsmål: om lag 60 prosent av medarbeidere og ledere ønsker denne muligheten (påstand 3). Når det gjelder på hvilket nivå resultater bør tilbakeføres, er det størst enighet om at det enkelte kontor og dets avdelinger bør få egne resultater, med om lag 70 prosent positive medarbeidere (påstand 4). Det er imidlertid mer kontroversielt om brukervurderingene skal gjengis på ansattnivå (påstand 5 og 6). Om lag halvparten av medarbeiderne er positive til å få resultater i form av statistikk som kan sammenlignes med andre. Det er imidlertid mer etterspørsel etter tekstlige tilbakemeldinger, med en andel på 66 prosent. Kanskje oppleves det vanskelig å forbedre seg kun basert på statistikk og sammenligninger, mens tekst fra brukerne enklere kan brukes til refleksjoner og forbedringer.

På spørsmål om hvem som eventuelt skal ha tilgang til den enkelte veileders tilbakemeldinger, mener 57 prosent av medarbeiderne at veileder selv bør kunne vurdere dette (påstand 7). En tilsvarende andel på 59 prosent mener at leder bør kunne se tilbakemeldingene for å bidra til utvikling av den enkelte (påstand 8). På disse spørsmålene skiller lederne seg signifikant, om enn ikke drastisk, fra medarbeiderne. 44 prosent av lederne mener at veilederne selv skal vurdere om tilbakemeldingene deles med andre, mens 78 prosent mener at de bør deles med leder. Det er imidlertid relativt få, både blant medarbeidere og ledere, som mener at tilbakemeldinger skal kunne brukes som argument i f.eks. lønnskrav (påstand 9). Det kan kanskje tolkes som skepsis til om tilbakemeldingene reflekterer kvaliteten i veiledningen, eller at ansatte legger vekt på andre faktorer når de fremmer lønnskrav.

Som nevnt over, kan det tenkes at resultatene fra systemet kan inngå i fylkesdirektørens resultatoppfølging av NAV-kontoret sammen med andre styringsparametere. Om lag halvparten av de ansatte stilte seg positive til dette (påstand 10). Samtidig er det få som mener at statistikk fra tilbakemeldingene bør publiseres offentlig (påstand 11). Når det gjelder frekvens for innhenting av tilbakemeldinger, er det flere som ser for seg at dette bør foregå kontinuerlig snarere enn periodevis (påstand 12 og 13). Avslutningsvis er det relativt stor enighet om at det bør være et støtteopplegg for veiledere som får egne tilbakemeldinger, særlig blant lederne (påstand 14).

Validitet – hva måles egentlig?

For å belyse årsakene til ansattes holdninger til brukervurdering på ansattnivå, gjennomgikk vi samtlige kommentarer fra undersøkelsen. Som nevnt i avsnittet om analysemetoder, var hensikten med gjennomgangen å identifisere temaer som flere ansatte var opptatte av. Noen uttrykte støtte til løsningen, men ofte sammen med en bekymring. De fleste bekymringene kan knyttes til de tre utfordringene vi skisserte i litteraturgjennomgangen over: validitet, vridningseffekter og arbeidsmiljø.

Flere respondenter uttrykker usikkerhet rundt hva som faktisk måles og hva som påvirker svarene når en spør brukerne om deres erfaringer med møtet med veileder. En respondent uttrykker bekymring rundt at brukere ikke er tilfeldig fordelte på veiledere:

Ulike brukergrupper er delt på ulike veiledere. Noen veiledere har brukere som har psykiske lidelser og er svært vanskelige å forholde seg til. Hvordan tror dere det vil være for disse veilederne å skulle få tilbakemeldinger fra disse gruppene som kommer til å være svært nedbrytende og vanskelig å forholde seg til? Dette er svært lite gjennomtenkt og bekymringsfullt at dere vurderer.

I sitatet over er respondenten inne på at kjennetegn ved brukere kan påvirke relasjonen mellom bruker og veileder, samt hva brukere svarer når de skal vurdere møtet med veileder. Respondenten stiller dermed implisitt spørsmål om i hvor stor grad tilbakemeldingene reflekterer kvaliteten ved veiledningen. Dersom de samme kjennetegnene som påvirker relasjonen og brukervurderingene brukes til å fordele brukere på veileder, vil det kunne medføre at enkelte veiledere får gjennomgående dårligere tilbakemeldinger fra brukere enn andre.

Respondenten sitert over er bekymret for hvordan systematisk samvariasjon mellom brukeres kjennetegn og brukervurderinger vil slå ut på ansattnivå. Enkelte andre respondenter mener at tilsvarende mekanismer vil skape problemer dersom brukervurderingene skal sammenlignes mellom avdelinger på kontoret eller mellom kontorer.

En annen respondent uttrykker bekymring ved hva som måles, ved å stille spørsmål om NAV-veiledere kan vurderes på samme måte som medarbeidere i tjenesteytende næringer: «Vi er jo ikke hundre prosent sammenlignbare med en gjennomsnittlig servicemedarbeider eller kundebehandler. Kan fort gjøre oss slitne, konfliktsky og populistiske.»

Respondenten er dermed inne på at relasjonen mellom innbyggere og offentlige ansatte ikke uten videre kan sammenlignes med et kundeforhold i privat sektor. Vi antar at respondenten tenker på spenningen mellom hjelp og kontroll i veiledningsrollen, og dermed stiller spørsmål om en ukritisk kan overføre kundetilfredshetsmålinger med tilhørende tankegang fra det private til det offentlige. Respondenten berører også konsekvenser for arbeidsmiljø og vridningseffekter, noe vi kommer tilbake til under.

Samtidig er enkelte respondenter mer positive til at kvaliteten ved veiledningen reflekteres i brukerundersøkelser. En respondent skriver:

Det kan være en kilde til informasjon om hvor god jobb veilederne gjør, men det kan være forventninger hos brukerne som vi ikke kan tilfredsstille, og som derfor vil føre til dårlig score. Likevel kan man forvente at det er mulig å oppnå en viss grad av tilfredshet ved bruk av gode veiledningsteknikker.

Respondenten viser til at gode veiledningsmetoder kan bidra til positive opplevelser, selv om brukers forventninger ikke alltid oppfylles. Altså settes brukeropplevelsen i sammenheng med den enkelte veileders kompetanse og ferdigheter i utøvelse av veiledningsfaget. Samtidig er også denne respondenten inne på at veileders rolle som både hjelper og portvokter kan påvirke brukers vurderinger.

Selv om mange respondenter uttrykker skepsis i større eller mindre grad, er andre positive. En respondent formulerer seg i korthet slik: «Vi bør ikke være så redde for å spørre brukerne hvordan de opplever møtene med oss.»

Selv om meningene er delte, er det flere ansatte som stiller spørsmål ved om andre faktorer enn kvaliteten i veiledningen kan påvirke brukers svar. Ordinære brukerundersøkelser understøtter nettopp at ulike kjennetegn ved bruker har sammenheng med brukernes vurderinger (NAV 2021b; Nyberg mfl. 2020). Mange NAV-kontor fordeler oppfølging av brukere på kjennetegn som alder eller arbeidsmarkedsstatus, altså er ikke brukere tilfeldig fordelte på veiledere. Samvariasjon mellom brukers kjennetegn og brukervurderinger kan dermed gjøre det vanskelig å sammenligne brukernes vurderinger mellom veiledere, mellom avdelinger innenfor det enkelte NAV-kontor, og mellom NAV-kontor. Bekymringene støttes også av overnevnte forskningsfunn, blant annet at det er vanskelig å påvise forbindelser mellom studentvurderinger og undervisningskvalitet (Boring mfl. 2016; Dechsling mfl. 2021; Kreitzer og Sweet-Cushman 2022).

Kan målingene medføre vridningseffekter?

Den andre utfordringen vi pekte på, var muligheten for at brukervurderinger på ansattnivå kan resultere i såkalte vridningseffekter. En respondent tar opp temaet på følgende måte:

Helt uenig i at et slikt system bør innføres, da fokuset til veileder da kan bli å "score" høyest mulig, og derfor unngå å ta opp vanskelige ting i samtaler med bruker. I tillegg kan det ved dårlige tilbakemeldinger føre til lite tro på seg selv, dårlig motivasjon, psykiske vansker hos ansatte osv. […] Videre er ikke gode tilbakemeldinger heller noe kvalitetsstempel tenker jeg.

Respondenten ser for seg at ønske om høy skår kan medføre at veileder unngår å «ta opp vanskelige ting» med bruker. Dette poenget illustrerer en klassisk vridningseffekt, hvor brukervurderingene kan virke mot sin hensikt ved at de i verste fall reduserer kvaliteten i veiledningen. Respondenten stiller også spørsmål om validitet og konsekvenser for arbeidsmiljø, som i sum leder til sterk motstand mot brukervurdering på ansattnivå.

En annen respondent er også bekymret for vridningseffekter, om enn ikke i så stor grad som overnevnte: «Er i utgangspunktet positiv til en slik løsning, men er likevel skeptisk. Dette kan føre til at veiledere blir så opptatt av at brukerne blir fornøyde at gode løsninger og motivasjonsarbeid kan komme i bakgrunnen.»

Vi tolker sitatet dithen at den ansatte er bekymret for at hensyn til brukertilfredshet kan gå utover brukeren ved at veilederens evne til å utøve sin samfunnsrolle svekkes. Vi antar at respondenten mener at det kan være en motsetning mellom brukertilfredshet på kort og lang sikt, altså at uenighet, konfrontasjon og mulig misnøye med NAV på ett tidspunkt kan føre til gode løsninger senere i oppfølgingsløpet. Sitatet kan også tolkes som at NAV og bruker ikke alltid er enige om hva som er gode løsninger, og at det i slike situasjoner er NAVs samfunnsoppdrag som bør få forrang.

Flere ansatte er dermed bekymret for at brukervurderinger på ansattnivå kan virke mot sin hensikt. Respondentene sitert over er inne på at det kan rokke ved veilederes vilje til å utfordre brukere, noe som enkelte ganger kan være nødvendig i den arbeidsrettede oppfølgingen (Sanden Sannes og Spjelkavik 2014; Skriver og Meier 2020). Overnevnte tidligere forskning tilsier at brukervurderinger nettopp kan medføre slike vridningseffekter (Andersen mfl. 2013; Carlsen og Norheim 2003; Ewing 2012; Jensen og Andersen 2015).

Arbeidsmiljø – både utfordring og løsning

Den tredje utfordringen vi pekte på, er arbeidsmiljøet. Skepsis til betydningen for arbeidsmiljøet går igjen i de ansattes kommentarer, inkludert flere av sitatene over. En respondent skriver følgende:

Viktig at det ikke legges opp som konkurranse mellom kollegaer, og at veiledere kan reservere seg mot denne løsningen. […] Det må være en løsning som legges opp til å være motiverende og selvutviklede for hver enkelt veileder og ikke det motsatte, hvor det er en reell risiko for at veilederen mister motivasjon og selvtillit og i verste fall slutter i jobben hos NAV.

Respondenten peker nettopp på faren for konkurranse og fremmer frivillig deltakelse som en mulig løsning. Den ansatte vektlegger at systemet må bidra til utvikling og mestring, men at det er risiko for motsatt effekt.

En annen respondent ser et godt arbeidsmiljø som en forutsetning for å innføre systemet:

Her er det viktig at det er et velfungerende kontor. Ved vårt kontor ville det kun blitt enda en ting med negativt fortegn, da det er lite raushet, oppfølging fra ledelse og kollegaveiledning. Det måtte derfor bli innført gradvis, og innføringa måtte ikke krevd mer enn at man ikke hadde følt seg presset til enda en "må"-oppgave i en allerede krevende hverdag.

Vi antar at respondenten legger til grunn at ansatte må være trygge på hverandre for å kunne håndtere negativ informasjon fra brukervurderingene på en god måte. Respondenten opplever ikke at det er tilfelle ved sitt kontor og stiller seg dermed tvilende til systemet.

Det er rimelig å anta at ansatte ønsker å gjøre en god jobb og at opplevelsen av at en mestrer oppgavene har sammenheng med motivasjon (Slåtten mfl. 2011). Ved brukervurderinger på ansattnivå vil noen ansatte kunne få negative brukervurderinger som påvirker mestringsfølelsen. Det er også fare for at det blir «konkurranse» mellom veiledere, selv om det skulle være utilsiktet. Kommentarene i undersøkelsen reflekterer disse bekymringene.

Oppsummering og diskusjon

Hensikten med artikkelen har vært å belyse muligheter og utfordringer ved brukervurdering på ansattnivå, altså brukernes erfaringer med den enkelte NAV-ansatte. Dette skiller seg fra ordinære brukerundersøkelser hvor resultater vanligvis kun gjengis på et høyere nivå, eksempelvis kontoret eller hele etaten. Vi har fokusert på hva det kan bety for veiledningen og hva ansatte selv mener om denne type brukerundersøkelse.

Brukervurdering på ansattnivå kan være positivt av flere årsaker. Det kan tenkes at ansatte kan bruke tilbakemeldingene til forbedring av egen veiledning, eksempelvis ved selvrefleksjon eller i kollegaveiledning. Siden tilbakemeldingene vil gjelde egen veiledning, kan disse prosessene bli mer relevante og målrettede enn om tilbakemeldingene kun hadde blitt gjengitt på avdelings-, kontor- eller etatsnivå. Resultatene kan også bidra til at «brukerstemmen» blir mer synlig, eksempelvis ved at de inngår som del av NAV-kontorets styringsparametere. Brukervurdering på ansattnivå kan altså gi NAV mer informasjon om brukernes opplevelser. Det kan medføre at ansatte blir mer brukerorienterte, noe som i sin tur kan bidra til bedre brukeropplevelser.

Ansatte har imidlertid delte oppfatninger om brukervurdering på ansattnivå. Halvparten av medarbeiderne var positive til brukervurdering på ansattnivå, mens 32 prosent uttrykte ambivalens. Det er tett sammenheng mellom ønske om denne typen brukervurdering og om ansatte mener at det vil bidra til økt kvalitet i veiledningen. Lederne stiller seg gjennomgående mer positive til systemet, med 70 prosent som svarte positivt. Blant begge grupper er det om lag 20 prosent som stiller seg negative til brukervurdering på ansattnivå.

Vi brukte fritekstkommentarene i undersøkelsen til å få mer innsikt i hvorfor ansatte stiller seg negative, positive eller ambivalente til brukervurdering på ansattnivå. De fleste kommentarer gjenspeiler forskningslitteraturens beskrivelser av utfordringer ved brukervurderinger og kan knyttes til tre aspekter. For det første er det tvil om hva som ligger til grunn for brukernes svar og dermed hva som måles, såkalt begrepsvaliditet. Selv om brukerne skulle få spørsmål om helt konkrete sider ved veiledningen, kan svarene preges av både brukers livssituasjon, om en har fått innvilget eller avslått ønsket ytelse, eller andre kjennetegn ved veileder enn de faglige. Samvariasjon mellom slike kjennetegn og svar på brukerundersøkelser kan gjøre det vanskelig for veileder å omsette brukervurderingene til forbedring av egen veiledning. Det kan også bli utfordrende å sammenligne veiledere, avdelinger eller kontorer dersom disse betjener brukere med ulike kjennetegn.

For det andre, kan brukervurdering på ansattnivå lede til vridningseffekter. Eksempelvis kan det tenkes at spenningen mellom hjelp og kontroll ikke alltid kan forenes på en god måte: kanskje må veileder utfordre og stille krav til brukeren for å øke vedkommendes sannsynlighet for å komme i arbeid. Om hensynet til gode tilbakemeldinger fra brukere blir for stort, kan det medføre at veileder kvier seg for å utfordre enkelte brukere.

Det tredje problemet relaterte vi til arbeidsmiljø. Dersom et system for brukervurdering på ansattnivå legges opp slik at veiledere skal kunne sammenligne seg mot andre, kan noen ansatte oppleve å få relativt dårlige skår over tid. Ansatte kan også oppleve at egne tilbakemeldinger ikke endres over tid selv om de har endret sine veiledningsrutiner, og kan ikke nødvendigvis vite om det skyldes problemer med begrepsvaliditet eller egen innsats. Dette kan igjen føre til økte påkjenninger og misnøye, økt sykefravær og ønske om å bytte jobb.

Resultatene kan tolkes i lys av at veiledere står i en spenning mellom hjelp og kontroll. Dette er spesielt synlig blant de som er bekymret for vridningseffekter, hvor flere innvender at veilederen kan kvie seg for å ta opp vanskelige tema med brukeren dersom sistnevnte i ettertid skal gi «karakter» til møtet. Det kan rokke ved veileders vektlegging av samfunnsoppdraget og vilje til å utøve kontroll, men noen uttrykker seg også i retning av at det kan påvirke veilederens mulighet til å hjelpe. Slike betraktninger tilsier at veilederne ser brukermøtene som en viktig utviklingsarena, hvor det enkelte ganger er behov for å stille krav til brukerne. Spenningene mellom hjelp og kontroll blir også synlige i ansattes bekymringer for hva resultater fra brukervurderinger faktisk måler, på den måten at veileder ikke alltid har anledning til å komme brukerens ønsker i møte. Bekymringer rundt arbeidsmiljø kan kanskje forstås i lys av at veileder selv må forholde seg til ressursknapphet og er underlagt ulike kontrollmekanismer. Få ansatte er inne på det i sine kommentarer, men det kan også hende at de er bekymret for at brukervurdering på ansattnivå innebærer at de må forholde seg til flere mål- og styringsparametere enn hva de gjør i dag.

Selv om halvparten av medarbeiderne og 70 prosent av lederne er positive til brukervurdering på ansattnivå, viser vår undersøkelse at en betydelig andel ansatte også har innvendinger, eller er direkte negative til, innføringen av et slikt system. Det er riktignok flere interessenter enn ansatte ved NAV-kontorene i slike spørsmål, blant annet brukere, andre enheter i NAV og departementer. Det bør eksempelvis vurderes i hvor stor grad brukerne selv ønsker et slikt system og om nytten er større enn de økonomiske kostnadene. Når vi har valgt å fokusere på ansatte i førstelinjen i denne artikkelen, er det fordi de vil være sentrale mottakere og brukere av resultatene fra denne type brukerundersøkelse.

De ansattes skepsis tilsier at NAV og liknende etater bør nærme seg spørsmålet om brukervurdering på ansattnivå med omhu. Som vi har vært inne på, kan de nevnte utfordringene trolig løses. Eksempelvis må ikke ansattes resultater settes opp mot hverandre selv om det teknisk sett blir mulig. Det er altså flere ulike tilnærminger som kan vurderes, og det vil være en fordel om både ansatte- og brukerrepresentanter deltar i en eventuell utviklingsprosess.

Før brukervurdering på ansattnivå eventuelt innføres, bør det vurderes om det er andre kilder og metoder som kan brukes for å oppnå det samme, altså forbedring av NAVs veiledning og tjenester. Brukere har anledning til å gi direkte tilbakemelding til den ansatte i møter, og brukere kan levere en klage på eksempelvis ansattes oppførsel. Ordinære brukerundersøkelser kan gi både statistikk og skriftlige tilbakemeldinger fra brukere som kan inngå i forbedringsarbeid, selv om de ikke kan knyttes til enkeltansatte. Gjennom brukerutvalg, brukerråd og brukercafé kan NAV få refleksjoner og tilbakemeldinger fra brukerne. Slik informasjon, i kombinasjon med eksempelvis kollegaveiledning blant veilederne og tilbakemeldinger fra ledere, er kanskje tilstrekkelig for utvikling av veiledningen. Svakheten med en del av disse metodene er at de ikke systematisk fanger opp hvordan brukerne opplever møtet med den enkelte ansatte. Slike tilbakemeldinger kan være en viktig kilde til læring og målrettet forbedring av ansattes egen veiledningspraksis.

Referanser

Abbot, Andrew (1988) The Systems of Professions. Chicago: The University of Chicago Press.

Alford, John (2016) ”Co-Production, Interdependence and Publicness: Extending public service-dominant logic”. Public Management Review, 18 (5), 673-691.

Andersen, Lotte Bøgh, Thomas Pallesen og Heidi Houlberg Salomonsen (2013) ”Doing good for others and/or for society? The relationships between public service motivation, user orientation and university grading”. Scandinavian Journal of Public Administration, 17 (3), 23-44.

Ardito, Rita B. og Daniela Rabellino (2011) ”Therapeutic alliance and outcome of psychotherapy: historical excursus, measurements, and prospects for research”. Frontiers in psychology, 2, 270-270.

Boring, Anne, Kellie Ottoboni, Philip Stark og Mine Cetinkaya-Rundel (2016) ”Student Evaluations of Teaching (Mostly) Do Not Measure Teaching Effectiveness”. ScienceOpen Research.

Carlsen, Benedicte og Ole Frithjof Norheim (2003) ”Introduction of the patient-list system in general practice Changes in Norwegian physicians’ perception of their gatekeeper role”. Scandinavian Journal of Primary Health Care, 21 (4), 209-213.

Dechsling, Anders, Stefan Sütterlin, Ricardo G. Lugo og Lars Rune Halvorsen (2021) ”A critical view of The National Student Survey as a quality indicator in Norwegian higher education”. Nordisk tidsskrift for pedagogikk og kritikk, 7, 362-375.

Ewing, Andrew M. (2012) ”Estimating the impact of relative expected grade on student evaluations of teachers”. Economics of Education Review, 31 (1), 141-154.

Fossestøl, Knut, Elin Borg og Erik Breit (2020) Nav i en ny tid? En evaluering av hvordan retningsvalgene i Stortingsmelding 33 implementeres på Nav-kontorene. Oslo: AFI.

Goodin, Robert E. (1989) ”Welfare, Rights and Discretion”. Oxford Journal of Legal Studies, 6 (2), 232-261.

Grand, Julian Le (2010) ”Knights and Knaves Return: Public Service Motivation and the Delivery of Public Services”. International Public Management Journal, 13 (1), 56-71.

Grimen, Harald (2008) "Profesjon og profesjonsmoral". I Anders Molander og Lars Inge Terum (red.) Profesjonsstudier (s. 144-160). Oslo: Universitetsforlaget.

Hansen, Hans-Tore, Kjetil G Lundberg og Johanne Syltevik (2012) ”Stiller en ny tids samfunnsforskere overfor nye metodiske utfordringer? Forskning om brukererfaring med Nav som case”. Sosiologisk tidsskrift, 20 (3), 203-224.

Haugum, Mona, Kirsten Danielsen, Hilde Hestad Iversen og Oyvind Bjertnaes (2014) ”The use of data from national and other large-scale user experience surveys in local quality work: a systematic review”. International Journal for Quality in Health Care, 26 (6), 592-605.

IFSW (2017) Global Definition of Social Work. Tilgjengelig fra: http://ifsw.org/get-involved/global-definition-of-social-work/ (Hentet: 5. okt. 2017).

Jensen, Ulrich Thy og Lotte Bøgh Andersen (2015) ”Public service motivation, user orientation, and prescription behaviour: doing good for society or for the individual user?”. Public Administration, 93 (3), 753-768.

Jordan, Bill og Nigel Parton (2004) "Social Work, the Public Sphere and Civil Society". I Robin Lovelock, Karen Lyons og Jackie Powell (red.) Reflecting on social work - discipline and profession (s. 20-36). Aldershot: Ashgate.

Kahneman, Daniel og Amos Tversky (1974) ”Judgment under Uncertainty: Heuristics and Biases”. Science, 185 (4157), 1124-1131.

Kirkebøen, Geir (2013) "Kan vi stole på fagfolks skjønn?". I Anders Molander og Jens-Christian Smeby (red.) Profesjonsstudier II (s. 27-43). Oslo: Universitetsforlaget.

Kjørstad, Monica (2019) "Sosialt arbeid møter sosialpolitikk: Utfordringer og dilemmaer". I Hilde Aamodt, Espen Dahl, Erika Gubrium mfl. (red.) Sosialt arbeid og sosialpolitikk i samhandling: et svar på velferdsstatens utfordringer? (s. 56-77). Oslo: Fagbokforlaget.

Kreitzer, Rebecca J. og Jennie Sweet-Cushman (2022) ”Evaluating Student Evaluations of Teaching: a Review of Measurement and Equity Bias in SETs and Recommendations for Ethical Reform”. Journal of Academic Ethics (20), 73-84.

Kvist, Tarja, Ari Voutilainen, Raija Mäntynen og Katri Vehviläinen-Julkunen (2014) ”The relationship between patients’ perceptions of care quality and three factors: nursing staff job satisfaction, organizational characteristics and patient age”. Bmc Health Services Research, 14 (1), 466.

Lipsky, Michael (2010) Street level bureaucracy: dilemmas of the individual in public services. New York: Russell Sage Foundation.

Marthinsen, Edgar og Nina Skjefstad (2011) ”Recognition as a virtue in social work practice”. European Journal of Social Work, 14 (2), 195-212.

Mehmetoglu, Mehmet og Tor Georg Jakobsen (2017) Applied Statistics in Stata. London: Sage.

Molander, Anders, Harald Grimen og Erik Oddvar Eriksen (2012) ”Professional Discretion and Accountability in the Welfare State”. Journal of Applied Philosophy, 29 (3), 214-230.

Molander, Anders og Lars Inge Terum (2008) "Profesjonsstudier – en introduksjon". I Anders Molander og Lars Inge Terum (red.) Profesjonsstudier (s. 13-27). Oslo: Universitetsforlaget.

NAPHA (2021) Tilbakemeldingsverktøy. Tilgjengelig fra: https://www.napha.no/fit (Hentet: 18. mai 2021).

Nasr, Linda, Jamie Burton og Thorsten Gruber (2015) ”When good news is bad news: the negative impact of positive customer feedback on front-line employee well-being”. Journal of Services Marketing, 29 (6/7), 599-612.

NAV-loven. (2006). Lov om arbeids- og velferdsforvaltningen (LOV-2006-06-16-20). Lovdata. https://lovdata.no/dokument/NL/lov/2006-06-16-20

NAV (2019a) NAVs personbrukerundersøkelse 2019: resultater og påvirkningsfaktorer (Rapport-serie 4/2019). Arbeids- og velferdsdirektoratet.

NAV (2019b) NAVs virksomhetsstrategi. Oslo: Arbeids- og velferdsdirektoratet.

NAV (2021a) FoU-plan for NAV. Oslo: Arbeids- og velferdsdirektoratet.

NAV (2021b) NAVs Personbrukerundersøkelse 2021: økt brukertilfredshet og tillit etter et år med pandemi (Rapport-serie 3/2021). Arbeids- og velferdsdirektoratet.

Nyberg, Tor Erik, Stine Renate Otterbekk, Sverre Friis-Petersen og Anders Thorgersen (2020) ”Lokale variasjoner i brukertilfredshet: Er årsaken trekk ved NAV-kontorene eller kjennetegn ved brukerne?”. Arbeid og velferd (1), 23-38.

Osborne, Stephen P. og Kirsty Strokosch (2013) ”It takes Two to Tango? Understanding the Co-production of Public Services by Integrating the Services Management and Public Administration Perspectives”. British Journal of Management, 24, S31-S47.

Roaldsnes, Andreas (2018) ”Mål- og resultatstyring i NAV – kan det bidra til å få flere personer med nedsatt arbeidsevne i arbeid?”. Arbeid og velferd (1), 57-80.

Rolland, Asle (2005) ”Brukertilfredshetsundersøkelser som offentlig styringsverktøy”. Statistisk Sentralbyrå.

Røhnebæk, Maria Taivalsaari og Eric Breit (2021) ”‘Damned if you do and damned if you don’t’: a framework for examining double binds in public service organizations”. Public Management Review, 1-23.

Salge, Torsten Oliver, Antonio Vera og Lawrence Ashelford (2012) ”Benefiting from Public Sector Innovation: The Moderating Role of Customer and Learning Orientation”. Public Administration Review, 72 (4), 550-561.

Sanden Sannes, Tonje Agnethe og Øystein Spjelkavik (2014) "Jobbspesialisten som balansekunstner mellom makt og hjelp". I Kjetil Frøyland og Øystein Spjelkavik (red.) Inkluderingskompetanse: ordinært arbeid som mål og middel (s. 124-140). Oslo: Gyldendal Akademisk.

Skog, Ole-Jørgen (2004) Å forklare sosiale fenomener: en regresjonsbasert tilnærming (2. utg.). Oslo: Gyldendal Akademisk.

Skriver, Martin og Lene Gundersen Meier (2020) ”Kritik af Feedback Informed Treatment”. Fokus på familien, 48 (1), 6-21.

Slåtten, Terje, Göran Svensson og Sander Sværi (2011) ”Service quality and turnover intentions as perceived by employees”. Personnel Review, 40 (2), 205-221.

Svensson, Lennart G. (2008) "Profesjon og organisasjon". I Anders Molander og Lars Inge Terum (red.) Profesjonsstudier (s. 130-143). Oslo: Universitetsforlaget.

Williams, Richard (2012) ”Using the margins command to estimate and interpret adjusted predictions and marginal effects”. Stata Journal, 12 (2), 308-331.