Chatboten Frida og utvikling i kanalbruk hos Nav
Sammendrag
Nav Kontaktsenter (NKS) innførte chatboten Frida på nav.no for å redusere henvendelser på telefon og frigjøre tid til å veilede brukere. Høsten 2020 ble chatboten Frida synlig på nav.no som et chatbot-ikon. Etter nesten to år ble chatbot-ikonet skjult. Jeg undersøker om henvendelser i betjente kanaler hos NKS økte da chatbot-ikonet ble skjult.
Antall henvendelser til NKS har gått jevnt nedover siden 2019. Unntaket er de første månedene regjeringen innførte tiltak mot koronapandemien. Tiltakene førte blant annet til massepermitteringen og dermed en brå økning i antallet som trengte informasjon fra Nav.
Hvor synlig Chatboten Frida er ser ikke ut til å påvirke antallet henvendelser til NKS. Dette henger sannsynligvis sammen med at mange som kontakter NKS ønsker svar om sin sak, og slike spørsmål kan ikke chatboten svare på. Jeg finner imidlertid en sammenheng i bruk av chatboten og søkemotoren på nav.no. Resultatene tyder på at chatboten og søkemotoren brukes til samme type formål.
Den sannsynlige forklaringen på færre henvendelser til NKS over tid er økt selvbetjening på nav.no og forbedringer hos NKS. Utvikling av nye søknader, saksbehandlingssystemer, varsel på SMS og bedre informasjon på nav.no kan ha bidratt til at innbyggere kan være mer selvbetjente enn tidligere. Her kan også chatboten og en forbedret søkemotor på nav.no ha bidratt til nedgangen. Videre har NKS tatt i bruk nye arbeidsmetoder, samtaleteknikk og ny teknologi.
Selv om antall henvendelser til NKS har gått ned over tid har samtaletiden økt. Det kan bety at henvendelsene de nå mottar er mer komplekse enn tidligere. At flere er selvbetjente, samtidig som NKS bruker mer tid på dem som tar kontakt, kan tyde på at kanalbruken går i ønsket retning.
Summary
The Norwegian Labour and Welfare Administration’s Call Centre (Nav NKS) introduced the chatbot Frida on the website nav.no to reduce phone calls, and free up more time so that counsellors can provide citizens with guidance. In the autumn of 2020, the chatbot was added to nav.no as a chatbot-icon. Almost 2 years later the icon was hidden. In this article I investigate whether inquiries to Nav’s call centre NKS increased when the chatbot-icon was hidden.
The number of inquiries to NKS has decreased since 2019. The notable exception was during the first months of the Covid pandemic when the Norwegian government introduced several restrictive measures to combat the pandemic. These measures caused amongst other things mass temporary layoffs and therefore a large increase in inquiries from citizens in need of information from Nav.
The visibility of chatbot Frida does not appear to affect the number of inquiries to NKS. This is probably caused by the fact that most citizens need answers about their case with Nav, and the chatbot is unable to answer those questions. I do however find a relationship between use of the chatbot and the website search engine, which suggests that they are used for similar purposes.
The likely explanation for fewer inquiries to NKS appears to be increased self-sufficiency among citizens using nav.no, and improvements at NKS. Newly developed online application forms, case processing systems, notifications by text message and improved content on nav.no may have contributed to citizens becoming more self-sufficient. Furthermore, NKS has adopted new ways of working, conversational techniques and new technology.
Although inquiries to NKS have decreased over time, the average call duration has increased. This could mean that the inquiries are more complicated than previously. Increased self-sufficiency among citizens, combined with NKS spending more time on the citizens making inquiries might suggest that the multi-channel use is moving in the right direction for Nav.
Innledning
Når innbyggere skal ta i bruk sine rettigheter hos Nav kan de finne frem via nettsidene på nav.no, henvende seg til Nav Kontaktsenter (NKS) eller besøke sitt Nav-kontor. Rollen til NKS er å gi innbyggere råd og veiledning i sin sak hos Nav, og gi de informasjon om hva Nav kan bistå med i deres situasjon. I Navs personbrukerundersøkelse for 2022 svarte 30 prosent at de hadde ringt NKS, og litt under 80 prosent at de hadde funnet informasjon på nav.no (Nyberg et al., 2022). Det betyr at mange innbyggere ringer NKS i tillegg til å bruke nav.no.
NKS innførte chatboten Frida i 2018. Formålet var å redusere henvendelser på telefon og videreformidle de som trenger kontakt til NKS (Nav, 2019a, 2019b). Målet var å frigjøre kapasitet i NKS, slik at de kunne bruke mer tid på å veilede de med størst behov. Chatboten skulle også forbedre tilbudet til prioriterte brukergrupper med lav digital kompetanse (Nav, 2019b). Man så blant annet for seg at den kunne forklare brukerne hvordan ta i bruk øvrige digitale tjenester i Nav. Chatboten Frida skulle være en test på om Nav kan begynne å gi automatisk veiledning til brukere ved hjelp av teknologien kunstig intelligens (Nav, 2019b).
Prosjektet med chatboten ble startet da Avbyråkratiserings- og effektiviseringsreformen (ABE-reformen) var innført. Ifølge målbildet for NKS 2018-2025 skulle kontaktsenteret bidra til å redusere antall henvendelser, blant annet ved å digitalisere og automatisere. Det ble pekt på at nedbemanning kunne være en gevinst av å flytte henvendelser på denne måten. (Nav, 2019a). Forutsetningen for færre henvendelser til NKS, samtidig som like mange får svar på det de lurer på, blir da at de selvbetjente digitale kanalene kan svare på det innbyggerne lurer på.
Problemstilling
Betjente kanaler inkluderer kanaler der en veileder hos NKS besvarer innbyggerne på telefon, den skriftlige meldingstjenesten «Skriv til oss» og chat med veileder. Premisset for at chatboten Frida skal fungere som ønsket for NKS er at den kan besvare spørsmål for innbyggere slik at færre tar kontakt i de betjente kanalene.
Den overordnede problemstillingen for denne analysen er om antall henvendelser i betjente kanaler hos NKS endret seg med synligheten av chatboten Frida.
På grunn av likhetene mellom chatboten og søkemotoren på nav.no utforsker jeg også om det er en sammenheng mellom bruksmønster for de to selvbetjente kanalene.
Om kanalene hos NKS
Tabell 1 beskriver kommunikasjonskanalene hos NKS, hva innbyggere kan få svar på i kanalene, svartid, åpningstid og om innbyggere kan få svar om sin sak.
Kanal |
Gir svar på |
Svartid (gjennomsnitt) |
Svarer om brukerens sak |
Åpningstider |
---|---|---|---|---|
Telefon |
Status i brukers sak, inkludert veiledning om rettigheter og plikter. |
7 minutter |
Ja |
Hverdager 9-15 |
Chat |
Generelle spørsmål hvis bruker er anonym. Veiledning i brukers sak hvis bruker er innlogget. |
4 minutter |
Ja |
Hverdager 9-15 |
Skriv til oss |
Spørsmål i brukers sak. Lar bruker sende opplysninger om sin sak. |
1.5 arbeidsdager |
Ja |
Døgnåpen for innbyggerne, men svar fra veileder kommer i arbeidstiden |
Chatbot |
Generelle spørsmål om tjenester fra Nav. |
Ingen ventetid |
Nei |
Døgnåpen |
Kilde: Nav
Det er egne telefonnumre for privatpersoner og arbeidsgivere som kontakter Nav. Innringere får tastevalg basert på tema for henvendelsen. Innbyggere kan ringe anonymt hvis de ønsker generell veiledning, men må oppgi fødselsnummer om de ønsker svar om sin sak. Veiledere kan sende innbyggere tekstmeldinger med informasjon om Nav og lenker til relevant informasjon på nav.no. I tillegg kan NKS ringe tilbake til innbyggere som et alternativ til å vente i kø på telefon.
Innbyggere kan også chatte med en veileder på nav.no. Her kan innbyggere chatte anonymt for generell veiledning eller logge inn hvis de ønsker svar om sin sak. Inngangen til chat med veileder går via chatboten Frida siden lanseringen i 2018. Innbyggere kan selv ta initiativ til å chatte med veileder eller få tilbud om det fra chatboten. Både telefon og chat med veileder er kun tilgjengelige i åpningstidene til NKS.
«Skriv til oss»-kanalen kan brukes til å stille spørsmål og ettersende opplysninger om egen sak. Kanalen er døgnåpen for bruker, men spørsmål besvares i arbeidstiden. Innbyggere velger hvilke tema og ytelse henvendelser gjelder, slik at spørsmålene rutes til NKS-ansatte med ekspertise på hvert område. Mål- og disponeringsbrevet til NKS åpner for å erstatte kanalen «Skriv til oss» med kanalen «chat med veileder» i åpningstiden slik at de fleste henvendelsene kan besvares raskere (Nav, 2021b). I tillegg til å bruke kommunikasjonsteknologier øver også veiledere hos NKS på å bruke samtaleteknikker som empatisk kommunikasjon på telefon, og i skriftlige kanaler. Det innebærer å møte brukerne ved å anerkjenne deres situasjon, vise empati eller enighet i dialog.
Chatboten Frida svarer på generelle spørsmål om Nav, og kan gi innbyggere lenker til sider på nav.no hvor de finner mer informasjon om ulike tema.
I 2018 ble chatboten tilgjengelig for alle innbyggere via en lenke på «kontakt oss»-siden på nav.no. Det vil si at innbyggerne som tok i bruk chatboten i begynnelsen av pandemien (i mars 2020) kun fant den på «kontakt oss-siden». Senere, i slutten av september 2020, ble chatboten vist på hele nav.no som et chatbot-ikon, på bunnen av nettsidene. Formålet med å synliggjøre chatboten var å håndtere økningen i henvendelser til NKS.
Chatbot-ikonet var synlig på nav.no i nesten 2 år før det ble skjult i slutten av juni 2022. Man skjulte ikonet grunnet redusert pågang hos NKS. I tillegg måtte mangler knyttet til universell utforming utbedres.
Siden 28. juni 2022 har chatboten Frida fortsatt vært tilgjengelig via lenker på enkelte sider på nav.no, inkludert «kontakt oss»-siden, og forsiden. På disse utvalgte sidene får innbyggere også informasjon om de betjente kanalene hos NKS (se tabell 1 for en oversikt).
Søkemotoren på nav.no
Mange innbyggere leter etter informasjon på nav.no i tillegg til å kontakte NKS. Chatboten skal svare på ofte stilte spørsmål til NKS. Det samme skal nettstedet til Nav, nav.no, gjøre. Nav.no har en søkemotor som også skal gi treff etter det flest lurer på. Både chatboten og søkemotoren er tilgjengelige på nav.no, og lar innbyggere søke i store mengder informasjon for å finne svar på sine spørsmål. Begge har fritekstfelt for søk, som kan medføre at de brukes på en lignende måte, eller til lignende formål, eller begge deler. Både chatboten og søkemotoren kan bare gi generelle svar og ikke si noe om den enkelte innbyggers sak. Det er derfor også interessant å utforske om det er likheter i bruksmønster for chatboten og søkemotoren, og om det er en sammenheng mellom bruk av kanalene.
Søkemotoren på nav.no er tilgjengelig på alle sider via en navigasjonsmeny på toppen av siden. Det ble lansert en ny søkemotor på nav.no i 2024, men ellers har det vært mindre endringer i søkemotoren fra 2019 til og med 2024. Søkemotoren gir treff på undersider av nav.no basert på søkeordene og rangering av innholdets likhet med søkeordene. Til sammenligning prøver chatboten å utforme et svar basert på innholdet den er opplært i, som er en kombinasjon av innhold på nav.no og kunnskapsbasen til NKS.
I sine intervjuer med innbyggere som bruker chatbot fant Luger og Sellen (2016) at enkelte sammenlignet chatboter med søkemotorer. Brandtzæg og Følstad (2017) fant også at de som bruker chatboter sammenligninger funksjonaliteten med søkemotorer.
Forskning om chatbot og kanalvalg
Det er lite forskning på chatbot og måloppnåelse. Enkelte studier dreier seg om mulige bruksområder for chatbot i Nav (Vassilakopoulou et al., 2022; Lanestedt et al., 2023). Andre studier vurderer hvor egnet chatbot er til å løse henvendelser for innbyggere ved å tolke chatbot-logger (Simonsen et al., 2020; Verne et al., 2022; Følstad og Bjerkreim-Hanssen, 2023). Denne forskningen svarer delvis på om chatboter kan erstatte kommunikasjonskanaler betjent av mennesker. Derfor er det nødvendig å skaffe mer forskning om evaluering av chatbot, særlig hvilke sammenhenger som finnes mellom bruk av chatbot og betjente kanaler.
I Navs kanalstrategi er det et mål at innbyggere skal ta kontakt i den kanalen de foretrekker og at de aller fleste skal være selvbetjente (Nav, 2021a; 2022): «Vi skal gjøre nav.no tilgjengelig for alle, og samtidig ha gode alternativ for de brukerne som ikke kan eller ønsker å være digitale» (Nav, 2021a). Kanalstrategien bygger på anbefalingene fra ekspertgruppen til Vågeng-utvalget (Vågeng et al., 2014), og er videreført i Navs virksomhetsstrategi frem til 2030 (Nav, 2022). Blant anbefalingene fra Vågeng-utvalget ble det foreslått at kontaktsenteret skulle overta veiledningsoppgaver fra Nav-kontorene, at økt digital selvbetjening på Navs nettsider ville øke kvalitet på tjenestene, redusere kostnader, og øke tilgjengeligheten på Nav-kontor for brukere med sammensatte behov (Vågeng et al., 2014). En forutsetning for å frigjøre ressurser til de med størst behov er at Nav realiserer gode selvbetjeningsløsninger på nett. Derfor er det relevant å vite i hvilken grad innbyggere bruker noen kanaler mer enn andre, og om de får svar på sine spørsmål i hver kanal.
Forskning om kanalvalg forteller oss at innbyggere blant annet velger kommunikasjonskanal basert på tidligere erfaringer (Madsen & Kræmmergaard, 2015) og livssituasjoner (Hofmann et al., 2024). Sjansene for at chatboten Frida fungerer som ønsket påvirkes derfor både av funksjonaliteten den har, innbyggernes situasjon og erfaringer med andre kanaler hos Nav og av andre aktører enn Nav, inkludert andre chatboter.
Chatboten Frida er en selvbetjent digital tjeneste. I kontrast til tjenester som bemannes, innebærer selvbetjente digitale tjenester en overføring av ansvar fra myndighetene til innbyggerne. Innbyggerne får i oppgave å tilpasse seg digitalisering, orientere seg og forstå sine rettigheter (Breit & Salomon, 2015; Fugletveit & Lofthus, 2021). Når offentlig sektor, inkludert Nav, digitaliserer så kan det føre til utenforskap blant brukere med manglende digital kompetanse. Dette pålegger både samfunnet og enkeltindividet kostnader (Løberg, 2022). Organisasjoner som Nav har mye brukerkontakt og utfordres derfor av problemstillinger om digitalt utenforskap. Det er utvilsomt behov for kunnskap om konsekvensene av digitalisering på dette området.
Offentlig sektor opplever økt press for å digitalisere, og når de skal prioritere oppstår et ressursfordelingsdilemma mellom å investere i digitale tjenester for selvbetjening eller å bemanne tradisjonell oppfølging (Løberg, 2022). Dette gjelder hele offentlig sektor, som har mål om økt selvbetjening (St. meld. 27 (2015-2016)). Formålet med chatboten Frida er å redusere henvendelser på telefon og videreformidle de som trenger kontakt til NKS. Den skal frigjøre kapasitet i NKS, slik at de kan bruke mer tid på brukerne med størst behov. For å kunne oppnå dette må chatboten Frida kunne svare på de spørsmålene innbyggerne lurer på.
Data og metode
For å måle endringer i kanalbruk hos NKS bruker jeg statistikk for henvendelser på telefon, chatbot, «chat med veileder» og «Skriv til oss», heretter referert til som kanalstatistikken. Kanalstatistikken inneholder daglig antall henvendelser i hver kanal, inkludert gjennomsnittlig samtaletid og svartid. For å sammenligne andelen som får svar på sine spørsmål bruker jeg tall fra en spørreundersøkelse NKS sender ut til innbyggere etter en henvendelse, hvor de blant annet spør om bruker fikk svar på det de lurte på. Jeg bruker også statistikk for nettstedet nav.no, inkludert søkemotoren. Jeg bruker månedstall for 2019-2025, men i enkelte figurer og tabeller viser jeg årstall.
Tidsperioden 2019-2025 ble valgt for å forstå sammenhenger i kanalbruken før, i løpet av og etter koronapandemien. Det finnes kanalstatistikk for årene før 2019, men de var ikke tilgjengelige da denne analysen ble gjennomført.
Metode
I den første delen av analysen utforsker jeg månedlig utvikling i kanalstatistikken for 2019-2025. Dette for å identifisere sesongmønster og avvik, inkludert fordeling av henvendelser, gjennomsnittlig svartid og svarandel i hver kanal per år. Dette gir oversikt over trendene før, i løpet av og etter koronapandemien. Det gir også innblikk i bruksmønsteret for hver kanal.
For å avdekke årsakssammenhenger er det ofte best med et randomisert eksperiment, eller å bruke såkalt kvasieksperimentelle metoder, som ligner på eksperimenter. Jeg bruker en lineær regresjonsmodell for å estimere om det ble flere henvendelser i betjente kanaler hos NKS da chatbot-ikonet ble skjult i juni 2022. Jeg bruker en kvasieksperimentell metode kalt avbrutt tidsserieanalyse og estimerer endring i trend for hver kanal som en tidsserie, inkludert nivåendring og sannsynlighet for at nivåendringen er signifikant. Gustafsson (mfl. 2024) brukte metoden for å måle effektene av helsereformer i den svenske befolkningen.
Avbrutt tidsserieanalyse er egnet for å måle om det er store nivåendringer i en tidsserie rett etter en hendelse, både i tilfeller med og uten en kontrollgruppe. Dette gjennomføres ved å estimere trend før og etter hendelsen, og regne om nivåendringen ligger utenfor forventet trend, i form av konfidensintervall. Metoden tas som regel i bruk når det ikke er praktisk mulig eller etisk riktig å randomisere. Metoden er ikke like godt egnet for å finne årsakssammenhenger som et randomisert eksperiment, men metoden kan brukes til å finne plausible forklaringer om sammenhenger. For å øke sikkerhet om sammenhengene er det viktig å ha nok data for lengre tidsperioder og kontrollgrupper (Mathiesen & Skovlund, 2023; Turner et al., 2021). I denne analysen er det ikke en kontrollgruppe. Det gjør at vi ikke kan sammenligne de som bruker chatboten med de som ikke gjør det. Nivåendringene er totalen for alle som brukte kanalene Jeg bruker 6 år med data som gir god mulighet til å forstå om endringene i kanalbruk er mindre eller større varige endringer.
Regresjonsanalysene
Den første regresjonsanalysen dekker tidsperioden chatbot-ikonet var synlig, fra oktober 2020 og etter chatbot-ikonet ble skjult i juni 2022, frem til 2025. Det gjør det mulig å estimere effekt av å skjule chatboten både på antall månedlige henvendelser og nivåendring i hver kanal.
Jeg tar utgangspunkt i at pandemien varte fra mars 2020[1] De første tiltakene mot koronaviruset ble innført 12 mars 2020 ifølge tidslinjen på regjeringen.no til og med februar 2022[2] Smitteverntiltakene ble opphevet fra lørdag 12 februar 2022 ifølge tidslinjen på regjeringen.no, da regjeringen innførte og fjernet de største pandemitiltakene. Derfor gjentar jeg regresjonsanalysen også for perioden oktober 2020 til og med juni 2022, for å kontrollere for om oppheving av pandemitiltakene påvirket kanalbruk før chatbot-ikonet ble skjult.
Datasettet inneholder 51 måneder med data for regresjonsanalysen da chatbot-ikonet ble skjult, og 21 måneder for regresjonsanalysen da pandemitiltakene ble opphevet. Dette er tilstrekkelig for å estimere om bevegelsene i kanalstatistikken er signifikante for begge hendelsene.
Jeg har kontrollert at det ikke var andre store lanseringer på nav.no februar 2022 og juni 2022 som kan ha påvirket henvendelser til NKS.
Jeg lager en egen regresjonsmodell for hver kanal, og sammenligner trend i tidsserien før og etter de to hendelsene. Dersom det både er en nivåendring og en endring i trend i en tidsserie etter hendelsene, kan det bety at hendelsene påvirket henvendelser til NKS. Ved å sammenligne resultatene for hver tidsserie blir det også mulig å avdekke om hendelsene førte til skifte i kanalbruk.
Jeg gjennomfører regresjonsanalysen for hver kanal i tidsperiodene for begge hendelsene. Dersom det er en sammenheng mellom antall henvendelser i enkelte kanaler og hendelsene så vil analysen avdekke dette. Det er totalt 5 kanaler og 2 hendelser. For de 2 hendelsene har jeg derfor gjennomført 10 regresjoner.
Jeg estimerer følgende regresjonsmodell for å måle bevegelser i kanalene:
Her er Y antall månedlige henvendelser per kanal i, for tidsperiode t. T representerer måneder i tidsperioden fra 1 til N, der perioden før avbrytelsen er 1 til n1, og perioden etterpå er n1 + 1 til n2. Avbrytelsen hender i måneden TX. D er en indikator for perioden før og etter hendelsene, kodet som 0 før avbrytelsen og 1 etterpå. Hendelsene er da chatbot-ikonet ble skjult og pandemitiltakene ble opphevet. P representerer tidsperioden etter hendelsen. Parameterne b0 representerer skjæringspunktet for henvendelser i kanalen, b1 månedlig trend før avbrytelsen, b2 nivåendring ved avbrytelsen, og b3 endring i trend. Til slutt representerer e restleddet for kanalen, det vil si avvik fra modellen.
Denne regresjonsmodellen gjør det mulig å sammenligne månedlig trend i hver kanal før og etter hendelsene, og måle størrelsen og signifikans for nivåendringen. I tillegg måler jeg justert R2 for å sammenligne om regresjonsmodellene for skjult chatbot-ikon beskriver en større andel av variasjon i kanalstatistikken enn da pandemitiltakene ble opphevet. Nivåendringen regnes som signifikant dersom p-verdien er mindre enn α på 0.05 eller 0.01. Dette vil også synes i figurene ved at nivået med henvendelser i en kanal ligger over eller under trenden før hendelsen, altså utenfor konfidensintervallet.
Resultater
Sesongmønster blant henvendelser til NKS
Det er et tydelig sesongmønster i antall henvendelser til NKS (figur 1). Hvert år er det flere henvendelser i første halvår enn andre halvår. Sesongmønsteret gjør det enklere å identifisere avvik fra trend og gjennomføre avbrutt tidsserieanalyse.
Det største avviket fra sesongmønsteret er i mars 2020. Antall henvendelser steg markant etter 12. mars da regjeringen innførte de første store pandemitiltakene. Massepermitteringer er en av hovedårsakene til den økte pågangen hos NKS.
Figur 1. Betjente henvendelser til NKS per måned. Sum av anrop på telefon, «Skriv til oss» og «chat med veileder».
Kilde: NKS
Færre henvendelser til NKS etter 2020
Etter 2020 har det blitt færre henvendelser til NKS per år (tabell 2). Antall henvendelser fortsatte å synke i omtrent samme omfang fra og med 2022 til og med 2024. Det vil si at det ble færre henvendelser hvert år, også etter at chatbot-ikonet ble skjult.
År |
Henvendelser |
Endring per år |
Pandemitiltak |
---|---|---|---|
2019 |
5.2 millioner |
- |
Nei |
2020 |
5.3 millioner |
2.7% |
Ja |
2021 |
4.6 millioner |
-12.9% |
Ja |
2022 |
4.4 millioner |
-4.6% |
Nei |
2023 |
4.2 millioner |
-5.2% |
Nei |
2024 |
4 millioner |
-3.6% |
Nei |
Kilde: NKS
Svarandel og ventetid i kanalene
Andelen som får svar på sine spørsmål til NKS kalles svarandel. De fleste som tar kontakt med NKS på telefon og «chat med veileder» oppgir at de får svar på sine spørsmål (tabell 3). Svarandelen er litt lavere for den skriftlige kanalen skriv til oss, og enda lavere for chatboten.
År |
Svarandel |
Svartid |
||||||
---|---|---|---|---|---|---|---|---|
Tlf |
Chat med veileder |
Skriv til oss |
Chatbot |
Tlf |
Chat med veileder |
Skriv til oss |
Chatbot |
|
2019 |
- |
- |
- |
- |
3 minutter |
47 sekunder |
1.7 arbeidsdager |
Ingen ventetid |
2020 |
- |
- |
- |
- |
8 minutter |
1.5 minutter |
2.3 arbeidsdager |
|
2021 |
89% |
83% |
75% |
32% |
7 minutter |
2 minutter |
1.8 arbeidsdager |
|
2022 |
89% |
84% |
66% |
34% |
9 minutter |
3 minutter |
1.8 arbeidsdager |
|
2023 |
90% |
85% |
- |
38% |
6 minutter |
2.7 minutter |
1.4 arbeidsdager |
|
2024 |
- |
- |
- |
- |
7 minutter |
4.5 minutter |
1.5 arbeidsdager |
Kilde: NKS
* Merk at tallene for kanalene i 2023 er ufullstendige. Det var veldig få svar om «Skriv til oss» i 2022.
Vi ser at kanalene med høyest svarandel var betjente kanaler: telefon og «chat med veileder». Disse kanalene hadde også kortest svartid. Til sammenligning var det både lavere svarandel og lenger svartid i kanalen «Skriv til oss». Det kan hende at færre opplever å få svar på sine spørsmål i denne kanalen fordi en må vente flere arbeidsdager på svar. En annen forklaring er at innbyggere bruker «Skriv til oss» til flere formål, både til å stille spørsmål og sende opplysninger om sin sak. Det var blant annet grunnet til at NKS juni 2023 endret kanalen til to skriftlige tjenester: «send beskjed» og «send spørsmål». I denne analysen bruker jeg totalen for begge tjenestene, kalt «Skriv til oss».
Chatboten har lavest svarandel blant alle kanalene hos NKS, og den er selvbetjent. Dersom innbyggere bruker chatboten til samme formål som betjente kanaler, tyder det på at den ikke svarer like godt som veiledere. Den enkleste forklaringen er at chatboten ikke kan besvare spørsmål om innbyggerens sak. Det begrenser dens potensiale til å løse henvendelser for innbyggere og til å ta ned henvendelser fra de betjente kanalene telefon og «Skriv til oss». Det er også sannsynlig at samtaleteknikken til veiledere hos NKS forklarer høyere svarandel i betjente kanaler enn de selvbetjente.
Flest henvendelser på telefon, «Skriv til oss» og chatbot
Gitt målene for chatboten og utvalget av kanaler innbyggere kan velge mellom er det relevant å forstå fordelingen av henvendelser per kanal. De aller fleste henvendelsene til NKS er på telefon (tabell 4). «Skriv til oss» og chatbot har cirka like mange henvendelser per år etter 2019. Det er langt færre som bruker «chat med veileder» sammenlignet med de andre betjente kanalene.
Siden det er høy svarandel og kort svartid på telefon og «chat med veileder» (tabell 3), er det uventet at så få bruker «chat med veileder» sammenlignet med å ringe. Begge er tilgjengelige i løpet av åpningstiden til NKS. For å ta i bruk «chat med veileder» må innbyggere først bruke chatboten. Det er mulig at innbyggere ikke kjenner tilbudet om «chat med veileder» og derfor ikke bruker det i like stor grad som å ringe. Det er også mulig at inngangen via chatboten og nav.no ikke informerer godt nok om tilbudet.
Her er det også viktig å ha med seg at brukerne kan henvende seg til sin veileder via kanaler som ikke er med i denne analysen. Det gjelder dialog med veileder, digital oppfølgingsplan ved sykefravær og aktivitetsplanen på nav.no. En annen mulig forklaring kan være at innbyggere velger å ringe basert på sine tidligere erfaringer med å kontakte Nav og andre organisasjoner i ulike kanaler.
År |
Telefon |
Skriv til oss |
Chatbot |
Chat med veileder |
---|---|---|---|---|
2019 |
4 500 000 |
550 000 |
120 000 |
68 000 |
2020 |
3 900 000 |
1 100 000 |
881 000 |
247 000 |
2021 |
3 400 000 |
950 000 |
1 000 000 |
233 000 |
2022 |
3 300 000 |
857 000 |
824 000 |
198 000 |
2023 |
3 200 000 |
780 000 |
557 000 |
184 000 |
2024 |
3 100 000 |
697 000 |
617 000 |
208 000 |
Kilde: NKS
I 2021 brukte 3.5% av besøkende chatboten på nav.no. Da var chatbot-ikonet synlig for alle besøkende, særlig for flertallet som besøker nav.no via telefon. Det er uventet at ikke flere tok i bruk chatboten i løpet av pandemien fordi chatboten da var godt synlig på nav.no og mange innbyggere mottok hjelp fra Nav i denne perioden. Vi ser imidlertid at chatboten ble brukt mye mer i perioden chatbot-ikonet var synlig enn i perioden det ikke var det.
Økt samtaletid på telefon og «chat med veileder»
I løpet av pandemien økte samtaletiden på telefon med 2 minutter, og behandlingstid på «chat med veileder» økte mellom 1 til 2 minutter (tabell 5). Begge målingene representerer gjennomsnittlig samtaletid. Det er en særlig stor økning i telefontid, og kan være et tegn på at NKS over tid har fått flere komplekse spørsmål og henvendelser. Siden NKS samtidig har fått færre henvendelser, kan det være et tegn på at flere brukere nå løser problemene sine gjennom selvbetjente kanaler.
År |
Samtaletid på telefon |
Behandlingstid chat med veileder |
---|---|---|
2019 |
5 minutter |
12 minutter |
2020 |
6 minutter |
14 minutter |
2021 |
7 minutter |
13 minutter |
2022 |
7 minutter |
13 minutter |
2023 |
7 minutter |
14 minutter |
2024 |
7 minutter |
13 minutter |
Kilde: NKS
Sammenhenger mellom bruk av chatbot og søkemotor
Da pandemitiltakene ble innført steg bruken av både chatboten og søkemotoren i mars 2020 (figur 2). Det viser at innbyggere tok i bruk begge kanalene tidlig i pandemien. Dette mønsteret endret seg senere i 2020.
Figur 2. Tidslinje med månedlig bruk av søkemotor og chatbot i 2019-2025. Vertikale linjer merker slutten av september 2020 og juni 2022 da chatbot-ikonet ble synlig og deretter skjult.
Kilde: nav.no og NKS kanalstatistikk
I slutten av september 2020 ble chatbot-ikonet synlig på alle sider av nav.no. Da tok flere i bruk chatboten og færre brukte søkemotoren. Chatbot-ikonet var synlig på hele nettstedet i nesten 2 år. I denne perioden ser det ut til at innbyggere brukte chatboten i stedet for søkemotoren.
Chatbot-ikonet ble skjult i slutten av juni 2022. Rett etter dette ser vi en reversering av bruksmønsteret for chatboten og søkemotoren. Antallet som brukte søkemotoren doblet seg, mens bruk av chatboten ble halvert. Begge hendelsene viser at innbyggere byttet mellom å bruke chatboten og søkemotoren, i takt med at chatbot-ikonet er synlig eller skjult. Det er et tegn på at chatboten og søkemotoren brukes til lignende formål.
Det er mulig at innbyggere brukte flere kanaler i begynnelsen av pandemien, da svært mange var permittert. Økt pågang hos NKS førte til lengre svartid på telefon i uke 12, til 25 minutter i gjennomsnitt sammenlignet med henholdsvis 6 og 9 minutter i uke 10 og 11. Det vil si at innbyggere sannsynligvis brukte flere kanaler for å komme i kontakt med Nav i begynnelsen av pandemien. Senere i 2020 var pågangen og svartid hos NKS lavere.
Bevegelser i kanalene etter chatbot-ikonet ble skjult
For å forstå endringene i kanalbruk etter at chatbot-ikonet ble skjult, har jeg skilt ut hver kanal med en egen regresjonsmodell. Da chatbot-ikonet var synlig, var det færre månedlige henvendelser i alle 5 kanalene (tabell 6). Etter chatbot-ikonet ble skjult i juni 2022, ble det store signifikante endringer i antallet som brukte chatboten, søkemotoren og chat med veileder. Det var ikke noen signifikante endringer i antall henvendelser på telefon eller skriv til oss da chatbot-ikonet ble skjult. Dette måles ved å sammenligne nivåendring mot trend før chatbot-ikonet ble skjult.
Kanal |
Trend før |
Trend etter |
Endring i trend |
Nivåendring |
P-verdi |
Justert R 2 |
---|---|---|---|---|---|---|
Chatbot |
-348 |
525 |
873 |
-50 779 |
**0.000 |
0.713 |
Søkemotor |
-2 894 |
1 091 |
3 985 |
70 725 |
**0.000 |
0.614 |
Chat med veileder |
-22 |
132 |
155 |
-6 470 |
**0.000 |
0.378 |
Telefon |
-2 064 |
-887 |
1 177 |
7 837 |
0.647 |
0.195 |
Skriv til oss |
-731 |
-734 |
-3 |
5 533 |
0.321 |
0.421 |
Kilde: NKS og nav.no
* P < 0.05 ** P < 0.01
Nivåendringen, altså den umiddelbare endringen etter at chatbot-ikonet ble skjult, viser en stor nedgang i antallet som brukte chatboten og «chat med veileder». Det var over 70 000 flere som tok i bruk søkemotoren. I årene etterpå økte bruken av de 3 kanalene. Det vil si at trenden for chatbot, «chat med veileder» og søkemotoren ble reversert fra en nedgang til en økning, mens trenden på telefon og skriv til oss var uendret.
Den eneste betjente kanalen med signifikante endringer er «chat med veileder», der 6 470 færre tok kontakt rett etter at chatbot-ikonet ble skjult. Det er sannsynligvis et resultat av at færre brukte chatboten, siden innbyggere må bruke chatboten før de kan chatte med en veileder. Det tyder på at innbyggerne ikke fant kanalen rett etter at chatbot-ikonet ble skjult.
Figur 3-5. Tidslinjer med månedlige henvendelser via chatbot, «chat med veileder» og søkemotor fra oktober 2020 til og med 2024. Antallet som bruker kanalene er markert i mørkegrønt for faktisk bruk før chatbot-ikonet ble skjult, og mørkerødt for perioden etterpå. Grønn og rød stiplet linje representerer henholdsvis trend i hver kanal før og etter chatbot-ikonet ble skjult.
Kilde: NKS kanalstatistikk og nav.no
Samtidig som færre brukte chatboten og «chat med veileder», økte bruken av søkemotoren (figur 3-5). Bruk av chatboten ble halvert (figur 3) mens bruk av søkemotoren mer enn doblet seg (figur 5). Til sammenligning falt henvendelser til «chat med veileder» med en fjerdedel (figur 4). Deretter økte de 3 kanalene frem til 2025, men i ulikt omfang.
Ved slutten av 2024 var det flere som brukte «chat med veileder» enn rett etter ikonet ble skjult (figur 2 og tabell 4). Det er fortsatt færre som bruker chatboten enn da ikonet var synlig (figur 3 og tabell 4). Det viser at innbyggere fortsatt bruker både chatboten og «chat med veileder», men færre bruker disse kanalene når de er mindre synlige.
Figur 6-7. Tidslinjer med månedlige henvendelser på telefon og «Skriv til oss» fra oktober 2020 til og med 2024. Antallet som bruker kanalene er markert i mørkegrønt for faktisk bruk før chatbot-ikonet ble skjult, og mørkerødt for perioden etterpå. Grønn og rød stiplet linje representerer henholdsvis trend i hver kanal før og etter chatbot-ikonet ble skjult.
Kilde: NKS kanalstatistikk
Etter chatbot-ikonet ble skjult var nesten alle henvendelser innenfor forventet trend for både henvendelser på telefon (figur 6) og «skriv til oss» (figur 7). Dette indikerer at det ikke ble flere henvendelser i betjente kanaler etter at chatbot-ikonet ble skjult. Utvikling i betjente kanaler fremstår som upåvirket av å skjule chatbot-ikonet.
Oppheving av pandemitiltak medførte ikke endring i kanalbruk
Februar 2022 opphevet regjeringen flere av pandemitiltakene. Siden henvendelser til NKS økte i begynnelsen av pandemien (tabell 2), er det relevant å vite om oppheving av pandemitiltakene kan ha påvirket bruk av chatboten. For å kontrollere for om oppheving av pandemitiltakene påvirket kanalbruk har jeg gjentatt regresjonsmodellene for perioden oktober 2020 til og med juni 2022. Perioden før februar 2022 er da «før», mens perioden fra og med februar 2022 er «etter» (tabell 7).
Kanal |
Trend før |
Trend etter |
Endring i trend |
Nivåendring |
P-verdi |
Justert R 2 |
---|---|---|---|---|---|---|
Chatbot |
-746 |
-5 662 |
-4 916 |
22 020 |
0.457 |
-0.123 |
Chat med veileder |
33 |
-2 588 |
-2 622 |
5 675 |
0.220 |
0.001 |
Søkemotor |
-3 466 |
-181 |
3 285 |
4 262 |
0.854 |
0.490 |
Telefon |
-2 630 |
-12 215 |
-9 585 |
38 192 |
0.329 |
0.088 |
Skriv til oss |
-240 |
-1 361 |
-1 121 |
-8 147 |
0.487 |
0.203 |
Kilde: NKS og nav.no
* P < 0.05 ** P < 0.01
Før pandemitiltakene ble opphevet i februar 2022 var det en nedgang i månedlige henvendelser i samtlige kanaler, med ett unntak av «chat med veileder» (tabell 7). Etter pandemitiltakene ble opphevet, falt antall henvendelser hver måned i alle kanaler. Det ser ut til at oppheving av pandemitiltakene ikke hadde noen signifikant effekt på antall henvendelser til NKS. Det er sannsynligvis fordi antall henvendelser allerede hadde falt med cirka 700 000 i 2021 (tabell 2).
Regresjonsanalysene i tabell 6 og 7 viser også at å skjule chatbot-ikonet forklarer en større del av variasjonen i kanalstatistikken enn da pandemitiltakene ble opphevet. Det kan bety at effekten pandemitiltakene hadde på henvendelser til NKS allerede hadde forsvunnet før pandemitiltakene ble opphevet. Dette sannsynliggjør at resultatene fra regresjonsanalysen om skjult chatbot-ikon skyldes at ikonet ble fjernet, og ikke at pandemitiltakene ble opphevet.
Figur 8-10. Tidslinjer med månedlige henvendelser via chatbot, chat med veileder og søkemotor fra oktober 2020 til og med juni 2022. Antallet som bruker kanalene er markert i mørkegrønt for faktisk bruk før pandemitiltakene ble opphevet, og mørkerødt for perioden etterpå. Grønn og rød stiplet linje representerer henholdsvis trend i hver kanal før og etter pandemitiltakene ble opphevet.
Kilde: NKS kanalstatistikk. Data for søkemotoren er fra nav.no
Figur 8-10 viser endring i bruk av chatboten, «chat med veileder» og søkemotoren etter at pandemitiltakene ble opphevet. Bevegelsene i alle 3 kanaler fortsatte innenfor forventet trend.
Figur 11-12. Tidslinjer med månedlige henvendelser på telefon og skriv til oss fra oktober 2020 til og med juni 2022. Antallet som bruker kanalene er markert i mørkegrønt for faktisk bruk før pandemitiltakene ble opphevet, og mørkerødt for perioden etterpå. Grønn og rød stiplet linje representerer henholdsvis trend i hver kanal før og etter pandemitiltakene ble opphevet.
Kilde: NKS kanalstatistikk
Figur 11-12 over viser endring i antall henvendelser på telefon og «Skriv til oss». Flertallet av henvendelsene i begge kanalene ligger innenfor forventet trend før pandemitiltakene ble opphevet. Felles for alle kanalene er en nedgang i antall henvendelser, noe som tyder på at det ikke var noen endring i antall henvendelser etter at pandemitiltakene ble opphevet.
Diskusjon
Hovedfunnet i denne artikkelen er at henvendelser i betjente kanaler økte ikke etter at chatbot-ikonet ble skjult. Det ble hverken flere henvendelser på telefon eller «Skriv til oss» da chatbot-ikonet ble skjult i juni 2022. Dette kan tyde på at det er lite sammenheng mellom bruk av chatboten og de betjente kanalene. Funnet kan utfordre premisset om at chatboten Frida kan redusere henvendelser på telefon til NKS (Nav, 2019a, 2019b). Dog kan utviklingen over tid tyde på at omfang og typer av henvendelser til NKS påvirkes av blant annet selvbetjeningsløsningene. Sannsynligvis er det et komplekst forhold mellom bruk av betjente kanaler og selvbetjeningsløsninger, deriblant chatboten Frida, som jeg diskuterer her.
Da chatbot-ikonet ble vist på alle sider av nav.no økte bruk av chatboten og færre brukte søkemotoren. Da chatbot-ikonet ble skjult, fordoblet bruken av søkemotoren seg, mens bruk av chatboten ble halvert. Mønsteret og størrelsen på bevegelsene tyder på at innbyggere byttet mellom å bruke kanalene, og at de brukes til lignende formål.
Det kan hende at chatboten løser andre behov for innbyggere enn de som kommer frem i denne analysen. Målingen om løsningsgrad tyder på at det er få som får svar på det de spør om. Det tyder på at chatboten ikke løser alt, men at det er også noen som får svar på sine spørsmål. Som påpekt av Løberg (2022) handler effektivitet ikke bare om hvilke teknologier som brukes, men hvordan de brukes. Innbyggere har kanskje interesse for å bruke chatbot, men utformingen av chatboten er ikke nødvendigvis tilpasset deres behov og forventninger. Dersom innbyggere har andre behov enn Nav har planlagt for, er det kanskje mulig å forbedre chatboten ved å identifisere og løse disse behovene.
Økt selvbetjening har trolig gitt færre henvendelser til NKS
Da pandemitiltakene ble innført ble det en brå økning i antall som henvendte seg til Nav. Etter det første halvåret med pandemi var det en nedgang i henvendelser til NKS som fortsatte i årene etterpå. Nedgangen ser ut til å ha startet allerede før pandemien.
Både økt selvbetjening og forbedringer på kontaktsenteret kan være en forklaring på nedgangen i henvendelser til NKS i løpet av og etter pandemien. I løpet av pandemien og årene etterpå lanserte Nav nye systemer for selvbetjening på nettstedet nav.no. Systemene utvikles i tverrfaglig samarbeid der etaten, NKS og Nav-kontor involveres for å prioritere både brukerbehov og behov i de ulike delene av Nav. De nye systemene kan ha redusert henvendelser til NKS over tid.
I pandemien lagde Nav nye systemer for forhåndsutbetaling av dagpenger til permitterte. Innbyggere kan også ta i bruk nye digitale søknader for blant annet dagpenger, sykepenger og arbeidsavklaringspenger. Nav har også gradvis innført system for varsling på SMS og e-post slik at innbyggere får oppdatert status for saken sin hos Nav. I tillegg har det vært flere endringer på nav.no for å forenkle navigasjon og forbedre informasjon om ytelsene og andre tilbud fra Nav. Det er sannsynlig at disse endringene har gitt innbyggere bedre oversikt over sin sak, og bidrar til å svare på spørsmål som ellers ville ført til henvendelser hos NKS.
Selv om ikke synligheten til chatboten ser ut til å påvirke antall henvendelser til NKS, har chatboten vært i bruk i hele perioden jeg studerer. Chatboten og en forbedret søkemotor på nav.no kan derfor også ha vært med på å ta ned henvendelser til NKS over tid.
Videre er det mulig at henvendelser ender opp i en annen kanal ekskludert fra kanalstatistikken, som dialog med veileder, digital oppfølgingsplan ved sykefravær og aktivitetsplanen på nav.no.
Av innbyggerne som blir spurt, svarer en høy andel av de som har hatt kontakt med NKS på telefon og chat, at de har fått svar på det de lurte på. Færre svarer dette når de har brukt chatboten på nav.no. Dette gjelder også «Skriv til oss», som i tillegg brukes for å sende opplysninger om innbyggerens sak. At færre får svar på det de lurer på fra chatboten skyldes sannsynligvis at den ikke kan svare på spørsmål om innbyggerens sak.
Økt samtaletid på telefon og chat kan tyde på mer komplekse henvendelser til NKS
NKS mottar færre henvendelser, men bruker i snitt lengre tid på å besvare dem. Det kan tyde på at NKS mottar mer komplekse henvendelser enn tidligere. Det kan bety at de selvbetjente kanalene avlaster NKS fra de enkle henvendelsene, og at de nå bruker mer tid på de som trenger å snakke med et menneske. Dette var en ønsket utvikling da man innførte chatboten. Selv om chatboten ikke har ført til denne endringen, kan det bety at utviklingen i kanalbruk beveger seg i ønsket retning.
Analysen er gjennomført basert på kanalstatistikken fra NKS, trafikkdata for nav.no og svar fra innbyggere på NKS sin spørreundersøkelse. Disse dataene gjør det mulig å avdekke bevegelser mellom de ulike kanalene. De kan derimot ikke bidra til å forklare hvordan innbyggere oppfatter kanaler og hvorfor de velger noen kanaler fremfor andre. Dette bør være et tema for fremtidig forskning. Det vil gi økt innsikt om både bruken av chatboten og de andre kanalene, og hva som avgjør hvilke kanaler innbyggere bruker og foretrekker. Da kan man få mer robust kunnskap om i hvilken grad, og hvordan, selvbetjeningsløsninger kan erstatte betjente kanaler.
Det er også nødvendig å forstå om innbyggerne som bruker kanalene gjenspeiler målgruppene de er tiltenkt. Det vil kunne øke forståelsen om Nav frigjør tid og kapasitet til de som trenger det mest. Når færre tar kontakt, bør man undersøke om det er fordi innbyggere er blitt selvbetjente, om de får hjelp i en annen del av Nav, eller av andre enn Nav. Videreutvikling av kanaler i Nav, inkludert chatboten, bør ses i lys av dette.
Referanser
Brandtzæg, P. B., & Følstad, A. (2017). Why People Use Chatbots. Internet Science (Bd. 10673, s. 377–392). Springer International Publishing. https://doi.org/10.1007/978-3-319-70284-1_30
Breit, E. og Salomon, R. (2015). Making the Technological Transition – Citizens’ Encounters with Digital Pension Services. Social Policy and Administration. Vol 49 issue 3. https://onlinelibrary.wiley.com/doi/abs/10.1111/spol.12093
Fugletveit, R. og Lofthus, A. (2021). From the desk to the cyborg’s faceless interaction in The Norwegian Labour and Welfare Administration. Nordisk välfardsforskning | Nordic Welfare Research. Vol 6 issue 2. https://www.idunn.no/doi/10.18261/issn.2464-4161-2021-02-01
Følstad, A., & Bjerkreim-Hanssen, N. (2023). User Interactions With a Municipality Chatbot—Lessons Learnt From Dialogue Analysis. International Journal of Human–Computer Interaction , 40 (18), 4973–4986. https://doi.org/10.1080/10447318.2023.2238355
Gustafsson, P. E., Fonseca-Rodríguez, O., Castel Feced, S., San Sebastián, M., Bastos, J. L., & Mosquera, P. A. (2024). A novel application of interrupted time series analysis to identify the impact of a primary health care reform on intersectional inequities in avoidable hospitalizations in the adult Swedish population. Social science & medicine (2024), 343, 116589. https://doi.org/10.1016/j.socscimed.2024.116589
Hofmann, S.; Heggertveit, I.; Lindgren, I.; Madsen, C.Ø.; Rydén, H.H.; Sæbø, Ø. (2024). Hvilke tjenester bør digitaliseres og hvordan? En analyse fra brukerperspektiv av hvilke offentlige tjenester som egner seg for digitalisering. Prosjektrapport laget av Universitetet i Agder, Linköping universitet, IT University of Copenhagen. https://www.nav.no/no/nav-og-samfunn/kunnskap/forskningsrapporter-og-evalueringer-finansiert-av-nav/samhandling-med-brukere-rapportarkiv/hvilke-tjenester-bor-digitaliseres-og-hvordan
Madsen, C. Ø., & Kræmmergaard, P. (2015). Channel choice: a literature review. Electronic government. https://doi.org/10.1007/978-3-319-22479-4_1
Mathiesen, L., & Skovlund, E. (2023). Avbrutte tidsserieanalyser. Tidsskrift for den norske legeforening. (2023, 143). https://doi.org/10.4045/tidsskr.23.0559
Lanestedt, G., Goodwin, M., & Andersen, P.-A. (2023). Tid for en (mer) intelligent statsforvaltning? Stat & Styring, 33(3), 7–14. https://doi.org/10.18261/stat.33.3.2
Luger, E., & Sellen, A. (2016). «Like Having a Really Bad PA»: The Gulf between User Expectation and Experience of Conversational Agents. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems, 5286–5297. https://doi.org/10.1145/2858036.2858288
Løberg, I.B. (2022). Utviklingsoptimisme kan skjule økonomiske og sosiale kostnader i den digitale forvaltningen. 2022:3. Arbeid og velferd. Nav. https://arbeidogvelferd.nav.no/journal/2022/3/m-397/Utviklingsoptimisme_kan_skjule_%C3%B8konomiske_og_sosiale_kostnader_i_den_digitale_forvaltningen
Nav (2019a). Målbilde for Nav Kontaktsenter 2018-2020/25. Oppdatert i 2019.
Nav (2019b). Om prosjekt chat og chatbot i Nav Kontaktsenter.
Nav (2021a). Revidert kanalstrategi. Strategi for hvordan Nav møter innbyggerne 2021-2026. Tilsendt på e-post.
Nav (2021b). Mål og disponeringsbrev for Nav Kontaktsenter 2022.
Nav (2022). Nav 2030. Virksomhetsstrategi. https://www.nav.no/strategi
Nyberg, T. E., Holbæk-Hanssen, J., Thorgersen, A., Otterbekk, S. R., Eikemo, K. & Friis-Petersen, S. (2022). Navs personbrukerundersøkelse 2022 - Mennesket og Nav (Rapport 3/2022). Nav. https://www.nav.no/no/nav-og-samfunn/kunnskap/analyser-fra-nav/analyser-andre-temaer
Simonsen, L., Steinstø, T., Verne, G., & Bratteteig, T. (2020). “I’m Disabled and Married to a Foreign Single Mother”. Public Service Chatbot’s Advice on Citizens’ Complex Lives. Electronic Participation: 12th IFIP WG 8.5 International Conference, ePart 2020, Linköping, Sweden, August 31 – September 2, 2020, Proceedings, 133–146. https://doi.org/10.1007/978-3-030-58141-1_11
St.meld. 27 (2015–2016). Digital agenda for Norge— IKT for en enklere hverdag og økt produktivitet. Kommunal- og distriktsdepartementet.
Turner, S.L., Karahalios, A., Forbes, A.B. et al. Comparison of six statistical methods for interrupted time series studies: empirical evaluation of 190 published series. BMC Med Res Methodol 21, 134 (2021). https://doi.org/10.1186/s12874-021-01306-w
Vassilakopoulou, P., Haug, A., Salvesen, L. M., & Pappas, I. O. (2022). Developing human/AI interactions for chat-based customer services: lessons learned from the Norwegian government. European Journal of Information Systems, 32(1), 10–22. https://doi.org/10.1080/0960085X.2022.2096490
Verne, G. B., Steinstø, T., Simonsen, L. & Bratteteig, T. (2022). How can I help you? A chatbot’s answers to citizens’ information needs. Scandinavian Journal of Information Systems, 34(2), artikkel 7. https://aisel.aisnet.org/sjis/vol34/iss2/7/
Vågeng, S., Eriksen, H. R., Ihme, I., Markussen, S., Pedersen, N., Stene, E., Sæther, I. (2014). Brukernes møte med Nav. Delrapport fra ekspertgruppen som gjennomgår Nav. https://www.regjeringen.no/no/dokumenter/Brukernes-mote-med-Nav/id2008441/