Hvilke fejlkilder bør du kende i spørgeskemaundersøgelser?

Hvad er fejlkilder i en spørgeskemaundersøgelse?

Fejlkilder er faktorer, der systematisk trækker resultatet væk fra det, du ville måle. UCL’s vidensside om bias og confounding kalder dem fejlkilder i målemetoder og analyser, i vores forventninger eller forhåbninger om bestemte resultater og i de tankefælder, der gør det lettere at fastholde sit verdensbillede. Siden skelner mellem to hovedtyper: bias i forskningen og kognitive bias hos forskeren. Begge er relevante i et spørgeskema, fordi de rammer henholdsvis designet og den person, der har lavet det.

Fejlkilderne fordeler sig over hele processen. Før dataindsamlingen sidder de i formålet, spørgsmålsformuleringen, rækkefølgen, svarskalaerne og den manglende prætest. Under indsamlingen sidder de i, hvem der svarer, hvordan de spørges, og hvor længe indsamlingen kører. Efter indsamlingen sidder de i tolkningen og analysen, hvor forventninger til resultatet kan styre, hvilke sammenhænge man ser. Ifølge UCL kan studiedeltagere bidrage til informationsbias ved at svare, hvad de tror er socialt ønskværdigt, mens forskeren kan lave ubevidste målefejl. Metodeguiden ved Aarhus Universitet peger på, at socialt acceptable besvarelser skal håndteres både før og efter interviewet for at forebygge problemet og vurdere undersøgelsens validitet og reliabilitet.

Bias kan ikke måles direkte. UCL anbefaler i stedet tjeklister til at vurdere forskningsbias indirekte og understreger, at man fortsat skal være opmærksom på sine egne kognitive bias. Confounding er en beslægtet fejlkilde: hvor bias typisk handler om, hvordan du måler og udvælger, handler confounding om en tredje variabel, der hænger sammen med både det, du undersøger, og det resultat, du måler. Den skal derfor tænkes ind, allerede når spørgsmålene formuleres, og ikke først i analysen.

Vigtige fejlkilder i spørgeskemaundersøgelser – oversigt

Social desirability og subjektive besvarelser

Social desirability bias er respondentens tendens til at svare ud fra, hvad der er socialt acceptabelt, frem for hvad vedkommende reelt mener. Ifølge Metodeguiden ved Aarhus Universitet er problemet særligt relevant, når undersøgelsen handler om personlige holdninger, fordomme, overtrædelse af loven, misbrug og lignende. Respondenter afstemmer svarene med det socialt acceptable, hvilket kan give overrapportering af god opførsel og underrapportering af dårlig opførsel – og dermed falske resultater.

Valget af dataindsamlingsmetode påvirker problemets størrelse. Metodeguiden peger på, at problemet er mindre i spørgeskemaundersøgelser, fordi anonym besvarelse lægger mindre pres på respondenten og øger chancen for ærlige svar. I en interviewsituation kan respondenter derimod svare ud fra, hvad de tror behager intervieweren, fordi både interviewer og spørgeskema kan føles som et pres. Anonyme spørgeskemaer er dog ikke fri for bias: stilles følsomme spørgsmål ansigt til ansigt, skal du forvente større skævvridning.

Der findes konkrete teknikker til at reducere problemerne. The bogus pipeline er en anerkendt teknik i psykologi og sociologi: respondenten får at vide, at besvarelsen vil blive overvåget af en maskine eller en løgnedetektor, uden at det er tilfældet, og det kan gøres virkelighedstro med falske elektroder og ledninger. Forventningen er, at overvågningen motiverer til ærlige svar; ifølge Metodeguiden viser undersøgelser, at de fleste mennesker frygter at blive afsløret i at lyve mere, end de frygter at udtrykke socialt uacceptable holdninger. En anden fremgangsmåde er at integrere spørgsmål, som kun de færreste kan besvare politisk korrekt. Har en respondent overdrevet mange politisk korrekte besvarelser på disse spørgsmål, ekskluderes vedkommende fra undersøgelsen ud fra en vurdering af, at svarene er påvirket af det socialt acceptable frem for det reelt mente.

For praktikeren betyder det, at spørgsmål om holdninger, normafvigelse og følsomme emner er særligt udsatte. Overvej, om emnet kan spørges om anonymt frem for i interview, og om du har brug for kontrolspørgsmål, der kan afsløre overdrevet konsistente, politisk korrekte besvarelser.

Effekt af dataindsamlingsmetode på social desirability-bias

Spørgsmålenes formulering, rækkefølge og svarmuligheder

Fejlkilderne begynder i formålet. Digitaliseringsstyrelsens metodebank anbefaler et klart formål og præcision om, hvad du ønsker svar på, samtidig med at beskrivelsen af formålet begrænses, så det ikke griber om sig, og du beder folk svare på for meget. Overvej derefter detaljegraden: flere detaljer kræver mere bearbejdning efterfølgende, og brugeren skal let forstå, hvad der bedes om svar på.

Formuleringen skal være klar og præcis. Metodebanken peger på tre konkrete krav: overvej en naturlig rækkefølge af spørgsmål, undgå ledende spørgsmål, der kan præge brugerens svar, og formuler spørgsmålene, så misforståelser minimeres. Ledende spørgsmål er en fejlkilde, fordi de flytter respondenten fra at rapportere til at bekræfte. En unaturlig rækkefølge er en fejlkilde, fordi tidligere spørgsmål kan sætte rammen for svaret på de næste.

Svarskalaen skal være balanceret. Metodebanken anbefaler en ligevægt af negative og positive svarmuligheder samt en neutral kategori, eksempelvis: meget uenig, uenig, hverken/eller, enig, meget enig. Uden neutral kategori tvinges respondenter med en reel midterposition til at vælge side, og flere positive end negative trin giver et skævt udgangspunkt. Den neutrale kategori mindsker desuden risikoen for, at uafklarede svar fejltolkes som respondentens holdning.

Test, målgruppeadgang og indsamlingsperiode

At springe prætesten over er en fejlkilde i sig selv. Metodebanken anbefaler at teste spørgeskemaet på en lille gruppe, inden det sendes ud i en større kreds, for at sikre at spørgsmålene forstås korrekt og giver mening at besvare. Formålet er at afdække misforståelser, før de koster besvarelser. Det er også en fejlkilde at indsamle feedback fra testgruppen uden at bruge den: feedbacken skal gennemgås, og nødvendige justeringer skal være foretaget, før skemaet sendes ud – via egne kanaler eller i samarbejde med leverandører.

Afklar adgangen til målgruppen, før du sender. Måske har du direkte adgang via organisationens systemer; måske skal du kontakte leverandører eller samarbejdspartnere, der kan give adgang. Vælger du en målgruppe, du reelt ikke kan nå, får du et lille og skævt svarantal. Metodebanken er klar: Jo flere svar, jo bedre resultat.

Afgræns indsamlingsperioden på forhånd. Hold øje med besvarelser, og luk efter en begrænset periode; ofte kommer de fleste besvarelser inden for den første uge, og er der ikke kommet nok efter den frist, skal du overveje at sende ud igen. Luk under alle omstændigheder for besvarelser efter 1-3 uger afhængigt af omfanget. En for kort periode giver for få svar; en for lang periode giver et skævt datamateriale, fordi tidlige og sene besvarelser ikke nødvendigvis kommer fra samme type respondenter. Efter indsamlingen skal der sættes tid af til at bearbejde resultaterne, og Metodebanken anbefaler at invitere en kollega med, så man er to til at tolke dem – en anden læser af data kan fange fejltolkninger, den enkelte ikke selv ser.

Trin-for-trin: Sikring af gyldig spørgeskemaundersøgelse

Forskerens egne kognitive bias og forventninger

Den, der laver spørgeskemaet, er selv en fejlkilde gennem sine forventninger. Det rammer både udarbejdelsen af spørgsmålene – hvor bestemte svarmuligheder og emner let ligger klar – og analysen, hvor man ser de sammenhænge, man forventede.

Confirmation bias er den menneskelige tendens til at søge information, der bekræfter ens egne overbevisninger. Ifølge UCL sker det ofte ubevidst, så modstridende information slet ikke bemærkes. I andre tilfælde afviser man med motiveret ræsonnering information, der ikke stemmer med ens synspunkter. En teori er, at confirmation bias opstår for at undgå kognitiv dissonans – en psykologisk tilstand af ubehag ved manglende konsistens mellem holdninger og handlinger. Ifølge UCL er confirmation bias særlig udbredt, når vi søger og fortolker information.

Konsekvensen for et spørgeskemaprojekt er, at confirmation bias ikke kun sidder i data, men også i de valg, du træffer, før data findes. Formulering af hypoteser, valg af svarskalaer og læsning af resultater bør derfor gennemgås med samme kritiske blik, som du ville bruge på en andens undersøgelse.

Forskernes kognitive bias: Konsekvenser og modtiltakker

Sådan mindsker du fejlkilderne

Variér spørgeskemaet ved at justere antallet af spørgsmål og respondenter. Et simpelt spørgeskema kan være få hurtige spørgsmål til brugere, du har adgang til. Et mere ambitiøst setup kan være en befolkningsundersøgelse eller en segmenteringsmodel, hvor målgruppen deles op i segmenter efter kriterier, du selv stiller.

Når svarene begynder at rulle ind, kan du analysere besvarelserne på kryds og tværs – for eksempel om der er indsigter i forhold til geografi, køn, alder eller etnicitet. Det kan give indsigter, der ikke er synlige, hvis du kun ser på det samlede resultat.

Checkliste til reduktion af fejlkilder i spørgeskemaundersøgelser