Metode

Hva er kvalitet i et didaktisk produkt?

I tillegg til at utviklingen av det didaktiske produktet blir gjort ved bruk av kunnskap fra forsknings og teori, er det også viktig at hele utviklingen gjøres i en større metodisk og vitenskapelig ramme. I de fleste tilfeller vil dette innebære at det didaktiske produktet blir prøvd ut på en brukergruppe, f.eks. at en lærer prøver det ut i en klasse, hvor man så samler inn data for å samle inn informasjon som kan brukes til å forbedre det didaktiske produktet. Et av målene med utprøvinger, vurderinger og justeringer, er å forsikre seg om at det ferdige didaktiske produktet er av høy kvalitet. Men hva vil det si at et produkt er av høy kvalitet? Selv om kvalitet er noe man ofte "kjenner det igjen når man ser det", er det en fordel å ha noen klare kriterier å gå etter. Et eksempel på slike kriterier er rammeverket fra Nieveen (1999) og Nieveen & Folmer (2013). Dette rammeverket beskriver fire kategorier til hva som kjennetegner kvalitet i et didaktisk produkt:

1. Relevans
2. Konsistens
3. Praktiskhet
4. Effektivitet

For et et didaktisk produkt skal være av høy kvalitet, må det ha høy relevans. I denne konteksten vil det si at produktet dekker et eller flere bestemte behov og at komponentene i produktet er utviklet etter "state-of-the-art" kunnskap innenfor relevant teori og forskning (Nieveen & Folmer 2013). For eksempel, hvis man utvikler et produkt som er ment til å bidra til økt motivasjon hos elever, er både innhold og form designet etter teori og hva forskning sier om hvordan få økt motivasjon. Konsistensen til produktet handler om hvorvidt komponentene til produktet følger et konsistent design og er koblet til hverandre på en konsistent måte. Alle delene til produktet skal bære preg av å bestå av en helhetlig pakke.

Kriteriet om praktiskhet går blant annet på brukervennligheten til produktet, dvs. hvor enkelt det er for lærere og/eller elever å ta i bruk produktet slik det er ment at det skal tas i bruk og har lærere og elever det som de trenger for å ta i bruk produktet på en god måte? Gis det gode nok veiledning for hvordan ta i bruk produktet og er disse veiledningene enkle å sette seg inn? Kriteriet handler også om hvorvidt det er mulig å bruke produktet på en god måte i den konteksten den er ment til å bli brukt (Nieveen & Folmer 2013). Effektiviteten til et didaktisk produkt går på hvorvidt produktet oppnår den effekten som det var meningen det skulle oppnå, dvs. hvorvidt den fungerer etter de formålene man spesifiserte i utviklingsmålet. For eksempel, hvis produktet hadde som hensikt å føre til økt motivasjon, fører det faktisk til økt motivasjon? Hvis produktet oppnår de formålene som er satt, kan man anse "effectiveness" som oppnådd.

Disse fire kriteriene vil være et fokus under både planlegging, litteraturlesing og utviklingen i tillegg til utprøvinger, vurderinger og justeringer, for å forsikre seg om at produktet blir av høy kvalitet. Det er derimot noen utfordringer i vurdering av alle fire kriterier. Det er godt innenfor hva man kan forvente av studenter i en utviklingsmaster å vurdere relevans, konsistens og praktiskhet. Effektiviteten til et produkt er derimot en større utfordring å vurdere. Å vurdere effekter, slik som hvorvidt noe bidrar til motivasjon og læring, setter en del krav til størrelsen på utvalget som blir brukt i utprøving samt krav til hvilke data som samles inn og analyse for å forsikre seg om at det faktisk har hatt ønsket effekt og hvorvidt resultatene er generaliserbare. I mange tilfeller vil dette være utenfor omfanget av en utviklingsorientert master. Effektiveness kan (og bør) likevel være en del av vurdeingen som gjøres av det didaktiske produktet, men det må da gjøres på en måte som er innenfor omfanget av en utviklingsmaster. Eksempler på dette kan være:

• Vurderingsbare formål: I tillegg til formål som er utfordrende å undersøke nøye, slik som motivasjon og læring, kan man også ha formål som er mer realistiske å vurdere i en utviklingsorientert master. Dette kan f.eks. gå på hvordan lærere og elever skal oppleve produktet. Et eksempel kan være å ha en ressurser som gjør det lettere for læreren å vise nytteverdien av matematikk og gi elevene en opplevelse av matematikken som relevant for deres hverdag. Hvorvidt læreren opplevde produktet som et godt verktøy for dette formålet, og hvordan det kan forbedres, er noe man kan undersøke i en datainnsamling, f.eks. med intervju av lærere som har brukt produktet (men pass på at det fortsatt vil være utfordringer med generalisering siden det kan hende andre lærere ville opplevd produktet på en annen måte). Man kan da spørre seg om ikke alle formål i utviklingsmålet burde være etterprøvbare innenfor omfanget til en utviklingsmaster. Det er likevel en hensikt å ha formål i utviklingsmålet selv om disse vil være vanskelig å vurdere i produktet da disse formålene vil kunne styre deler av de første fasene i utviklingen, inkludert kravet til hvilken teori og forskning man må bruke i utvikling av innhold og form. Dette gjør slike formål til en viktig del av utviklingsmålet, selv om det kan være vanskelig å gjøre en nøye vurdering av dem i utprøving.
• Vurdere opplevelse av formålene: Selv om det i noen tilfeller kan være vanskelig å gjøre en vitenskapelig rigid vurdering av hvorvidt produktet gir ønsket effekt, slik som økt læring, kan det likevel være hensiktsmessig å vurdere opplevelsene til brukerene rundt slike formål. Læreren som prøver ut produktet vil i mange tilfeller kjenne klassen sin godt og være godt kjent med hvordan de ulike elvene lærer og har erfaring med når det oppstår læring hos egne elever. Det kan derfor være hensiktsmessig å få læreren til å reflektere over læringsprosessen til sine elever i lys av produktet som har blitt prøvd ut. Er det elementer med produktet som læreren, basert på sin erfaring med sine elever og opplevelse av hvordan utprøvingen gikk, vurderer som hindre for elevenes læring og som trenger forbedringer? Selv om dette kun vil være basert på lærerens egne opplevelser, refleksjoner og vurderinger (som ikke nødvendigvis gjenspeiler virkeligheten hva som faktisk skjedde eller hva som kommer til å skje), kan det likevel bidra til informasjon som kan være nyttig i forbedring av produktet. Man må derimot være varsom med hvordan man håndterer og bruker slike vurderinger siden de, i dette tilfellet, er basert på opplevelse av elevers læring istedenfor å være et objektivt mål for elevenes læring.
• Refleksjoner i diskusjonskapittel: Uavhengig av hvor mye data man har fått om effektiviteten til produktet i datainnsamlingen, burde man ha en refleksjon om dette i diskusjonskapitlet i avhandlingen. Dette gjelder forøvrig også de andre kriteriene om kvalitet, ikke bare effektivitet. Kriteriene for kvalitet av det didaktiske produktet bør være en vesentlig del av diskusjonenskapitlet i avhandlingen hvor man reflekterer over dette i lys av teori og forskning man brukte i utviklingen sammen med resultater fra utprøvingene og annen teori, forskningsresultater og studier som kan brukes til å gi belyse kvaliteten til produktet, hva som kunne blitt gjort bedre og hvordan det kan forbedres i fremtiden.

Det er viktig å passe på at disse tre forslagene er ikke ment som kriterier hvor alle må inkluderes i en utviklingsmaster (med unntak av det siste), men er mer ment som eksempler på hvordan man kan ha et fokus på effektiviteten til produktet i vurdering av produktet. Det er viktig at hver utprøving, datainnsamling og vurdering har et bestemt fokus for hva man ønsker å vurdere, hvordan denne vurderingen skal foregå og hvordan bruke data fra vurderingene til å forbedre produktet. Hvordan man legger opp utprøvinger, vurderinger og forbedringer, avhenger blant annet av hvilket metodisk rammeverk man legger opp til i utviklingen.

Det er også viktig å påpeke at dette delkapittelet har presentert et eksempel på kriterier for kvalitet i et didaktisk produkt. Det er ikke et krav at man bruker akkurat dette rammeverket i sin egen utviklingsmaster, men det burde foreligge et etablert rammeverk eller kriterer fra faglitteratur som man kan presentere i metodedelen av avhandlingen og som man bruker til å vurdere og reflektere over kvaliteten til sitt didaktiske produkt. Hvilket rammeverk man bruker kan avhenge av hva slags type produkt man utvikler da det i noen tilfeller kan være spesifikke krav som burde brukes for å vurdere produktet.

Pedagogisk designforskning

Som nevnt er det viktig for kvaliteten av produktet at er det viktig at hele utviklingen gjøres i en større metodisk og vitenskapelig ramme. Denne rammen er der for å forsikre systematikk og en mål og mening med utviklingen, og for å bruke forskningsmetoder for å vurdere produktet og bruke denne vurderingen videre i utviklingen. For en utviklingsorientert master brukes det en tilnærming til dette som kalles "Pedagogisk designforskning". Det er verdt å merke seg at denne tilnærmingen har "forskning" i navnet. Siden målet i forskning i forskning er ny kunnskap og ikke nødvendigvis å utvikle et didaktisk produkt, vil man i de fleste tilfeller ikke ta i bruk denne metodiske tilnærmingen i sin helhet, men heller gjennomføre en tilpasset variant av metoden.

Pedagogisk designforskning eller "educational design research" er en vitenskapelig tilnærming innenfor utdanningsforskning hvor man prøver å finne løsninger til praktiske og komplekse utfordringer innenfor utdanning (McKenney & Reeves 2013). Målsettingen innenfor pedagogisk designforskning er todelt: utvikle løsninger til utfordringene, ofte i form av design av nye ressurser og/eller retningslinjer, og utvikle ny kunnskap. Dette gjør dette til en svært aktuell tilnærming for utviklingsorientert master, men der fokuset er på utviklingsdelen av pedagogisk designforskning.

Det er ingen fast fasit for fremgangsmåten i pedagogisk designforskning, men metoden vil ofte bestå av sykluser av utvikling, datainnsamling og revidering, slik illustrert i figuren under.

Forenklet illustrasjon av sykluser i pedagogisk designforskning. Bilde fra Plomp (2013)

Fremgangsmåten starter ofte med en analyse av problemet/utfordringene man ønsker å løse hvor man bruker etablert kunnskap innenfor teori og forskning til å utforske mulige løsninger. Denne fasen kan også innebære utprøvinger i mindre skala hvor man samler inn data og analyserer. Dette kan være å prøve ut ulike designprinsipp for å vurdere hvorvidt de burde inngå i det didaktiske produktet. Deretter følger en større utviklingsfase hvor en prototype av det didaktiske produktet blir utprøvd. Her vil utprøvinger ha en større rolle, f.eks. utprøving av protoypen i en eller flere klasser. Her vil man ofte bruke forskningsmetoder som intervju, spørreskjema og metode for å vurdere implementeringer

Dette følges av en evalueringsfase hvor dataene analyseres og brukes til å videreutvikle produktet. I pedagogisk designforskning vil man også her fortsette å utprøving/implementeringer av produktet for å få ytterligere data og kunnskap om løsningen man utvikler. Merk at "implementering" trenger ikke nødvendigvis bety at man prøver det ut i en klasse. Det kan også bety at produktet eller deler av produktet blir vurdert av eksperter eller en brukergruppe. Hele denne syklusen kan ha hatt fokus på et begrenset aspekt av det didaktiske produktet eller produktet som helhet. Hvis man har hatt fokus på et begrenset aspekt, vil man da ofte gå tilbake til analyse-delen for å utvikle og vurdere andre aspekter av det didaktiske produktet. Med andre ord kan syklusene i pedagogisk designforskning være mer sammensatte og komplekse enn hva figuren over kan gi inntrykk av. Figuren under viser en litt mer generell modell for pedagogisk designforskning som illustrerer hvor sammensatt syklusene kan være. Pedagogisk designforskning kan gjøres i mange forskjellige skala og et prosjekt kan vare fra alt til noen få uker til mange år.

En mer generell modell for pedagogisk designforskning. Fra McKenney & Reeves 2013.

Sykluser av utprøving

For en utviklingsorientert master er det ingen fasit for hvordan man går frem i de ulike fasene og syklusene innenfor et pedagogisk designforskningsrammeverk, men det er viktig at man har et mål og mening med hver fase og hver utprøving og/eller syklus. Listen under viser et eksempel på fremdriftsplan for ulike faser i utviklingen og ulike sykluser av utprøving og vurdering.

• September: Identifiserer utfordringene og snevrer ned fokuset. Lesing av teori og forskning
• Oktober og November: Bruker teori og forskning til å utvikler en prototype
• Starten av Desember: Studenten prøver ut produkt selv i egen klasse + datainnsamling
• Desember: Vurdere data og videreutvikle prototype
• Januar: Flere lærer prøver ut produktet i egne klasser + datainnsamling
• Februar og Mars: Analyse av data og videreutvikling av prototype
• April: Ferdigstilling av produkt

Her har studenten valgt å ha to sykluser hvor det gjøres utprøving, datainnsamling og arbeid med data for å videreutvikle det didaktiske produktet, en hvor studenten selv prøver ut produktet og en hvor studenten får flere lærere til å prøve det ut i sine klasser. NB: I planen over legger studenten opp til å ferdigstille produktet i april. Det er viktig å påpeke at samtidig som studenten jobber med denne planen, har studenten en egen plan for arbeid med selve avhandlingen. Arbeid med avhandlingen må skje parallelt med utviklingen og utprøvingen. Noen kapitler må selvsagt skrives etter utprøving, slik som beskrivelser av resultatene fra utprøvingene, men mange kapitler kan jobbes med på et tidligere stadie, slik som introduksjon, teori og metode.

Dersom man kjører flere sykluser med utprøving, er det viktig at hver utprøving har sitt eget fokus da det er noen fallgruver med å lik fokus for hver utprøving der man, f.eks., vil undersøke hvorvidt tiltak man gjorde etter første utprøving har fungert. La oss si at en student har følgende utprøvingsyklus:

1. Lærer A prøver ut i sin klasse
2. Arbeid med data fra utprøving for å forbedre produkt
3. Lærer B prøver ut i sin klasse
4. Arbeid med data for å se om forbedring har fungert

Dette kan virke som en hensiktsfull fremgangsmåte, men for en utviklingsorientert master er det noen fallgruver. La oss si at det didaktiske produktet består at et utforskende undervisningsopplegg og at det fungerte svært dårlig i klassen til lærer A. Studenten prøver å vurdere hvilke områder i undervisningsopplegget hvor det gikk galt og gjør endringer før neste utprøving. Lærer B prøver nå det videreutviklede produktet i sin klasse og nå går det mye bedre. Studenten sier seg fornøyd og konkluderer med at endringene har fungert.

Men hvordan kan studenten vite at årsaken til at det gikk bedre hos lærer B er pga. endringene studenten gjorde med produktet og ikke bare fordi lærer B og hans/hennes klasse var mer vant til utforskende undervisning? Det er selvsagt mulig å undersøke dette, men det krever en dypere forskningstilnærming (som inkluderer flere utprøvinger i hver klasse) enn hva man vil ha mulighet til i en utviklingsorientert masteroppgave. Og hva hvis studenten hadde startet med lærer B? Kanskje studenten identifiserte noen områder som ikke var optimale, gjorde endringer og fikk lærer A til å prøve ut... hvor utprøvingen endte i katastrofe. Det vil da være fort for studenten å konkludere med at endringene som er gjort etter lærer B har vært katastrofale for designet av produktet. Studenten går så tilbake til det opprinnelige designet siden studenten så at dette fungerte mye bedre.

For at dette skulle vært en hensiktsmessig fremgangsmåte, dvs. der man ønsker å undersøke effekten av endringer man gjør i produktet, hadde det krevet en langt større utprøving for å minimere effekten av andre variabler som kan påvirke resultatet. En måte å gjøre dette på kunne vært å ha et stort antall lærere som alle prøver ut begge varianter av produktet, dvs. før og etter endring. La oss si at man deler lærerne (og klassene) i to grupper, gruppe A og gruppe B der man kaller produktet før endring for "variant 1" og produktet etter endring for "variant 2". For å undersøke effekten av endringen gjort i variant 2, kunne et eksempel vært:

1. Gruppe A prøver ut variant 1
2. Gruppe B prøver ut variant 2
3. Datainnsamling 1
4. Gruppe A prøver ut variant 2
5. Gruppe B prøver ut variant 1
6. Datainnsamling 2

I tillegg til at opplegget blir prøvd ut på flere klasser og flere lærere, vil begge grupper prøve ut begge varianter. Dette minsker effekten av forskjellige lærere og klasser siden man kan se hvordan alle lærere og klasser blir påvirket av endringen gjort i variant 2. Man har ikke utelukket disse variablene helt siden det forskjeller i rekkefølgen noen får oppleggene, men det er en forbedring sammenliknet med den første utprøvingssyklusen. I tillegg til at det ville krevet mer av utprøvingene å identifisere effekten av endringene man gjorde i variant 2, ville det også krevet mye av forskningsmetodene man tok i bruk, dvs. både dybden i dataene som samles inn og dybden i analysen som utføres.

Dette gjør at denne varianten av utprøving, datainnsamling og analyse sannsynligvis vil være for tidkrevende enn hva man har mulighet til på en utviklingsmaster. Selv for en forskningsmaster vil dette være utfordende, spesielt hvis har mange lærere og datainnsamlingen består av intervju som må analyseres. Det er derimot noen lærdommer man kan ta som er svært relevante for utprøvingssykluser i en utviklingsmaster.

• Få flere lærere og klasser til å prøve ut produktet: Ved å la flere lærere og klasser prøver ut produktet, vil det minske effekten av lærer og klasser som variabel. Nøyaktig hvor mange man skal ha med vil variere med tanke på hva som er hensikten med utprøvingen og dybden av data man skal samle inn.
• Vær varsom med generalisering av resultat: Selv om produktet blir prøvd ut av flere lærere og klasser, skal man være svært varsom med å generalisere resultater. Selv om det var elementer som fungerte dårlig i en bestemt klasse, er det ikke nødvendigvis at det samme ville skjedd i en annen klasse. Dersom man ser de samme elementene fungere dårlig i flere klasser, kan det være et tegn på at det er ikke var tilfeldig. Likevel skal man være varsom med å konkludere at dette vil gjelde i alle klasser og også være varsom med å prøve å finne en årsaksammenheng på hvorfor utprøvingene gikk som det gikk. Det betyr ikke at man ikke skal bruke de resultatene man får til å prøve å forbedre produktet, men resultatene og konklusjonene burde behandles med en stor del ydmykhet og varsomhet.
• Ha et tydelig fokus med utprøvingene: Det er viktig at hver utprøving har et gjennomtenkt og tydelig fokus. Dette innebærer å stille seg spørsmålene:
  • Hvilke aspekter av produktet skal vurderes i utprøvingen?
  • Hvordan vil du samle inn data for å vurdere disse aspektene?
  • Hvordan kan disse vurderingene hjelpe videre i utviklingen?
  Det er fort å falle i fellen at man gjennomfører en utprøving uten noe spesifikt mål og mening, men der man bare vil "se hvordan det fungerer". Det vil derimot fort kunne føre til at man sitter igjen med overfladiske data som ikke vil være nyttige i videre utvikling. Det er derfor viktig å spisse inn fokuset på utprøvingen og hva man ønsker å vurdere. Siden man ikke nødvendigvis vil vurdere alle aspekter av et produkt i en utprøving, trenger man heller ikke ha et ferdig produkt klar til utprøving. Utprøvingene er et verktøy som man bruker som en del av utviklingen. Noen ganger kan det derfor være mer hensiktsmessig å prøvde ut en "vertical slice" av produktet, dvs. en liten del av produktet hvor alle elementer for denne delen av produktet fremstår som komplett. Et eksempel på dette kan være en oppgavebank med tilhørende ressurser hvor man prøver ut oppgaver innenfor en liten del av oppgavebanken, f.eks. et bestemt tema. Resultater fra utprøvingene av denne delen av oppgaven, f.eks. om hvordan produktet fungerer i praksis, hva som fungerer bra og hva som ikke fungerer optimalt, kan man da bruke til å utvikle resten av oppgavebanken. Hvorvidt man går for en vertical slice, eller tester ut en mer helhetlig prototype av produktet, vil avhenge av type produkt og hva man ønsker å vurdere i utprøvingene. En annen mulighet er å behandle produktet som bestående av flere komponenter som blir utviklet og utprøvet hver for seg (Nieveen & Folmer 2013).
• Flere utprøvinger med ulike fokus: I tillegg til å ha et tydelig fokus i utprøvingene, er det også mulig å ha flere sykluser med utprøving der man har ulikt fokus for hver utprøving. Et eksempel på dette er i forslaget til tidsplan nevnt tidligere der studenten prøvde produktet ut selv først i desember før produktet ble prøvd ut av lærere på sine klasser i januar. Å ha forskjellige utprøvinger med ulike fokus kan også gjøres med lærerne. La oss f.eks. si at produktet består av en oppgavebank innenfor ulike tema hvor man både ønsker informasjon om hvor godt spesifikke oppgaver fungerer og hvordan oppgavebanken med tilhørende lærerveiledning oppleves å bruke og hvorvidt den blir brukt slik man hadde sett for seg da den ble utviklet. Noen lærere kan dermed få tilgang til produktet spesifikke føringer hvordan det er ønsket at det blir brukt, mens andre lærere kan få instruksjoner om å prøve ut spesifikke oppgaver hvor de får beskjed om å følge spesielt med hvorvidt elevene klarer å jobbe med oppgavene eller om de må ha hjelp for å komme igang. Disse to utprøvefokusene vil kunne gi ulik type informasjon som kan brukes til å jobbe videre med produktet.

Anbefalt litteratur

Dersom du ønsker å lese mer om pedagogisk designforskning, anbefales artiklene under:

• McKenney, S., & Reeves, T. C. (2013). Educational design research. In Handbook of research on educational communications and technology (pp. 131-140).
• Nieveen, N., & Folmer, E. (2013). Formative evaluation in educational design research. Design Research, 153(1), 152-169
• Plomp, T. (2013). Educational design research: An introduction. Educational design research, 1, 11-50.

Datainnsamling og analyse

Under enhver utprøving av det didaktiske produktet, er det essensielt å få samlet inn gode data som kan brukes til å evaluere det didaktiske produktet og danne grunnlag for videre utvikling. Det er mange typer data som kan være aktuelle i en utviklingsorientert master. Hva slags data man samler inn, vil avhenge av hva man ønsker å vurdere og finne ut. Det er derimot tre typer data som ofte vil være de mest vanlige man vil se i en utviklingsorientert master:

• Intervju
• Observasjon
• Spørreskjema

Et viktig aspekt av arbeidet i en utviklingsorientert master, er at det didaktiske produktet skal være mottakerorientert. Siden lærere i skolen som regel er den tenkte brukergruppen for det didaktiske produktet, er det helt essensielt at lærerenes erfaringer med å bruke produktet danner en vesentlig del av datamaterialet i en utviklingsorientert master. Som Samnøy (2026) så passende sa i sin masteravhandling:

Nye løsninger, uansett hvor elegante, moderne, nyskapende eller brukervennlige, har ingen verdi om ikke målgruppen ønsker å bruke dem.

Dette viser viktigheten av at det didaktiske produktet blir prøvd ut og vurdert av noen i målgruppen, f.eks. at en lærer prøver ut produktet i sin klasse og/eller gir sin faglige evaluering av produktet. Det er først da man ser om dette er et produkt en person i målgruppen faktisk ville benyttet seg av, og om lærerveiledningen gir gode nok instrukser til hvordan bruke det didaktiske produktet på en god måte. For å få tak i lærerenes opplevelser av det didaktiske produktet etter å ha prøvd dette ut, vil intervju være en svært viktig metode, da intervju er en metode som kan brukes for å få en dyp forståelse for en persons opplevelse, erfaringer og synspunkter.

Intervju har derimot en ulempe med at det er en ganske tidkrevende metode, både i et det krever mye tid å gjennomføre, men også å analysere. Man er derfor ofte begrenset til å kun ha mulighet til å intervjue et fåtalls personer. For å samle få et innblikk i erfaringer og opplevelser for en større mengde personer (f.eks. en klasse med elever hvor man ønsker å høre om elevenes erfaringer, eller hvis man har et stort antall lærere som prøvde ut produktet), vil spørreskjema være en mer tidseffektiv metode. Spørreskjema har derimot ulempen med at man kun får en overfladisk forståelse for personers opplevelser og erfaringer. Dersom man har fått mulighet til at et større antall lærere prøver ut det didaktiske produktet, er det mulig å blande spørreskjema og intervju, der man intervjuer noen få lærere for så å samle inn erfaringene fra resten via et spørreskjema.

Det er derimot viktig å være klar over at data fra både spørreskjema og intervju vil være basert på personens subjektive vurdering og gjenfortelling av hva som skjedde under utprøvingen, og dette trenger ikke nødvendigvis gjenspeile nøyaktig hvordan utprøvingen faktisk foregikk. Som Charmaz (2014) så fint sa det:

What people say may not be what they do, have done, and would do in the future.

Selv om disse subjektive gjenfortellingene er svært viktig data, kan det også være hensiktsmessig å benytte seg av observasjon av utprøvingen. Det kan f.eks. være situasjoner der en lærer ikke fikk med seg alt som skjedde under en utprøving, hvor dette kunne blitt fanget opp av en observasjon. En utfordring med observasjon er derimot at man da må være til stede under utprøvingene, som kan være tidkrevende. Det kan også være utfordrende og krevende å gjennomføre gode observasjoner. Data fra observasjoner burde derfor behandles med varsomhet under analysen hvis man har lite erfaring med å utføre observasjonsstudier.

Når det kommer til analyse av dataene i en utviklingsorientert master, vil dette også være et sted hvor utviklingsorientert master skiller seg fra en tradisjonell forskningsmaster. En utviklingsorientert master har utvikling som hovedfokus. Forskningsmetoder i en utviklingsorientert master brukes instrumentelt for å vurdere og forbedre produktet, ikke for å etablere generaliserbar kunnskap, dokumentere kausal effekt, utvikle teori eller produsere publikasjonsegnet forskning. Det forventes ikke at samtlige aspekter av utviklingsmålet blir grundig vurdert med rigorøs forskning, spesielt dersom dette ville krevet forskningsmetoder utover hva som forventes i en utviklingsorientert master. Datainnsamling og analyseprosesser skal derimot ha et klart formål, være tydelig formulert og beskrevet, og være hensiktsmessige for å besvare konkrete designspørsmål. Det forventes også at analysemetoder man bruker er basert på etablerte forskningsmetoder. Eksempel på dette kan være å bruke aspekter fra en tematisk analyse (se f.eks. Braun & Clarke 2008 eller Kuckartz 2019) for å analysere intervjuene fra en lærer for å finne ut hva læreren opplevde fungerte bra og hvor det er forbedringspotensiale.