In 1962 en 1963 schreef Barney Glaser twee korte artikelen over secundaire analyse van kwalitatieve onderzoeksdata. Hier ging hij in op een vraag die veel onderzoekers zichzelf ooit hebben gesteld bij het lezen van andermans werk: “what would have happened if the author had done this or that with his data?” (1962, p. 71).
Glaser noemde in de artikelen een aantal voordelen van het hergebruiken of herbestuderen van originele onderzoeksdata die door anderen zijn verzameld: onderzoekers kunnen meer data gebruiken voor hun onderzoeksproblemen, het bespaart onderzoeksgelden, er kan snel en efficiënt data worden verzameld en de secundaire onderzoeker werpt een frisse blik op de data. Glaser noemde een aantal punten die nog altijd genoemd worden in discussies over de voor-en nadelen van het hergebruiken van onderzoeksdata. Aangezien dataopslag en -deling steeds makkelijker is, is deze discussie steeds relevanter.
Helaas voor Glaser was secundaire analyse in de tijd van zijn publicaties over het onderwerp redelijk moeilijk tot stand te brengen. Data was namelijk fysiek opgeslagen, en voor kwalitatief veldonderzoek vormden zelfgemaakte veldnotities belangrijk bronmateriaal. Ook waren geluidsopnames nog niet zo makkelijk te maken als nu, en documenten konden vrijwel uitsluitend op locatie, fysiek, worden bekeken. Om secundaire analyse te kunnen doen, had een kwalitatief onderzoeker dus moeten vragen om de veldnotities van een andere onderzoeker, die op locatie moeten gaan inzien, alle gebruikte documenten na moeten gaan op locatie en moest dan maar hopen dat alles compleet was.
Het is dan ook niet verrassend dat secundaire analyse in de vorm van het nagaan van iemands primaire kwalitatieve bronmateriaal in de vorige eeuw moeilijk was en zeer weinig gedaan werd. In 1988 publiceerde antropoloog Peter Kloos Door het oog van de antropoloog: botsende visies bij heronderzoek. In dit boek gaat Kloos in op antropologische herstudies in zes verschillende casussen. Hij concludeert dat in de meeste gevallen van herstudies het niet zozeer over een herstudie van het bronmateriaal gaat, maar over een nieuwe studie; het onderzoek kan bijvoorbeeld over dezelfde context gaan maar op een later tijdstip, ander soort bronnen gebruiken of een andere theoretische oriëntatie.
Nieuwe technologische mogelijkheden om te archiveren
De tijden zijn echter veranderd en het is technisch mogelijk geworden om grote hoeveelheden kwalitatieve onderzoeksdata digitaal te archiveren. Dit moeten onderzoekers ook steeds vaker van hun werkgevers, opdrachtgevers of uitgevers. Hierdoor wordt het vaker mogelijk om gearchiveerde onderzoeksdata naast de publicatie te houden. Archieven zoals het Nederlandse DANS, de UK Data Service en het Amerikaanse Qualitative Depository hebben een groeiend bestand aan gearchiveerd empirisch materiaal. Wellicht dat Glaser, overleden in 2022, in zijn laatste levensjaren nog op zijn computer deze archieven heeft afgestruind op zoek naar het antwoord op zijn prangende vraag.
Wat in ieder geval fijn voor hem moet zijn geweest, is dat er in de afgelopen jaren veel aandacht is geweest voor archivering en secundaire analyse in de kwalitatieve methodologische literatuur (zie bijvoorbeeld: Bishop & Kuula-Luumi, 2017; Corti, 2022; Corti & Thompson, 1998; Heaton, 2004). Uit deze discussies is een aantal argumenten gekomen die de voordelen voor deelnemers meer benadrukken. Voor onderzoek naar gevoelige onderwerpen of onderwerpen die trauma’s kunnen oproepen kan bijvoorbeeld gebruikmaken van bestaande data in plaats van nieuwe data een manier zijn om deelnemers te ontlasten (Sherif, 2018).
Angst en ethische bezwaren rondom archivering
Voor veel kwalitatieve onderzoekers kunnen deze ontwikkelingen op het gebied van data-archivering angstbeelden aanwakkeren: moeten we straks meer formulieren invullen om onze onderzoeksopzet te verdedigen? Wordt elk citaat binnenstebuiten gekeerd? Waarom heeft het ene interview zo lang geduurd en het andere zo kort? Allemaal vragen die gesteld kunnen worden wanneer onderzoeksdata gearchiveerd zijn.
Daarnaast zijn er veel ethische vraagstukken omtrent data-archivering en -deling. Er is veel kwalitatief onderzoek met kwetsbare groepen voor wie het onwenselijk of gevaarlijk is om bijvoorbeeld interviewtranscripten online te zetten. Het is sowieso erg lastig te voorspellen wat er gebeurt met data nadat het in een online archief is gezet (Teixeira da Silva & Nazarovets, 2023). Ontwikkelingen op het gebied van AI hacking of webscraping vergroten risico’s op datalekken, zowel opgemerkt als onopgemerkt. Aangezien kwalitatieve data-archivering vaak niet volledig open is, maar toegankelijk onder bepaalde voorwaarden, is dit een probleem dat een grote groep onderzoeksdeelnemers aangaat.
Wetenschappers binnen de meer institutie-kritische tak van de kwalitatieve onderzoeksmethodologie hebben zich door de jaren heen sterk verzet tegen al te grote inmenging van beleidsmakers (vooral waar die (volledige) publicatie van data vereisten) en hardgemaakt voor de belangen van onderzoeksdeelnemers. Terecht, want overmatige bureaucratisering van kwalitatief onderzoek is onwenselijk en op het gebied van digitale veiligheid bevinden we ons in een zeer onzekere tijd.
Groeiende beschikbaarheid van kwalitatieve data
Toch kunnen we er niet aan voorbij dat kwalitatief onderzoek mee verandert met het informatielandschap. Waar begin 20ste eeuw een antropoloog of socioloog nog vaak autoriteit ontleende vanwege het simpele feit dat diens onderzoek één van de enige documentaties was van bepaalde gebieden of mensen, bevinden onderzoeksresultaten zich nu op een overvol internet. Haast alles is al beschreven, gefilmd, of gefotografeerd. Kwalitatieve onderzoeksarchieven zijn slechts een fractie van dit geheel.
De groeiende beschikbaarheid van kwalitatieve data voegt een nieuwe invalshoek toe aan de discussie over onderzoekskwaliteit in kwalitatief onderzoek. Waar vroeger de standaard was dat data niet beschikbaar werd, waarmee de focus noodzakelijk vooral op het eindproduct lag, kan er nu vaker meegekeken worden met het empirische deel. Daardoor kunnen bestaande kwaliteitsconcepten gedetailleerder worden uitgewerkt. De trustworthiness criteria van Lincoln & Guba zijn bijvoorbeeld deels gebouwd op het verkrijgen van inzicht in het dataverzamelingsproces (1985). Een interviewquote kan bijvoorbeeld niet alleen beoordeeld worden op hoe die het narratief van een onderzoekspublicatie ondersteunt, maar ook op hoe die in verhouding staat met de rest van het interview. Is de quote een accurate weergave van wat de participant bedoelde, of is het misschien uit zijn verband getrokken? Deze vraag raakt aan het credibility criterium waarmee wordt gekeken naar of de onderzoeksverbindingen in verhouding staan met de belevingswereld van de participant of de bron. Ook hadden Lincoln & Guba het over de audit trail om het controleren van trustworthiness criteria mogelijk te maken. De audit trail, het inzichtelijk maken van dataverzameling en verwerking voor externe audits, is met online archivering beter mogelijk dan ooit.
Daarnaast zouden er ook gerichtere vragen gesteld kunnen worden over de mate waarin de informatieverzameling zelf nodig is. Als een onderzoeker interviews wil doen met een bepaalde groep mensen, maar iemand heeft al interviews gearchiveerd en openbaar gemaakt met eenzelfde groep, waarom zou de onderzoeker dan betaald moeten worden om nogmaals soortgelijke data te verzamelen? Dit soort kritiek kan afhankelijk van de context terecht of onterecht zijn, feit is dat kwalitatief onderzoek op meerdere details bevraagd kan worden die vroeger minder of niet zichtbaar waren.
Meebewegende kwaliteitsstandaarden
Een uitdaging voor kwalitatieve onderzoekers en methodologen is dus om empirische kwaliteitsstandaarden mee te laten meebewegen met de werkelijkheid van het huidige informatielandschap waarin kwalitatieve empirie van meer kanten kan worden bevraagd. Om die standaarden te ijken, is er gelukkig steeds meer gearchiveerd bronmateriaal beschikbaar. Kwalitatieve onderzoekers kunnen dus steeds beter met elkaar meekijken en van elkaar leren om zo in constructieve dialoog tot passende manieren van herstuderen te komen.
Bio
Tamarinde Haven is universitair docent kwalitatieve onderzoeksmethodologie bij Tilburg University. Eerder werkte zij aan preregistratie voor kwalitatief onderzoek en ze is mede-oprichter van de Open Qualitative Research Community. Haar Veni gaat over het versterken van rigor in mixed methods onderzoek.
Xavier Salet is PhD-kandidaat in kwalitatieve onderzoeksmethodologie bij Tilburg University. Een deel van zijn promotieonderzoek gaat over vraagstukken bij data-archivering en -hergebruik.
Referenties
Bishop, L., & Kuula-Luumi, A. (2017). Revisiting qualitative data reuse: A decade on. SAGE open, 7(1), 1-15. https://doi.org/10.1177/2158244016685136
Corti, L. (2022). Secondary Qualitative Data Analysis. In U. Flick (Ed.), The SAGE Handbook of Qualitative Research Design. London: Sage (pp. 535-554). SAGE.
Corti, L., & Thompson, P. (1998). Are you sitting on your qualitative data? Qualidata’s mission. International Journal of Social Research Methodology, 1(1), 85-89. https://doi.org/10.1080/13645579.1998.10846865
Glaser, B. G. (1962). Secondary Analysis: A Strategy for the Use of Knowledge from Research Elsewhere. Soc. Probs., 10, 70.
Glaser, B. G. (1963). Retreading research materials: The use of secondary analysis by the independent researcher. American Behavioral Scientist, 6(10), 11-14.
Heaton, J. (2004). Reworking Qualitative Data. Sage.
Kloos, P. (1988). Door het Oog van de Antropoloog: Botsende Visies bij Heronderzoek. Coutinho.
Lincoln, Y., & Guba, E. (1985). Naturalistic Inquiry. SAGE.
Sherif, V. (2018). Evaluating preexisting qualitative research data for secondary analysis. Forum qualitative sozialforschung/forum: Qualitative social research,
Teixeira da Silva, J. A., & Nazarovets, S. (2023). Can the principle of the ‘right to be forgotten’ be applied to academic publishing? Probe from the perspective of personal rights, archival science, open science and post-publication peer review. Learned Publishing, 36(4), 651-666. https://doi.org/https://doi.org/10.1002/leap.1579