Soorten effectonderzoek

Professionele methodieken zijn theoretisch goed onderbouwd en met onderzoek op hun effect getoetst. Voor dergelijk onderzoek zijn verschillende methoden ontwikkeld.

Niet-experimenteel kwaliteitsonderzoek
In een niet-experimenteel kwaliteitsonderzoek staat de vraag centraal wat de kwaliteit is van een interventie, zonder vergelijking met een andere cliënt of groep bij wie geen of een andere interventie is toegepast. Voorbeelden van dergelijk onderzoek zijn: hoe tevreden zijn de cliënten, in welke mate zijn de doelen van de interventie bereikt, in welke mate voldoet de interventie aan kwaliteitsstandaarden, welk percentage van de deelnemers haakt af? In de praktijk wordt dit soort onderzoek vaak uitgevoerd.

Niet-experimenteel veranderingsonderzoek
Een bijzondere vorm van kwaliteitsonderzoek die ook veel in de praktijk wordt toegepast is veranderingsonderzoek. Daarbij worden kenmerken van cliënten voor en na de interventie gemeten. Bij een trainingsprogramma voor kinderen met gedragsstoornissen helpt bijvoorbeeld een gedragsvragenlijst voor de ouders de aanwezige problemen voor en na de interventie vast te stellen. Het verschil tussen de voor- en nameting geeft dan een eerste indicatie van de effectiviteit van de interventie.
Een bijzondere variant hierop is veranderingsonderzoek waarvan de uitkomsten worden vergeleken met een externe norm (ook wel ‘Normgerelateerd veranderingsonderzoek’ of ‘benchmarkstudie’ genoemd). Bijvoorbeeld, de resultaten van het nieuwe trainingsprogramma worden vergeleken met de uitkomsten van experimenteel effectonderzoek bij soortgelijke trainingsprogramma’s die als ‘bewezen effectief’ te boek staan. Dit soort studies kunnen belangrijke eerste aanwijzingen leveren voor de effectiviteit van interventies.
De laatste jaren ontstaan varianten waarbij gezocht wordt naar een verband tussen de uitkomsten in een groep en bijvoorbeeld:

• de duur van de interventie (geldt de regel: hoe meer contacten, hoe beter de resultaten?);
• het soort activiteiten dat in het kader van de interventie bij iedere cliënt afzonderlijk is uitgevoerd (zijn kinderen beter af als hun ouders huiswerkopdrachten hebben gemaakt?), en
• de demografische kenmerken van de groepsleden (heeft de interventie minder of juist meer effect bij cliënten in een achterstandsbuurt?).

Als een dergelijke studie bedoeld is om vooraf voorspelde verbanden te toetsen, dan spreekt men van het zogeheten ‘Veranderingstheoretisch onderzoek’. Dat kan sterke aanwijzingen opleveren voor de effectiviteit van een interventie, zeker als verschillende studies consistent dezelfde verbanden aantonen.

Casestudies (N=1 onderzoek)
Een aparte vorm van veranderingsonderzoek is de casestudie. Kenmerkend daarbij is dat de toestand van één onderzoeksobject - bijvoorbeeld een kind, opvoeder, leerkracht, school of wijk - op verschillende momenten wordt beschreven: vóór de interventie, tijdens de interventie en wanneer veranderingen optreden. Meestal vinden de metingen meermalen plaats, zodat het verloop van de veranderingen als gevolg van de interventie goed is te zien.
Een variant van deze opzet is de herhaalde casestudie. Daarin toetst de onderzoeker de resultaten uit een eerdere studie door het onderzoek te herhalen bij nieuwe gevallen. Komen daar steeds weer dezelfde resultaten uit, dan is het steeds aannemelijker dat de interventie een rol speelt in de geconstateerde veranderingen. Een herhaalde casestudie kan in dat geval een krachtig bewijs leveren voor de effectiviteit.

(Quasi-)Experimenteel onderzoek
Het hoofdkenmerk van experimenteel effectonderzoek is dat de interventie waar het onderzoek over gaat - de experimentele conditie - wordt vergeleken met een andere interventie of met een groep waarbij geen interventie is toegepast - de controleconditie.
In het ideale geval zijn de proefpersonen willekeurig over de experimentele en de controlegroep verdeeld. Zo'n onderzoek is een RCT: een 'randomized controlled trial' of 'randomized clinical trial'.
In de praktijk van de hulpverlening wordt zelden een RCT uitgevoerd. Vaak krijgen hulpverleners of cliënten een stem bij de verdeling van de proefpersonen over de twee groepen. Ook komt het voor dat groepen uit verschillende instellingen met elkaar vergeleken worden, waarbij bij de ene groep interventie X is toegepast en bij de ander interventie Y. In zulke gevallen is er sprake van quasi-experimenteel onderzoek. Een speciale vorm van quasi-experimenteel onderzoek is het 'matched design', waarbij via een statistische procedure aan elke experimentele casus een zo goed mogelijk gelijkende controle-casus wordt gekoppeld. In het zogeheten 'Project nulmeting' is daarvoor een procedure uitgewerkt. Zie het onderstaande rapport 'Over verandering gesproken'.

Metastudies
Als er verschillende effectonderzoeken naar een interventie zijn verricht, stemmen de resultaten vaak niet precies overeen. De ene studie laat bijvoorbeeld zien dat de interventie in alle opzichten effectief is, terwijl het andere onderzoek uitwijst dat de resultaten op sommige onderdelen gunstig zijn maar op andere niet. Metastudies zetten al dit soort resultaten op een rij. Met speciale procedures en technieken worden de uitkomsten met elkaar vergeleken en worden de factoren onderzocht die eventuele verschillen kunnen verklaren. Zo wordt duidelijk of een interventie over het algemeen wel of niet effectief is.

Welk onderzoek is beter?
Er is de laatste jaren veel discussie over de vraag welke onderzoeksopzet het ultieme bewijs voor effectiviteit levert. Goed effectonderzoek vertoont drie kenmerken:

• Een hoge interne validiteit. Dat wil zeggen dat het onderzoek zo zuiver mogelijk het effect van de interventie vaststelt, zonder allerlei storende invloeden. 'Randomized controlled trials' (willekeurige steekproeven met een experimentele en een controlegroep) voldoen vaak aan dit criterium.
• Een hoge externe validiteit of representativiteit. De onderzoekssituatie is dan een betrouwbare afspiegeling van de toepassing van de interventie in de praktijk. Casestudies en niet-experimenteel onderzoek hebben vaak dit kenmerk.
• Een 'follow-up'. De effecten moeten niet alleen direct na het beëindigen van de interventie gemeten zijn, maar ook in de periode daarna, om te bezien of de resultaten beklijven.

Het komt zelden voor dat effectstudies aan alle criteria voldoen. Dat pleit voor een goede spreiding van verschillende soorten studies.

Onderzoek en de databank Effectieve Jeugdinterventies
Om in de databank Effectieve Jeugdinterventies opgenomen te worden moet een interventie minstens van de Erkenningscommissie Interventies de kwalificatie hebben ‘Theoretisch goed onderbouwd’. Vervolgens zijn ook de kwalificaties ‘Waarschijnlijk effectief’ of ‘Bewezen-effectief’ te halen. Cliënttevredenheidsstudies, doelrealisatie-onderzoek en veranderingsonderzoek zonder benchmarks helpen de eerste indicaties voor effectiviteit te vinden, maar zijn niet voldoende voor deze kwalificaties. Voorwaarde is dat er sprake is van normgeralateerd veranderingsonderzoek, veranderingstheoretisch onderzoek, N=1-onderzoek of (quasi-) experimenteel onderzoek.

Bronnen en meer informatie

• Geurts, E., Lekkerkerker, L., Yperen, T.A. van & Veerman, J.W. (2010) 'Over verandering gesproken. Op weg naar meer zicht op effectiviteit van de jeugdzorgpraktijk.' Utrecht / Nijmegen: Nederlands Jeugdinstituut / Praktikon.
• Kazdin, A.E. (red., 2003). 'Methodological issues and strategies in clinical research' (derde editie). Washington D.C., American Psychological Association.
• Loon, D. van, & Meulen, B. van der (2004). 'Effectonderzoek naar vroegtijdige orthopedagogische interventies. Methodologische moeilijkheden en mogelijkheden'. Amsterdam, Boom.
• Rossi, P.H., Lipsey, M.W., & Freeman, H.E. (2004). 'Evaluation. A systematic approach' (7e editie). Thousand Oaks, Sage Publications.
• Shadish, W.R., Cook, T.D., & Campbell, D.T. (2002). 'Experimental and quasi-experimental designs for generalized causal inference'. Boston, Houghton Mifflin Company.
• Veerman, J.W., & Yperen, T.A. van (2005). Paper gepresenteerd op de preconference workshop 'Jeugdzorg in onderzoek: focus op effectiviteit', Amsterdam, 27 januari 2005. Nijmegen/Utrecht, Radbouduniversiteit/Universiteit Utrecht.
• Yperen, T.A. van & Veerman, J.W. (red., 2008). 'Zicht op effectiviteit. Handboek voor praktijkgestuurd effectonderzoek onderzoek in de jeugdzorg'. Delft, Eburon.
• Wartna, B.S.J. (2005). 'Evaluatie van daderprogramma's. Een wegwijzer voor onderzoek naar de effecten van strafrechtelijke interventies speciaal gericht op het terugdringen van recidive'. Meppel, Boom Juridische Uitgevers.