Hoe de CLS360 voldoet aan de evidence-based criteria.
3 criteria:
1. Theorie
2. Statistiek
3. Publicaties
Criterium 1. THEORIE
Is de test gebaseerd op een deugdelijke en bewezen theorie, dit betekent dat de theorie meermaals werd getest en convergent is—of ten minste niet tegenstrijdig is—met andere wetenschapsdomeinen zoals (evolutionaire) psychologie, (evolutionaire) biologie, chemie en fysica?
Een (psychologische) theorie kan nooit ‘juist’ zijn als ze in tegenspraak is met de wetten van de fysica, met de bevindingen uit de biologie (ons brein is een orgaan van ‘vlees en bloed’) en de chemie (ons brein kan niet werken zonder chemische processen).
De onderliggende theorie van de CLS360 is het Interpersoonlijk Circumplex. De laatste 60 jaar (sinds 1957) werd het Interpersoonlijk Circumplex uitvoerig onderzocht en bevestigd in honderden studies in peer-reviewed publicaties (voor een overzicht zie http://sitarsociety.weebly.com/publications-and-links.html). Momenteel wordt het aanvaard als hét universeel model om interpersoonlijk gedrag van mensen in kaart te brengen.
De Circumplextheorie convergeert sterk met de bevindingen uit de (evolutionaire) biologie, met name de vaststelling dat alle sociale soorten zowel concurreren (Agency – de verticale as uit het Circumplex) als samenwerken (Communion – de horizontale as uit het Circumplex).
De hypothese dat ook leiderschap kon voorgesteld worden als een Interpersoonlijk Circumplex, het Leiderschapscircumplex, werd bevestigd in 6 Europese studies en 1 Australische studie.
De volgende delen bespreken (psychometrische) betrouwbaarheid en validiteit, maar beide statistische methodes zeggen niets over de theorie zelf en moet men als een apart criterium beschouwen.
Criterium 2: Statistiek
Wanneer u een nieuwe test ontwikkelt, voldoet de testconstructie aan de hoogste psychometrische standaarden?
Er worden 2 criteria gebruikt om de kwaliteit van een psychometrische test te beoordelen - betrouwbaarheid en validiteit.
i. Betrouwbaarheid
Psychometrische betrouwbaarheid verwijst naar de 'consistentie' van een meting, 'meetfouten' en de 'herhaalbaarheid' van een meting. Met andere woorden, meet de test op een correcte wijze (met slechts een kleine foutenmarge). Om de betrouwbaarheid te bepalen, wordt er gekeken naar 'interne betrouwbaarheid' en 'test-hertest betrouwbaarheid'.
a. Interne betrouwbaarheid (consistentie) van de schalen
Vertonen de items of vragen die deel uitmaken van de schalen van het model een hoog niveau van interne consistentie?
Het is onwenselijk dat items van eenzelfde schaal niet correleren; indien dit het geval is, maken ze mogelijks geen deel uit van de schaal. Alle items moeten hetzelfde algemene construct meten (bv. inspirerend leiderschap). In de academische wereld wordt een waarde van .70 (Cronbach's alpha coëfficiënt) als ‘voldoende betrouwbaar’ geacht.
De schalen van de CLS360 overtreffen deze standaard en variëren van .77 (directief) tot .91 (coachend), wat goed tot uitstekend is.
b. Hoge test-hertest betrouwbaarheid
Wanneer aan leidinggevende wordt gevraagd om de test opnieuw in te vullen, zijn de resultaten van de eerste en de tweede meting dan gelijkaardig?
Het is onwenselijk dat de resultaten van een eerste meting significant verschillen met die van een tweede binnen vier tot zes weken. Psychometrische test-hertest betrouwbaarheid wordt uitgedrukt als een correlatiecoëfficiënt. Een wetenschappelijk aanvaardbare standaard is .70.
De schalen van de CLS360 overtreffen deze standaard en variëren van .75 (Wantrouwend) tot .87 (Inspirerend). Dit geeft een hoge test-hertest betrouwbaarheid aan en wordt als goed tot uitstekend omschreven.
ii. Validiteit
Meet de test in zijn totaliteit én enkel wat het beweert te meten? Twee typische manieren om dit te testen zijn convergente en predictieve validiteit.
a. Convergente validiteit
Convergeren de schalen van de CLS360 met andere bestaande wetenschappelijke vragenlijsten die theoretisch sterk gerelateerde concepten meten (uitgedrukt met een correlatiecoëfficiënt)?
De schalen van de CLS360 liggen duidelijk in lijn met andere erkende schalen en tonen een hogere betrouwbaarheid.
b. Predictieve validiteit
Voorspelt het meetinstrument bepaalde effecten in zijn hypothesen?
De CLS360 voorspelt in hoge mate leiderschapseffecten zoals performantie en inzet. Er bestaat een grote hoeveelheid aan onderzoek dat leiderschapsstijlen linkt aan effecten zoals 'effectiviteit', 'organisatiebetrokkenheid', 'jobtevredenheid', 'omzet', enz.
Criterium 3. PUBLICATIES
Werd het onderzoek, waarop de test is gebaseerd, 'peer-reviewed' en gepubliceerd in een internationaal en wetenschappelijk tijdschrift met een hoge impact (A1)?
Om een artikel te kunnen publiceren in een A1-tijdschrift moet het onderzoek voldoen aan de ‘gouden standaard’, dit houdt o.a. hypothese testing en herhaling in, en het leveren van een bijdrage aan de vooruitgang van de wetenschap. Ideaal gezien wordt het onderzoek mee opgenomen in uitgebreide meta-analyses (van gelijkaardig onderzoek over een langere periode) om de effectiviteit over meerdere wetenschappelijke studies heen aan te tonen. Het CLS360 onderzoek voldoet aan deze gouden standaard want het is het resultaat van een doctoraatsonderzoek (Marleen Redeker, Vrije Universiteit Amsterdam) én—van groter belang—het werd gepubliceerd in een peer- reviewed A1 tijdschrift, European Journal of Work and Organizational Psychology. Het artikel werd vrij toegankelijk gemaakt—via deze link kan u het downloaden: http://dx.doi.org/10.1080/1359432X.2012.738671