Metaanaliza

Metaanaliza je posebna oblika statistične analize, v kateri na sistematičen način združujemo rezultate posameznih med seboj neodvisnih študij. Prednost metaanalize pred običajnimi empiričnimi raziskavami je v prvi vrsti v tem, da dosežemo bolj zanesljive rezultate. Zanesljivost v širšem smislu pomeni, da bomo s ponavljanjem meritev istega pojava v enakih ali vsaj primerljivih okoliščinah dobili primerljive rezultate. Rezultati posameznih empiričnih študij se namreč tudi ob enakih raziskovalnih načrtih zaradi naključnega vzorčenja med seboj razlikujejo. Z združevanjem različnih študij pa lahko izračunamo bolj zanesljive rezultate in povečamo moč statističnega zaključevanja. Praviloma metaanalize združujejo rezultate empiričnih študij, ki vključujejo odnos vsaj med dvema spremenljivkama, naj se gre za ugotavljanje velikosti povezanosti med dvema spremenljivkama, ali pa proučevanje velikosti razlik med eksperimentalno in kontrolno skupino v odvisni spremenljivki. Velikost povezanosti med spremenljivkama lahko izrazimo v standardizirani obliki, ki ji pravimo velikost učinka in predstavlja glavno enoto v metaanalizi. Bistveno vprašanje v metaanalizi je običajno, kakšna je povprečna velikost učinka različnih študij, ki proučujejo podoben fenomen. Raziskovalci pa v metaanalizah navadno naslovijo še dve vprašanji – kakšna je heterogenost (variabilnost) med študijami v velikostih učinka in ali lahko heterogenost med študijami pripišemo še kakšni drugi spremenljivki, v kateri so se študije med seboj razlikovale. Določena variabilnost med študijami je lahko posledica naključnega vzorčenja, večja heterogenost med študijami pa je običajno posledica številnih drugih dejavnikov (npr. drugačen raziskovalni načrt, različno zanesljivi merski instrumenti, drugače opredeljeni konstrukti, medkulturne razlike ipd.).

Metaanaliza nam tako ponuja hitre in zanesljive odgovore na raziskovalna vprašanja, daje pregled nad metodologijo študij in preverja vlogo moderatorskih spremenljivk, s katerimi lahko delno pojasnimo heterogenost med študijami.Uporabnost metaanalize pa ni omejena samo na proučevanje odnosa med fenomeni, ampak lahko z metaanalizo preverimo tudi veljavnost merskih instrumentov in veljavnost postopkov, ki so vključeni v različne študije.

Ločiti moramo metaanalize od sistematičnega pregleda literature. Sistematičen pregled literature je kvalitativen pregled področja in ponuja dober vpogled v posamezno znanstveno polje. Vključuje lahko tudi ugotovitve metaanaliz. Glavna naloga metaanalize pa je združevanje statističnih rezultatov empiričnih raziskav. Skupno obema pristopoma je, da si vnaprej postavita raziskovalna vprašanja in vključitvene in izključitvene kriterije za izbor študij, zaradi česar sta obe metodi sistematični.

Koraki metaanalize

Izvedbo metaanalize lahko razdelimo na 6 korakov:

1. Definiranje problema: V prvem koraku raziskovalec postavi raziskovalno vprašanje in pregleda, ali se je na izbranem področju kumuliralo zadostno število študij za izvedbo metaanalize. Operacionalizirati mora konstrukte, relevantne za izbrano področje in presoditi, kateri konstrukti spadajo k njegovemu raziskovalnemu vprašanju.
2. Iskanje literature: V naslednjem koraku raziskovalec določi, na podlagi katerih ključnih besed in v katerih bazah bo iskal študije. Ključno je tudi, da raziskovalec preglede neobjavljene prispevke (npr. preko spletnega iskalnika ali pa piše priznanim strokovnjakom na tem področju za dodatna neobjavljena dela) in magistrske oziroma doktorske naloge ter se na ta način skuša izogniti napaki pristranosti izbora študij. V nadaljevanju raziskovalec na podlagi kriterijev izloči študije, ki so relevantne za njegov raziskovalni problem. Kriteriji se običajno nanašajo na vsebinsko ustreznost študije za metaanalizo in minimalno velikost eksperimentalnih skupin.
3. Kodiranje študij: V tem koraku raziskovalec kodira vsako študijo glede na njene karakteristike – te se lahko nanašajo na raziskovalni načrt raziskav, metodološko ustreznost raziskav in merjene spremenljivke. Študije kodirata običajno dva ocenjevalca, pri čemer nato preverimo skladnost med njima.
4. Izračun velikosti učinka: Odvisno od zasnove študije in merske ravni spremenljivk se pojavljajo različne mere velikosti učinka, s katerimi ugotovimo velikost razlike med skupinami v odvisni spremenljivki na standardizirani lestvici oz. moč povezanosti med dvema spremenljivkama. Pri primerjavi aritmetičnih sredin dveh skupin (npr. razlika med eksperimentalno in kontrolno skupino) se velikost učinka običajno računa s Cohenovim d koeficientom, pri primerjavi aritmetičnih sredin več skupin (npr. razlika med eksperimentalno, kontrolno in placebo skupino) lahko izračunamo omego kvadrat, pri napovedovanju dihotomne odvisne spremenljivke (npr. napovedovanje recidivizma pri zapornikih) računamo razmerje obetov, pri ugotavljanju povezanosti med dvema spremenljivkama pa velikost učinka računamo s korelacijskim koeficientom (npr. povezanost med delovno uspešnostjo in inteligentnostjo). Kadar so uporabljene mere velikosti učinka čez študije različne, se pretvori vse mere velikosti učinka na isto mero.
5. Statistične analize in interpretacija: Pri statistični obdelavi podatkov v metaanalizah so v vrsticah podane velikosti učinka posamezne študije, v stolpcih pa različne moderatorske spremenljivke. Udeležence v metaanalizah torej predstavljajo posamezne študije, numerus metaanalize pa je število vključenih študij. V statistični obdelavi se običajno izračuna povprečno velikost učinka in njen interval zaupanja, oceni se razpršenost velikosti učinkov in preveri se moderatorsko vlogo različnih spremenljivk, s katerimi skušamo pojasniti heterogenost velikosti učinkov, če je ta večja, kot bi jo lahko pripisali naključnemu vzorčenju.
6. Publikacija: Metaanalizo se objavi kot članek, ki ima podobno strukturo kot običajne študije: uvod, metodo, rezultate in interpretacijo. 

Grafični prikaz rezultatov

V metaanalizah se najpogosteje srečamo z drevesnim in lijakastim diagramom. Drevesni diagram je grafična reprezentacija velikosti učinkov vključenih študij z intervalom zaupanja. Na ta način dobimo vpogled v heterogenost velikosti učinkov različnih študij, običajno pa je podana tudi povprečna obtežena velikost učinka čez vse študije. X os je merjena v eni izmed mer velikosti učinkov in je pri razmerju obetov za bolj intuitiven pregled logaritmirana. Na x osi je običajno podana tudi skupna velikost učinka. Vsaka študija je prikazana v obliki diamanta oziroma kvadratka in velikost lika nakazuje na velikost študije oziroma utež, ki jo ima študija v metaanalizi. Čeprav o velikosti študiji lahko sklepamo tudi na podlagi narisanih intervalov zaupanja, pa je funkcija različnih velikosti likov ta, da pritegne pogled k večjim študijam.

Lijakasti graf je razsevni grafikon med standardno napako, ki je obratno sorazmerna z velikostjo študije (podana na navpični osi), in velikostjo učinka (podana na vodoravni osi). Na podlagi povprečne velikosti učinka se na grafu nariše 95 % interval zaupanja glede na velikost standardne napake. Z večjimi študijami (ki imajo praviloma nižje standardne napake) dobimo bolj stabilne ocene velikosti učinka in so tako intervali zaupanja za večje študije ožji. Najbolj so razpršene velikosti učinka pri majhnih študijah, kjer lahko zaradi naključnega vzorčenja ugotovimo tudi bistveno višjo ali nižjo velikost učinka od povprečne velikosti učinka. Pri lijakastem grafu smo pozorni na morebitno asimetrijo grafa glede na povprečno velikost učinka, kar lahko kaže na problem pristranskosti objavljanja študij v revijah. Na lijakastem grafu lahko v primeru pristranskosti objavljanja opazimo asimetrijo v spodnjem delu grafa, kjer »manjkajo« manjše študije s podpovprečno velikostjo učinka.

Statistični modeli metaanalize

V metaanalizi se običajno uporabljata dva statistična modela – model naključnih učinkov (angl. random effect model) in model stalnih učinkov (angl. fixed effect model). Model fiksnih učinkov predpostavlja, da je vzorec študij v metaanalizi eden izmed možnih vzorcev, ki bi jih lahko vzeli iz iste populacije na isto temo. Tako predpostavljamo, da imajo vse vključene študije enak raziskovalni okvir in da so učinki posameznih študij vzorčne vrednosti iste populacije. V tem modelu so vzorci med seboj homogeni. V primeru, ko sumimo, da se zasnove študij, uporabljeni merski instrumenti in drugi pogoji med seboj razlikujejo, pa je bolj realistično pričakovati model naključnih učinkov. V tem modelu predpostavljamo, da študije ocenjujejo velikost učinka za različne populacije. V modelu naključnih učinkov imamo dva glavna vira variabilnosti: znotraj-študijska variabilnost in med-študijska variabilnost. Znotraj-študijska variabilnost je ocenjena vzorčna varianca velikosti učinkov za posamezno študijo. Ocenjena varianca velikosti učinkov študij, ki so zbrane v metaanalizi, pa predstavlja medskupinsko variabilnost. Povprečna velikost učinka je odvisna od statističnega modela, ki ga uporabimo, vendar se bodo rezultati modela naključnih učinkov z manjšanjem med-študijske variabilnosti približevali modelu fiksnih učinkov.

Omejitve metaanalize

Napaka, ki jo lahko zagrešijo metaraziskovalci, je prevelika nehomogenost vzorcev. Združevanje vzorcev z drugače opredeljenimi konstrukti in močno različnimi tipi eksperimentalnih zasnov prispeva k sistematični napaki v variabilnosti vključenih študij v metaanalizo. Problem je ponekod opisan tudi z metaforo združevanja hrušk in jabolk.

Kakovost metaanalize je odvisna od metodološke ustreznosti vključenih študij. Problem je lahko tudi v pristranskem poročanju o rezultatih v empiričnih študijah, saj lahko raziskovalci izpustijo nekatere statistično nepomembne rezultate.

Omejitev metaanalize pa je lahko tudi pristranskost objavljanja študij v revijah. Pristranskost objavljanja se nanaša na to, da imajo študije, ki so ugotovile statistično pomemben učinek, veliko večjo verjetnost za objavo v znanstveni reviji, kot če rezultati niso statistično pomembni, na to pa so občutljive predvsem manjše študije. Večje študije imajo namreč večjo moč statističnih testov in imajo zato večjo verjetnost, da odkrijejo učinek, če ta dejansko obstaja. Ker metaanalize v glavnem izhajajo iz objavljenih člankov, so zato statistično nepomembni rezultati manjših študij redkeje vključeni v metaanalize, kar se odraža v višji  povprečni velikosti učinka od realne. Pristranskost objavljanja lahko preverimo z lijakastim grafom in se kaže kot asimetrija v spodnjem delu lijakastega grafa, kar pomeni, da je v metaanalizo vključenih nesorazmerno veliko manjših študij s statistično pomembnim učinkom. Raziskovalci se napaki pristranosti objavljanja poskušajo izogniti z vključitvijo neobjavljenih del, diplomskih in magistrskih nalog, poročil vladnih in nevladnih organizacij ipd.