Publikációs torzítás

Ebben a cikkben megvizsgáljuk a Publikációs torzítás lenyűgöző világát és mindazt, amit ez a koncepció magában foglal. Az eredetétől a mai társadalomra gyakorolt ​​hatásáig, többféle értelmezésén és különböző területeken történő alkalmazásán keresztül elmélyülünk ebben az izgalmas témában, amely világszerte oly sok ember figyelmét felkeltette. Részletes elemzés és alapos kutatás révén felfedezzük a Publikációs torzítás különböző oldalait és azt, hogy hogyan fejlődött az idők során. Nem számít, hogy Ön szakértő a témában, vagy egyszerűen csak kíváncsi, hogy többet megtudjon róla, ez a cikk egy teljes és gazdagító elképzelést kínál a Publikációs torzítás-ről. Készülj fel, hogy elmerülj ebben az izgalmas univerzumban!

A publikációs torzítás (más néven fiókeffektus vagy asztalfiók-effektus) egy, a tudományos kutatások publikációja terén előforduló torzítás. Akkor beszélünk publikációs torzításról, mikor egy kísérlet vagy kutatás eredménye befolyásolja azt, hogy publikálják vagy más módon terjesztik-e. A publikációs torzítás azért lényeges, mert egy adott hipotézist tárgyaló szakirodalmi összefoglalókban, metaanalízisekben is megjelenik a torzítás, ha a téma irodalmában jelen van.[1]

Több tényező is publikációs torzításhoz vezethet.[1] A szignifikáns eredményt hozó kutatásokat háromszor olyan valószínűséggel jelentetik meg, mint a nem szignifikáns eredményűeket,[2] annak ellenére, hogy az utóbbiak ugyanolyan minőségűek lehetnek a kutatási design és a kivitelezés tekintetében, mint a szignifikáns eredménnyel záruló kutatások.[3] Arra is van példa, hogy a publikációs gyakorlat a negatív eredmények felé torzít; ha egy tudományos eredmény már biztosan alátámasztott, hírértéke lehet az olyan kutatások publikációjának, melyek nem találtak hasonló eredményt.[4] Az érem másik oldala, hogy az ellentmondó eredményeket gyakorta azért nem publikálják, mert maguk a kutatók nem nyújták be azokat. Ennek oka például az, hogy a kutatók azt feltételezik, hogy hibáztak, mikor kutatásuk nem támasztott alá egy jól ismert eredményt; elvesztették érdeklődésüket a téma iránt vagy feltételezik, hogy másokat nem fog érdekelni a negatív eredmény.[3]

A nem publikált munkák azonosítása gyakran nehézségekbe ütközik vagy egyenesen lehetetlen.[1] A probléma megoldására több tudományos folyóirat a publikációra benyújtott kutatások előzetes regisztrációját vezette be, ez azt jelenti, hogy a kutatás tervét még az adatok gyűjtése és elemzése előtt közölni kell. Más ajánlott stratégia a publikációs torzítás felismerésére és kontrollálására a valószínűség-eloszlás elemzése és a kis, nem-randomizált kutatások kizárása az esetükben gyakori hibák és torzítások elkerülése végett.[3]

Definíció

Akkor beszélünk publikációs torzításról, mikor kutatási eredmények publikációja nem csak a kutatás minőségén, hanem a vizsgált hipotézisen és az eredmények irányán és statisztikai szignifikanciáján is múlik.[5] A fogalmat először Theodore Sterling statisztikus használta 1959-ben olyan tudományterületek tárgyalásakor, melyekben a „sikeres” kutatások nagyobb valószínűséggel jelennek meg. Ennek eredményeképpen „az ilyen területek irodalma lényeges mennyiségű hamis következtetést tartalmaz, melyek az elsőfajú hibából fakadnak”.[6]

A publikációs torzítást gyakran asztalfiók-hatásnak vagy Robert Rosenthal[7] nyomán az asztalfiók problémájának nevezik. Ezek az elnevezések arra utalnak, hogy egy adott hipotézist nem támogató eredmények gyakran a kutatók asztalfiókjában maradnak, mely torzításhoz vezet a megjelent irodalomban.[8]

A pozitíveredmény-torzítás a publikációs torzítás egy fajtája, mely abból fakad, hogy a szerzők és a folyóiratszerkesztők nagyobb hajlandóságot mutatnak pozitív eredmények benyújtására, valamint elfogadására, mint negatív vagy nem egyértelmű eredményekére.[9] Az eredményközlési torzítás akkor lép fel, mikor a kutatók több eredményt mértek és elemeznek, majd az eredmények ereje és iránya alapján döntenek arról, hogy melyiket közlik. Ezeket az úgynevezett post hoc döntéseket az angol nyelvű tudományos közvélemény a „hypothesizing after the results are known” (hipotézisalkotás az eredmények tudatában) angol kifejezés kezdőbetűiből HARKingnek („HARKolásnak”) nevezi.[10]

Rizikótényezők

John Antonakis[11] a tudományos gyakorlat problémáit játékosan a tudományt veszélyeztető öt betegségként foglalja össze: significosis, vagyis a szignifikáns eredményekre való túlzott fókuszálás; neophilia, az újdonságok iránti túlzó lelkesedés; theorrhea, az új elméletek hajszolása; arigorium, a fegyelem hiánya az elméleti és empirikus munkában, és végül a disjunctivitis, a nagy mennyiségű redundáns, triviális és inkoherens munka előállítása. Ezen tényezők kiválthatják vagy hozzájárulhatnak a publikációs torzításhoz.

John Ioannidis[12] szerint a „kutatási eredmények sokszor csak pontos mérőeszközei a meglévő torzításoknak”. A következő tényezőket sorolja fel, melyek a pozitív eredménnyel bíró kutatások valószínűbb publikációjához vezetnek:

  • a tudományterületen megjelenő kutatások kis elemszámúak
  • alacsony hatásméret
  • nagyszámú, előzetesen nem szűrt kapcsolat mérése
  • kutatási dizájnok, definíciók, eredmények, elemzési módok rugalmas használata
  • előzetes várakozások (pénzügyi vagy másmilyen érdek)
  • verseny az adott kutatási területen; magas motiváció a szignifikáns eredmények közlésére

Más ilyen tényező például a kísérletvezetői torzítás vagy az etikai vagy erkölcsi alapú torzítások.

Bizonyítékok

Metaanalízis: A sztereotípiaveszélyeztetés hatása a lányok matematikaeredményeire. Az eredmények a publikációs torzításra jellemző aszimmetriát mutatnak.[13]

A tudományos irodalomban jelenlévő publikációs torzítást az orvosbiológiai kutatásokban vizsgálták a legalaposabban. A klinikai vizsgálatokat az etikai bizottságokhoz való benyújtástól a publikációig követő kutatások azt mutatják, hogy a pozitív eredményeket nagyobb valószínűséggel közlik.[14][15][16] Ezenkívül a publikált kutatások gyakran elhallgatják a negatív eredményeket, ahogy azt egy, a kutatási protokollokat a megjelent folyóiratcikkekkel összehasonlító kutatás megállapította.[17][18]

Ha jelen van a publikációs torzítás, a megjelent folyóiratcikkek nem jelentenek reprezentatív mintát az elérhető bizonyítékokra nézve. A torzítás hat a metaanalízisekre és a szisztematikus szakirodalmi összefoglalókra. Ez például azért jelent problémát, mert a bizonyítékokon alapuló orvoslás egyre inkább metaanalízisekre támaszkodik a bizonyítékok értékeléséhez.

A legnagyobb volumenű metaanalízis-vizsgálat orvosi kezeléseket vizsgáló kutatások szisztematikus elemzésében vizsgálta a publikációs torzítás jelenlétét a Cochrane-adatbázist használva.[19] A kutatás azt mutatta, hogy a pozitív, statisztikailag szignifikáns eredményeket 27%-kal nagyobb valószínűséggel közlik a kezelések hatásosságát tárgyaló metaanalízisek, mint másfajta eredményeket. A káros hatásokat nem találó kutatásokat 78%-kal nagyobb valószínűséggel tárgyalják a kezelések biztonságát vizsgáló kutatások, mint a statisztikailag szignifikáns, káros hatásokat mutató eredményeket, tehát a publikációs torzításra neves orvosi szakfolyóiratokban megjelent metaanalízisek esetén is vannak bizonyítékok.[20]

A publikációs torzítás jelenléte egy úgynevezett tölcsérgrafikon elkészítésével is felmérhető: a folyóiratcikk által közölt hatásnagyság becslését egy pontosságot mérő változó vagy a mintaméret függvényében ábrázoljuk. Azt várjuk, hogy a grafikon pontjai tölcsér alakot rajzolnak majd ki, jelezve, hogy nincs összefüggés a hatásméret publikációja és a statisztikai szignifikanciája között.[21] Mikor azonban kis kutatások jellemzően egy irányba mutatnak (általában a nagy hatásméretek felé), aszimmetria lép fel, mely publikációs torzításra utalhat.[22]

A tölcsérgrafikonokat vizuálisan értelmezzük, ezért az értékelés elkerülhetetlenül szubjektív. A szubjektív ítéletek torzítását elkerülendő többféle teszt is rendelkezésre áll a grafikonok aszimmetriájának kimutatására.[21][23][24] Ezek a tesztek gyakorta lineáris regresszión alapulnak, és egy többszörösítő vagy additív diszperziós paramétert használnak a kutatások heterogenitásának kiigazítására. Egyes megközelítések a publikációs torzítás (feltételezett) jelenlétét igyekeznek kiigazítani,[19][25][26] ami különösen hasznos a metaanalízisek eredményeire gyakorolt feltételezett hatás feltérképezésében.[27][28][29]

Példák

Két, a reboxetin hatóanyag antidepresszánsként való alkalmazását feltérképező metaanalízis kísérletet tett a publikációs torzítás kimutatására klinikai vizsgálatokban. Pozitív vizsgálati eredményeket követően 2001-ben a reboxetint elfogadták a depresszió kezelésére több európai országban, így az Egyesült Királyságban is, bár a gyakorlatban ritkán alkalmazták ilyen indikációra. Egy 2010-es metaanalízis arra a következtetésre jutott, hogy a reboxetin hatástalan a depresszió kezelésében, és a pozitív eredményű vizsgálatok túlsúlya a publikációs torzítás következménye volt, nagyrészt a Pfizer gyógyszergyártó cég által publikált vizsgálatoknak köszönhetően. Egy ezt követő, 2011-ben megjelent metaanalízis az eredeti adatokra támaszkodva hibásnak ítélte a 2010-es elemzést, és a reboxetin hatásosságát támasztotta alá súlyos depresszió esetén. A gyógyszerészeti, orvosi kutatásokban megjelenő publikációs torzítást Goldacre és Wilmshurst tárgyalja.

A társadalomtudományok területén a vállalati társas és pénzügyi teljesítményt tárgyaló publikált kutatások elemzése arra a következtetésre jutott, hogy „a közgazdaságtani, pénzügyi és számviteli folyóiratokban az átlagos korrelációk mértéke körülbelül feleakkora volt, mint a társas problémamanagementtel, üzleti etikával vagy az üzlet és társadalom kapcsolatával foglalkozó folyóiratokban”.[30]

A publikációs torzítás egy példája, hogy a Daryl Bem prekogníciót feltételező kutatását eredetileg publikáló The Journal of Personality and Social Psychology című folyóirat nem jelentette meg a kutatást megismételni próbáló vizsgálatokat.[31]

Egy, a Kínában készült, gén-betegség kapcsolatokat vizsgáló kutatásokat a Kínán kívül készültekkel összehasonlító elemzés azt találta, hogy a Kínában született kutatások erősebb kapcsolatot és több statisztikailag szignifikáns eredményt közöltek.[32]

Megoldási lehetőségek

A metaanalízisek és szisztematikus szakirodalmi összefoglalók nem publikált kutatásokból származó, valamint nem egyértelmű következtetésekre jutó kutatások bevonásával védekezhetnek a publikációs torzítás ellen.

A publikáció torzítás kordában tartható nagyobb statisztikai erejű vizsgálatokkal, szigorúbb kutatási irányelvekkel, és a feltételezett kapcsolatok óvatos vizsgálatával.[12] A nagyobb statisztikai erejű vizsgálatok olyan nagy, egyértelmű eredményeket mutató vagy átfogó elméleteket tesztelő vizsgálatok, melyek alacsony torzítású metaanalíziseket eredményeznek. Szigorúbb kutatási irányelveket valósít meg például a protokollok, majd az adatok regisztrációja, vagy a bevett kutatási protokollokhoz való igazodás. A hamis pozitív eredmények elkerülése végett a kutatónak figyelembe kell vennie, hogy valós vagy nem valós kapcsolatot vizsgál-e. Ezt a hamis pozitív eredmény valószínűségének értékelésével teheti meg, mely az elvégzett próba statisztikai erején alapul,[33] valamint az eredményt is validálhatja, ha korábbi, megalapozott, ismert módon minimális torzítást tartalmazó kutatások eredményeit erősíti meg.

Kutatások előzetes regisztrációja

2004 szeptemberében neves orvosi szakfolyóiratok (többek között a New England Journal of Medicine, a The Lancet, az Annals of Internal Medicine, és a JAMA) szerkesztői bejelentették, hogy nem jelentetnek meg gyógyszerészeti cégek által szponzorált kutatásokat, csak abban az esetben, ha a kutatást előzetesen regisztrálják egy nyilvános, klinikai vizsgálatokat rögzítő adatbázisban.[34] Ezenkívül egyes folyóiratok kiemelten támogatják a kutatási protokollok publikációját.

Az Egészségügyi Világszervezet (WHO) állásfoglalása szerint a klinikai vizsgálatokat illető minden alapvető információt előzetesen regisztrálni és elérhetővé kell tenni a nyilvánosság számára a WHO Nemzetközi Klinikai Kutatások Regisztrátumában. Ezenkívül az egyes vizsgálatok bemutatásán túl a teljes kutatási protokollok nyilvánosságra hozatala is egyre elterjedtebb.[35]

Jegyzetek

  1. ↑ a b c Rothstein, H., Sutton, A. J., Borenstein, M. (2005). Publication bias in meta-analysis: prevention, assessment and adjustments. Wiley, Chichester, England, Hoboken, NJ.
  2. ↑ Dickersin, K., Chan, S., Chalmers, T. C. et al. (1987). Publication bias and clinical trials. Controlled Clinical Trials, 8(4), 343–353.
  3. ↑ a b c Easterbrook, P. J., Berlin, J. A., Gopalan, R., Matthews, D. R. (1991). Publication bias in clinical research. Lancet, 337(8746), 867–872.
  4. ↑ Luijendijk, H. J., Koolman, X. ( 2012). The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle. J Clin Epidemiol, 65(5), 488–92.
  5. ↑ Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. JAMA, 263(10), 1385–9.
  6. ↑ Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54(285), 30–34.
  7. ↑ Rosenthal, R. (1979). File drawer problem and tolerance for null results. Psychol Bull,. 86, 638–41.
  8. ↑ Scargle, J. D. (2000). Publication bias: the "file-drawer problem" in scientific inference. Journal of Scientific Exploration, 14(2), 94–106.
  9. ↑ Sackett, D. L. (1979). Bias in analytic research. J Chronic Dis, 32(1–2), 51–63.
  10. ↑ Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217.
  11. ↑ Antonakis, J. (2017). On doing better science: From thrill of discovery to policy implications. The Leadership Quarterly, 28(1), 5–21.
  12. ↑ a b Ioannidis, J. (2005). Why most published research findings are false. PLoS Med, 2(8), 124.
  13. ↑ Flore P. C., Wicherts J. M. (2015). Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol., 53, 25–44.
  14. ↑ Dickersin, K., Min, Y. I. (1993). NIH clinical trials and publication bias. Online J Curr Clin Trials, 50.
  15. ↑ Decullier, E., Lheritier V., Chapuis, F. (2005). Fate of biomedical research protocols and publication bias in France: retrospective cohort study. BMJ, 331, 19–22.
  16. ↑ Song, F., Parekh-Bhurke, S., Hooper, L., Loke, Y., Ryder, J., Sutton, A. et al. (2009). Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Med Res Methodol, 9, 79.
  17. ↑ Chan, A. W., Altman, D.G. (2005). Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ, 330, 753.
  18. ↑ Riveros, C., Dechartres, A., Perrodeau, E., Haneef, R., Boutron, I., Ravaud, P. (2013). Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS Med, 10.
  19. ↑ a b Kicinski, M., Springate, D. A., Kontopantelis, E. (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine, 34, 2781–93.
  20. ↑ Kicinski, M. (2013). Publication bias in recent meta-analyses. PLoS ONE, 8.
  21. ↑ a b Debray, T. P. A., Moons, K. G. M., Riley, R. D. Detecting small-study effects and funnel plot asymmetry in meta-analysis of survival data: a comparison of new and existing tests. Research Synthesis Methods.
  22. ↑ Light & Pillemer (1984). Summing up: The science of reviewing research. Harvard University Press, Cambridge, MA.
  23. ↑ Zhi-Chao, J., Xiao-Hua, Z., Jia, H. (2015). Statistical methods for dealing with publication bias in meta-analysis. Statistics in Medicine. 34(2), 343–360.
  24. ↑ Rücker, G., Carpenter, J. R., Schwarzer, G. (2011). Detecting and adjusting for small-study effects in meta-analysis. Biometrical Journal, 53(2), 351–368.
  25. ↑ Silliman, N. (1997). Hierarchical selection models with applications in meta-analysis. Journal of the American Statistical Association. 92(439), 926–936.
  26. ↑ Hedges, L., Vevea, J. (1996). Estimating effect size under publication bias: small sample properties and robustness of a random effects selection model. Journal of Educational and Behavioral Statistics, 21(4), 299–332.
  27. ↑ McShane, B. B., Böckenholt, U., Hansen, K. T. (2016). Adjusting for Publication Bias in Meta-Analysis. Perspectives on Psychological Science, 11(5), 730–749.
  28. ↑ Sutton, A. J., Song, F., Gilbody, S.M., Abrams, K. R. (2000). Modelling publication bias in meta-analysis: a review. Stat Methods Med Res., 9, 421–445.
  29. ↑ Kicinski, M. (2014). How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open, 4(8).
  30. ↑ Archivált másolat. . (Hozzáférés: 2018. január 24.)
  31. ↑ Goldacre, B. (2011. április 23.). Backwards step on looking into the future. The Guardian.
  32. ↑ Pan, Z., Trikalinos, T. A., Kavvoura, F. K., Lau, J., Ioannidis, J. (2005). Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature. PLoS Medicine, 2(12), e334.
  33. ↑ Wacholder, S., Chanock, S., Garcia-Closas, M.; El Ghormli, L., Rothman, N. (2004). Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies. JNCI, 96(6), 434–42.
  34. ↑ Shankar Vedantam. „Journals Insist Drug Manufacturers Register All Trials”, Washington Post, 2004. szeptember 9. (Hozzáférés: 2017. január 28.) 
  35. ↑ Dickersin, K., Chalmers, I. (2011). Recognizing, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the WHO. J R Soc Med., 104(12), 532–538.

Fordítás

  • Ez a szócikk részben vagy egészben a Publication bias című angol Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.

További információk