Ingezonden: 

De uitdrukking ‘Lies, damned lies and statistics’ zou volgens de Amerikaanse schrijver Mark Twain voor het eerst door de 19e Eeuwse Engelse premier Benjamin Disraeli (1804-1881) gebezigd zijn en wel als volgt: “There are three kinds of lies: lies, damned lies and statistics”. Deze quote is op papier voor het eerst weergegeven in de Engelse krant ‘The National Observer’ van 8 juni 1891 : “Sir ,-- It has been witily remarked that there are three kinds of falsehood : the first is a ‘fib’, the second is a downright lie, and the third and most aggravated is statistics. “.

Deze uitdrukking was overigens, zoals bleek uit latere uitgaven van dezelfde krant,toen al lang al gemeengoed in het spraakgebruik (met dank overigens voor o.a. de Engelstalige Wikipedia). Echt goed toegepaste statistiek is evenwel helemaal geen leugen en in zijn uitkomst onweerlegbaar. Het probleem is echter dat statistiek in ‘wetenschappelijke’ medische publikaties vaak slecht en soms bewust verkeerd wordt toegepast.

Hoe vaak deugt de statistiek niet in medische publikaties?

In de vooravond aan het Congres ‘Advanced Clinical Nutrition’ 2011, zat ik in Scheveningen te dineren met enkele collega’s, waaronder de natuurkundige-arts Paul R Cheney, die gepromoveerd is op een onderwerp betreffende de systematische fout en tegenwoordig onderzoek doet naar het chronisch vermoeidheidssyndroom door meting van de Gibbs-energie van het hart. We kwamen toen ondermeer op de statistiek in medische tijdschriften, die naar we beiden vonden vaak niet in orde is. Cheney vroeg mij in hoeveel procent van de medische publicaties de statistiek volgens mij niet klopt; ik antwoordde afgaande op mijn geheugen ongeveer 90%. Zijn (chargerende) antwoord was: ‘One hundert percent’. Toen ik wat verbaasd keek bij deze reactie herhaalde hij: ‘One hundert percent’.

Later dacht ik dat als het achterwege laten van correcties voor systematische fouten wordt meegerekend je natuurlijk hoger uitkomt dan schattingen die alleen op een analyse van de toegepaste statistische test gebaseerd zijn, maar 100 procent moet gechargeerd zijn. Zijn chargering geeft aan hoe slecht fysici de statistiek in medische artikelen vinden!

Een klein onderzoekje van mijn kant leverde later het volgende op : in the British Journal of Psychiatry, bleek in 45% van de artikelen na publikatie de statistiek niet in orde.^[1] Een ander onderzoek in ‘eigen’ stal, nu bij de British Medical Journal leverde achteraf (!) fouten op in 32 van 61 artikelen ; bij 5 artikelen moesten de hoofdconclusies zelfs ingetrokken worden (wel BMJ : je reviewers waren dus gewoon slecht).^[2]. De frequentie van statistische fouten in medische publikaties wordt op het internet geschat van 30 tot 90% (kennelijk had ik het meest negatieve schatting onthouden). Gemiddeld 60% foutieve statistiek lijkt een redelijke schatting omdat het percentage in de betere medische tijdschriften al ongeveer 50 is. In deze schattingen zijn systematische fouten echter hooguit deels meegenomen. De ‘schatting’ van Cheney was dus inderdaad flink gechargeerd.

Hoe dan ook: met deze inleiding heeft de titel van deze column in ieder geval al flink aan legitimiteit gewonnen.

Systematische fouten : wat zijn dat?

Een systematische fout is bijvoorbeeld : je test een geneesmiddel versus een placebo, maar in de controlegroep heeft 50% een ernstiger ziektestadium, terwijl dat in de experimentele groep 40% is. De laatste groep laat dan sowieso een beter resultaat zien. Ook bij juiste toepassing van de statistiek op de eindgegevens is het onderzoek dan vertekend. Men had moeten stratificeren d.w.z. per stadium moeten loten. Dan was de verdeling over de twee groepen gelijk geweest. Zo’n fout kan ook ontstaan wanneer de ene waarnemer de experimentele groep doormeet en een andere waarnemer de controle-groep, terwijl ze beter elk de helft van de groepen hadden kunnen doormeten. Etc. etc.  

Enkele voorbeelden van verkeerde methodologie/statistiek.

Nog een voorbeeld : een toets die een normale (dus symmetrische) verdeling vereist, mag alleen toegepast worden als de te testen data in principe normaal verdeeld zijn. Wil je een dergelijke toets toepassen dan moet je met een toets voor normaliteit eerst vaststellen of de data per groep normaal verdeeld zijn, anders kun je beter een verdelingsonafhankelijke toets doen (zie weer Wijvekate). Bij kleine aantallen is dit nog meer van belang!

Het klassieke voorbeeld van door systematische fouten gedevalueerd onderzoek is de ATBC-studie : de rokers uit de beta-caroteengroep waren gemiddeld een paar maanden ouder en ettelijke maanden eerder gaan roken. Omdat longkanker bij dergelijke mensen sneller dan lineair stijgt, komt in de groep die door de twee eerder genoemde fenomenen al verder op de longkankercurve zit, automatisch na verloop van tijd meer longkanker voor (een van de grootste fouten was, dat hier niet eerst op leeftijd gestratificeerd was). Als je vooraf stratificeren en/of achteraf multi variate analyse zou eisen (natuurlijk zou dat moeten!) om te zorgen dat de groepen zo goed mogelijk vergelijkbaar zijn, dan zou het percentage onderzoeken met onjuist zijnde statistiek fors omlaag gaan.

Een ander goed voorbeeld van een ernstige systematisch fout is het geruchtmakende onderzoek naar de rol van probiotica bij pancreatitis bij het UMCU (Universitair Medisch Centrum Utrecht) ; zie TvOG van juni en augustus 2008. Dat was voor mij scoren voor een open doel!

Zelf heb ik drie keer kort na publikatie van een eigen artikel mijn statistiek verbeterd (een keer gaf dat een verandering in mijn voordeel en twee keer een verandering in mijn nadeel ; dit leidde in evenwel in geen van de drie gevallen tot wijziging van de conclusies.

Tien jaar geleden heb ik eerst ‘Fysisch experimenteren’ van GL Squires doorgewerkt (indertijd het leerboek statistiek voor studenten natuurkunde aan de RU te Utrecht), dat meer dan dertig jaar geleden al gebruikt werd (en nu nog hoorde ik): dit vergrootte mijn inzicht zeer: iedereen aan te bevelen.

Het visolieonderzoek: statistiek deugt niet!

 Een zeer recent voorbeeld van foutieve statistiek is het onderzoek van cisplatinum en dergelijke in relatie tot visolie, eveneens van het UMCU.^[3]

Daar werd in een onderzoek met slechts 6 muizen per groep (een blanco-groep, een cisplatin-groep en 2 verschillende groepen van 6 met elk een soort visolie plus cisplatin) gekeken of visolie invloed op de werking van cisplatin kon hebben. Met een t-toets werd een minder goede werking van de cisplatin in de 2 afzonderlijke visolie-groepen vastgesteld. Het was evenwel niet duidelijk of er wel vooraf een toets was gedaan, die aantoont dat van normale verdelingen sprake was. Ook was niet aangegeven of er een- dan wel tweezijdig getoetst is (het moet natuurlijk tweezijdig).

Er is evenwel nog een veel ernstiger probleem : bij kleine aantallen, zoals hier met slechts 6 muizen per groep, is er sprake van een grote fout in de standaarddeviatie ; bij N=6 bedraagt deze maar liefst 31,5% (zie de eerder genoemde GL Squires, blz. 36-37 en blz. 228-229). In formule voor niet te kleine N : 1/(2N-2)^1/2 (keer 100%). Dit ondermijnt de significantie in hoge mate.

Niet voor niets gaf mijn toenmalige docent ‘Fysische meetmethoden’ de hoogleraar fysica Hoogenboom in 1972-1973 het advies bij aantallen kleiner dan 10 liever geen statistiek te bedrijven.

De al genoemde Squires eertijds professor in Cambridge stelt algemeen aan de hand van N=9 (de fout in de standaarddeviatie is dan wat kleiner dan bij N=6): ‘Het resultaat is een duidelijke waarschuwing tegen te nauwkeurige foutenberekening. We zien bijvoorbeeld dat voor N=9 – toch een niet onbelangrijk aantal metingen – de fout zelf nog een onzekerheid van 25% heeft.’ Hierbij komt verder dat je met 2 soorten visolie ook nog eens sneller door toeval significantie kan bereiken.

Bij mijn weten betrof het ook nog eens slechts 1 experiment en werd de cisplatinum bovendien intraperitoneaal en niet intraveneus toegediend. Daarenboven heb ik nog systematische fouten gesignaleerd, die de conclusies van het onderzoek verder ondergraven. Ik heb mijn bevindingen bij de onderzoekers te berde gebracht en aangegeven dat een verdelingsvrije toets (bijv. Wilcoxon) slimmer was geweest, al denk ik dat ook bij Wilcoxon bij kleine aantallen met onzekerheid in de ligging van de verdeling rekening moet worden gehouden. Ik heb de onderzoekers ook nog gewezen op een recent gerandomiseerd onderzoek (bij 31 versus 15 patienten die respectievelijk wegens kanker respectievelijk cisplatin en cisplatin met dagelijks visolie (met 2,5 gram EPA+DHA) kregen.^[4]

Met visolie erbij waren er significant meer regressies (60 % versus 25,8 %). De precieze samenstelling van de in dit onderzoek gebruikte visolie ken ik niet, maar dit is een van de vele onderzoeken die de conclusies van de UMCU-onderzoekers verder invalideren! Uiteraard kwam dit laatste onderzoek bij de mens in tegenstelling tot het UMCU-onderzoek bij een paar muizen niet in het nieuws! Overigens werkt visolie met vitamine E alleen ook therapeutisch bij kanker.^[5]

Op mijn rapportage aan de Utrechtse onderzoekers, dat ik later nog heb gepreciseerd omdat Squires voor mij ook al even geleden is, mocht ik geen reactie ontvangen. Ook ontving ik geen nieuwe statistische analyse met liefst extra raw data. Gezien het ontbreken van een aantoonbaar juiste statistische methode, het direkt opzoeken van de publiciteit, maar juist ook vanwege het veelbetekende stilzwijgen bij kritische vragen verdient het Utrechtse onderzoek nu slechts een plaats in de prullenbak thuis!

Opmerkelijk is ook dat de vooral aan het KWF te linken hoogleraar ‘kanker en voeding’ mevrouw Ellen Kampman (zij werd volgens mij niet geheel toevallig zaterdag 8 oktober 2011 door de Volkskrant geinterviewd) dit visolieonderzoek ook omarmt. Kampman heeft het onderzoeksrapport dan of niet gelezen of haar kennis van de statistiek is ver ondermaats Voor het laatste pleit ook het feit dat ze vorig jaar op een symposium een vraag van mij over de eerder genoemde ‘ATBC’-studie handig ontweek).

Linksom dan wel rechtsom blundert Kampman sowieso door haar steun aan het dubieuze Utrechtse visolieonderzoek te geven, nog afgezien van het feit dat ze, denk ik, het visolieonderzoek bij de mens, dat ik al noemde, niet kent (anders had ze dat toch kunnen noemen?).

Conclusie

Referenties

Share |

Commentaar

Schrijf commentaar
Naam:
Onderwerp:

Powered by JoomlaCommentCopyright (C) 2006 Frantisek Hliva. All rights reserved.Homepage: http://cavo.co.nr/