Cancer : des découvertes impossibles à reproduire ?

En 2013, des chercheurs membre du Center for Open Science, basé en Virginie, ont initié un très grand projet de réplication d’études scientifiques en cancérologie, le Reproducibility Project : Cancer Biology (RP:CB).

Ils ont tout d’abord sélectionné, dans des très grandes revues, 50 études très récentes portant sur de la biologie des cancers : génétique des tumeurs, effets d’une molécule sur l’amélioration des effets d’une thérapie, etc. (le chiffre a été un peu revu à la baisse en 2015, pour des raisons budgétaires). Ensuite, les chercheurs sont rentrés en contact avec les auteurs des travaux initiaux, et leur ont demandé TOUS les détails possibles et imaginables. C’est-à-dire qu’ils ont travaillé main dans la main avec eux pour être sûrs qu’ils allaient reproduire les travaux au plus près de l’initial.

Un rapport détaillant les conditions expérimentales et les protocoles proposés pour les réplications a été soumis à la relecture de chercheurs tiers, et a été pré-publié sur le site de la revue scientifique eLife, avant le début des expériences. Les travaux ont commencé il y a plus de deux ans, et les premières expériences ont été achevées il y a plus d’un an et demi.

Ne pas jeter l'opprobre sur les auteurs des travaux initiaux

Ces premiers résultats n’ont pas été immédiatement publiés, car l’objectif du RP:CB n’est absolument pas une "chasse" aux études non reproductibles, ou une distribution de mauvais points. Le RP:CB ambitionne de comprendre les causes des échecs des réplications ; et la plus grande crainte de ses initiateurs est que l’on interprète leurs résultats comme une attaque contre les chercheurs qui ont mené les études initiales. Or, ils ne cessent de mettre des garde-fous. Et ils n’écartent pas l’hypothèse selon laquelle l’une ou l’autre de leurs réplications puisse être un faux négatif.

Si la réplication fonctionne, c’est une bonne nouvelle, car il est peu probable que l’on ait deux faux positifs de suite. À l’inverse, un échec de réplication ne réfute pas le travail initial, mais génère à son égard des doutes très légitimes. Une méta-analyse de ces deux études peut être faite (elle est proposée par le RP:CB), qui donne une idée plus juste de l’état des connaissances sur l’hypothèse testée initialement.

Cinq premières tentatives... quatre échecs de réplication

Les résultats rendus publics ce 18 janvier concernent cinq études de haut niveau. Sans entrer dans leur détail : dans quatre cas, les résultats obtenus sont à l’opposé de ceux initialement publiés. Pas seulement un peu différents, ça on l’a dit c’est normal, ça permet d’ailleurs de préciser les résultats. Non : si l’expérience "bis" avait été menée en premier, les chercheurs auraient conclu que les résultats qu’ils observaient s’expliquaient sans avoir à postuler l’efficacité d’une molécule, ou sans avoir à postuler à l’effet d’un gène. Bref, ils auraient conclu : "il n'y a rien de notable".

Si l'on ne peut, bien sûr, pas faire de statistiques sérieuses sur seulement cinq études, ces premiers résultats confirment un dysfonctionnement réel dans le monde de la recherche.

Jusqu’à présent, on imputait le manque de reproductibilité au manque de précision dans les protocoles expérimentaux. Mais dans le RP:CB, les échanges entre chercheurs pour coller au mieux à l’étude initiale suggèrent une autre piste. Quand les chercheurs testent des hypothèses, en faisant des expériences, ils ont beaucoup de fois "où il ne se passe rien". Mais ils ne publient pas ces données. Ils ne publient que les fois où il se passe quelque chose. Comprenez, s’il y a 5% de chances qu’une expérience soit un faux positif, il n’y a pas que 5% des études publiées qui sont des faux positifs. 100% des faux positifs seront publiés… mais pas les vrais négatifs !

Les travaux du RP:CB suggèrent qu’une (très) importante partie de ce qui est publié, tout du moins en biologie fondamentale, pourrait être des faux positif.

Plus d’informations sur ces travaux sont à lire sur le blog de Florian Gouthière.