Imperial College London: pseudo-science, modèles informatiques fissurés et dissimulation

Un échange fascinant s'est déroulé à la Chambre des lords du Royaume-Uni le 2 juin 2020. Neil Ferguson, le physicien de l'Imperial College de Londres qui a créé le principal modèle d'épidémiologie derrière les verrouillages, a fait face à sa première interrogation sérieuse sur la performance prédictive de son travail.

Ferguson a prédit des décès catastrophiques le 16 mars 2020, à moins que les gouvernements du monde entier n'adoptent sa suite préférée d'interventions non pharmaceutiques (IPN) pour conjurer la pandémie. La plupart des pays ont suivi ses conseils, en particulier après que les gouvernements du Royaume-Uni et des États-Unis aient explicitement invoqué son rapport pour justifier les verrouillages.

L'équipe de Ferguson à l'Impériale serait bientôt réclamer un crédit pour avoir sauvé des millions de vies grâce à ces politiques - un chiffre auquel ils sont parvenus à travers un exercice ridiculement non scientifique où ils prétendaient valider leur modèle en utilisant ses propres projections hypothétiques comme contrefactuel de ce qui se passerait sans verrouillage. Mais l'audience de juin au Parlement a attiré l'attention sur un autre test dans le monde réel de la modélisation de l'équipe impériale, celui-ci basé sur des preuves réelles.

Alors que l'Europe entrait dans le premier cycle de son expérience désormais d'un an avec des restrictions d'abris sur place, la Suède a renoncé à la stratégie recommandée par Ferguson. Ce faisant, ils ont également créé les conditions d'une expérience naturelle pour voir comment leurs nombres de coronavirus se comportaient par rapport aux modèles d'épidémiologie. Bien que Ferguson ait initialement limité son champ d'action aux États-Unis et au Royaume-Uni, une équipe de chercheurs de l'Université d'Uppsala en Suède a emprunté son modèle et l'a adapté dans leur pays avec des projections tout aussi catastrophiques. Si la Suède ne fermait pas à clé à la mi-avril, a projeté l'équipe d'Uppsala, le pays connaîtrait bientôt 96,000 décès de coronavirus.

J'étais l'une des premières personnes à attirer l'attention sur le Adaptation d'Uppsala du modèle de Ferguson le 30 avril 2020. Même à cette date précoce, le modèle montrait des signes évidents de défaillance. Bien que la Suède ait été durement touchée par le virus, son nombre de morts n'était que de quelques milliers à un moment où l'adaptation du modèle de Ferguson attendait déjà des dizaines de milliers. En un an, la Suède comptait un peu plus de 13,000 décès dus à Covid-19 - un bilan sérieux, mais moins élevé par habitant que de nombreux États de verrouillage européens et bien loin des 96,000 décès projetés par l'adaptation d'Uppsala.

L'implication pour le travail de Ferguson reste claire: le modèle principal utilisé pour justifier les verrouillages a échoué son premier test dans le monde réel.

À l'audience de la Chambre des lords de l'année dernière, le député conservateur Le vicomte Ridley grillé Ferguson sur l'adaptation suédoise de son modèle: «L'Université d'Uppsala a pris le modèle de l'Imperial College - ou l'un d'entre eux - et l'a adapté à la Suède et a prévu des décès en Suède de plus de 90,000 40,000 à la fin mai s'il n'y avait pas de verrouillage et de XNUMX XNUMX s'il y avait un plein le verrouillage a été imposé. » Avec de telles disparités extrêmes entre les projections et la réalité, comment l'équipe impériale pourrait-elle continuer à guider la politique à travers leur modélisation?

Ferguson a rétorqué, désavouant tout lien avec les résultats suédois: «Tout d'abord, ils n'ont pas utilisé notre modèle. Ils ont développé leur propre modèle. Nous n'avons eu aucun rôle à le paramétrer. En règle générale, l'aspect clé de la modélisation est la façon dont vous la paramétrez par rapport aux données disponibles. Mais pour être absolument clair, ils n'ont pas utilisé notre modèle, ils n'ont pas adapté notre modèle.

Le modélisateur de l'Imperial College n'a fourni aucune preuve que l'équipe d'Uppsala avait commis une erreur dans l'application de son approche. le version publiée depuis de l'équipe d'Uppsala indique clairement qu'ils ont construit l'adaptation suédoise directement à partir du modèle britannique d'Imperial. «Nous avons utilisé un modèle basé sur un agent individuel basé sur le cadre publié par Ferguson et ses collègues que nous avons réimplémenté» pour la Suède, expliquent les auteurs. Ils ont également reconnu que leurs projections modélisées dépassaient de loin les résultats observés, bien qu'ils attribuent de façon quelque peu discutable les différences à des changements de comportement volontaires plutôt qu'à une faute dans la conception du modèle.

L'équipe de Ferguson a néanmoins tenté de manière agressive de se dissocier de l'adaptation d'Uppsala de leur travail. Après que le UK Spectator a attiré l'attention sur les résultats suédois au printemps dernier, Imperial College a tweeté que «Le professeur Ferguson et l'équipe d'intervention impériale COVID-19 n'ont jamais estimé à 40,000 100,000 ou XNUMX XNUMX décès suédois. Le travail de l'Impériale est en train d'être confondu avec celui d'un groupe de chercheurs entièrement distinct. C'est une déviation que Ferguson et ses défenseurs ont répétée à plusieurs reprises depuis.

Il s'avère cependant que Ferguson et l'équipe de l'Imperial College étaient loin d'être honnêtes dans leurs tentatives de se dissocier des résultats observés par la Suède. Dans les semaines qui ont suivi la publication de leurs célèbres projections américaines et britanniques, Ferguson et son équipe ont en fait produit une version réduite de leur propre exercice de modélisation pour le reste du monde, y compris la Suède. Ils n'ont pas largement diffusé les projections au niveau des pays, mais la liste complète peut être trouvée enterrée dans un Microsoft Excel fichier annexe au rapport n ° 12 de l'Imperial College, publié le 26 mars 2020.

Les propres résultats projetés de l'Impériale pour la Suède sont presque identiques à l'adaptation d'Uppsala de leur modèle britannique. L'équipe de Ferguson a prévu jusqu'à 90,157 96,000 décès sous propagation «non atténuée» (par rapport aux 42,473 40,000 d'Uppsala). Dans le scénario de «distanciation sociale au niveau de la population» censé approximer les mesures d'atténuation des NPI telles que les verrouillages, les modélisateurs impériaux ont prédit que la Suède subirait jusqu'à XNUMX XNUMX décès (contre XNUMX XNUMX lors de l'adaptation d'Uppsala).

L'équipe impériale n'a pas précisé le moment exact auquel elle s'attendait à ce que la Suède atteigne le pic de son épidémie. Nous pouvons raisonnablement le déduire de leur ancien modèle américain et britannique, qui prévoyait que «le pic de mortalité (décès quotidiens) se produirait environ 3 mois» après la flambée initiale. Cela placerait le nombre de morts quotidien maximal en Suède vers la mi-juin, ou presque exactement à la même période que l'adaptation de l'équipe d'Uppsala.

Figure I: Modèle de l'Imperial College pour la Suède, 26 mars 2020

Il s'avère que la ligne de questions du vicomte Ridley était correcte depuis le début. L'adaptation d'Uppsala du modèle de Ferguson ne projetait pas seulement un nombre de morts exagéré en Suède. Les propres projections de Ferguson pour la Suède ont avancé des chiffres similaires, tous très éloignés de ce qui s'est passé.

Le modèle multi-pays de l'Imperial College a utilisé ses projections antérieures et plus célèbres pour les États-Unis et le Royaume-Uni pour revendiquer la validité de son ensemble plus large d'extrapolations internationales. Comme l'a écrit l'équipe de Ferguson le 26 mars 2020: «Notre impact estimé d'un scénario non atténué au Royaume-Uni et aux États-Unis pour un nombre de reproduction, R0, de 2.4 (490,000 2,180,000 décès et 510,000 2,200,000 XNUMX décès respectivement) correspond étroitement aux scénarios équivalents utilisant des microsimulations plus sophistiquées. (Respectivement XNUMX XNUMX et XNUMX XNUMX XNUMX morts) »qu'ils ont relâché quelques semaines auparavant. Si les projections de l'Impériale aux États-Unis et au Royaume-Uni concordaient, une validité similaire pourrait être déduite pour les autres pays qu'ils ont modélisés dans le rapport multi-pays.

L'équipe de l'Imperial College s'est entièrement consacrée à son modèle multi-pays pour guider la politique. Ils ont appelé d'autres pays à adopter des verrouillages et des INP connexes pour réduire le nombre de morts projeté du scénario «non atténué» à «l'éloignement social». Comme Ferguson et ses collègues l'écrivaient à l'époque, «[p] our contribuer à éclairer les stratégies nationales dans les semaines à venir, nous fournissons ici des statistiques récapitulatives sur l'impact potentiel des stratégies d'atténuation et de suppression dans tous les pays du monde. Celles-ci illustrent la nécessité d'agir tôt et l'impact que ne pas le faire est susceptible d'avoir sur les systèmes de santé locaux. »

Ne pas agir, ont-ils poursuivi, entraînerait une catastrophe quasi-certaine. Comme l'ont écrit Ferguson et son équipe, «[l] es seules approches qui peuvent éviter l'échec du système de santé dans les mois à venir seront probablement les mesures intensives de distanciation sociale actuellement mises en œuvre dans de nombreux pays les plus touchés, de préférence associées à des niveaux élevés de essai." En bref, le monde devait entrer dans un verrouillage immédiat afin d'éviter les catastrophes prédites par leur modèle multi-pays.

(Remarque: l'Imperial College a également inclus un troisième scénario d'atténuation possible pour des mesures plus strictes en plus des INP de la population générale, visant à isoler davantage les personnes âgées et vulnérables, prévoyant qu'il pourrait réduire le nombre de Suède entre 16,192 33,878 et 75 14,518. Ils ont en outre modélisé un quatrième possible " suppression »consistant en un verrouillage sévère qui réduirait les contacts humains de XNUMX% pendant la durée de la pandémie et les maintiendrait pendant un an ou plus jusqu'à ce que la vaccination à l'échelle de la population soit réalisée. Elle prévoyait XNUMX XNUMX décès. La Suède n'a manifestement adopté aucune des ces approches).

Un an plus tard, nous pouvons maintenant regarder en arrière pour voir comment les projections internationales de l'Imperial College se sont comportées, en accordant une plus grande attention au petit nombre de pays qui ont résisté à ses recommandations de verrouillage. Les résultats ne sont pas jolis pour Ferguson et indiquent un modèle clair de modélisation qui a systématiquement exagéré le nombre de morts projeté de Covid-19 en l'absence de verrouillages et de NPI connexes.

La figure II compare les projections du modèle de l'Imperial College pour son scénario de «distanciation sociale» et son scénario «non atténué» aux résultats réels à un an après sa publication. Ces projections reflètent un taux de réplication supposé (R0) de 2.4 - le scénario le plus prudent qu'elles ont envisagé, ce qui signifie que la fourchette supérieure des projections de l'Impériale prévoyait des taux de mortalité considérablement plus élevés. Les pays examinés ici - la Suède, Taïwan, le Japon et la Corée du Sud - se distinguent soit pour éviter les verrouillages et les restrictions agressives similaires des NPI, soit pour s'y fier dans une portée beaucoup plus limitée que celle conseillée par l'Imperial College. Les États-Unis, où 43 des 50 États ont adopté des verrouillages sous une forme ou une autre, sont également inclus à des fins de comparaison.

Lire l'histoire complète ici…