Vorabdruck wirft Zweifel an Studie zur Untermauerung des Mikrobioms auf

NEW YORK – Im Januar erhielt Micronoma, ein in San Diego, Kalifornien, ansässiges Startup, das von Rob Knight, Professor an der University of California San Diego, und seinem ehemaligen Doktoranden Greg Sepich-Poore mitbegründet wurde, von der US-amerikanischen Food and Drug Administration die Auszeichnung als bahnbrechendes Gerät für seinen OncobiotaLung-Assay , ein Blutmikrobiom-basierter Test zur Erkennung von Lungenkrebs.

Damals sagte das Unternehmen, das behauptet, das erste Unternehmen zu sein, das mikrobiomgesteuerte Flüssigbiopsie-Technologie einsetzte: „Die Arbeit, die zur bahnbrechenden Gerätebezeichnung führte, basiert auf den Erkenntnissen der Mitbegründer von Micronoma, die in der wissenschaftlichen Zeitschrift veröffentlicht wurden.“ Zeitschriften Nature und Cell.

Die im Jahr 2020 veröffentlichte Nature-Studie soll nun jedoch „schwerwiegende Datenanalysefehler“ aufweisen, weshalb ihre Schlussfolgerungen als „ungültig“ gelten sollten, heißt es in einer am Montag auf BioRxiv veröffentlichten Vorabdruckstudie von Forschern von die University of East Anglia im Vereinigten Königreich und die Johns Hopkins University.

Knight wies die Kritik zurück und behauptete, dass die Ergebnisse seines Teams solide und reproduzierbar seien.

Es bleibt abzuwarten, wie sich die anhaltende Kontroverse auf die kommerzielle Entwicklung von Krebs-Mikrobiom-basierten Diagnosetests wie dem von Micronoma auswirken könnte. Das Unternehmen lehnte es ab, Fragen von GenomeWeb zu den im Vorabdruck geäußerten Bedenken zu beantworten, mit der Begründung, dass „[das] Zeitfenster für die Beantwortung dieser Fragen geschlossen wurde.“

Es ist auch unklar, ob die Kritik die behördliche Zulassung von OncobiotaLung gefährden könnte, das aufgrund seiner bahnbrechenden Gerätebezeichnung Anspruch auf eine beschleunigte Prüfung und Bewertung durch die FDA hat. Ein Sprecher der FDA sagte, die Behörde sei „nicht in der Lage, ausstehende Anträge zu besprechen“.

Die betreffende Studie

Die 2020 von Knight, Sepich-Poore und ihren Mitarbeitern veröffentlichte Studie von Nature lieferte Beweise für weit verbreitete krebsspezifische mikrobielle Signaturen, basierend auf DNA-Sequenzierungsdaten aus mehr als 18.000 Proben von mehr als 10.000 Patienten aus dem Krebsgenomatlas ( TCGA), das 33 Krebsarten abdeckt.

Durch das Training von Algorithmen für maschinelles Lernen zeigte Knights Team außerdem, dass es Tumortypen anhand ihrer mikrobiellen Zusammensetzung mit hoher Genauigkeit unterscheiden kann.

„Ich war anfangs ziemlich begeistert, als die Arbeit von Rob Knight herauskam“, sagte Abraham Gihawi, Postdoktorand an der University of East Anglia und Erstautor der Preprint-Studie. „Es sah nach einem großartigen Proof of Concept aus.“

„Dann merkt man: ‚Oh Gott, es ist nicht unbedingt genau das, was es vorgibt‘“, fügte er hinzu. Zu Gihawis anfänglichen Bedenken gehörten die Kontamination menschlicher Sequenzen, der Umgang mit Batch-Effekten, falsch-positive Klassifizierungen und Einschränkungen bei den Ansätzen des maschinellen Lernens, und er veröffentlichte sie in einem früheren Vorabdruck, der im Januar dieses Jahres auf BioRxiv veröffentlicht wurde.

Dieser Vorabdruck wurde bald mit einer, wie Knight es nannte, „gründlichen Widerlegung“ beantwortet, die sein Team im Februar in einem Vorabdruck veröffentlichte.

Darüber hinaus behauptete Knight, dass ein von ihm mitverfasster Cell-Artikel aus dem Jahr 2022, der aktualisierte Methoden verwendete, zu „den gleichen Schlussfolgerungen gelangte, dass Mikroben krebstypspezifisch sind“.

Zwei „große Fehler“

Nachdem Gihawis Vorabdruck für Januar herauskam, wandte sich einer der Forscher an ihn, Steven Salzberg, ein Computerbiologe an der Johns Hopkins University, der zum Mitarbeiter wurde und korrespondierender Autor des Vorabdrucks dieser Woche ist.

„[Steven] hatte auch immer den Verdacht, dass mit den Daten etwas nicht stimmte, aber er konnte es nicht genau sagen“, sagte Gihawi. „Also begannen wir zusammenzuarbeiten.“

Die beiden untersuchten die Nature-Studie von 2020 weiter und ihr neuer Vorabdruck, der auf Gihawis vorheriger Analyse aufbaute, behauptet, dass Knights Originalarbeit zwei „schwerwiegende Fehler“ enthielt. „Jedes dieser Probleme macht die Ergebnisse ungültig“, argumentierten die Forscher, „was zu der Schlussfolgerung führt, dass die in der Studie vorgestellten mikrobiombasierten Klassifikatoren zur Identifizierung von Krebs völlig falsch sind.“

Zum einen behaupteten Gihawi und Salzberg, dass die rohen mikrobiellen Lesezahlen in der Nature-Studie aufgrund der Kontamination mit menschlichen Sequenzen „für fast jede Bakterienart erheblich überschätzt“ worden seien.

Darüber hinaus argumentierten sie, dass die Strategie des Papiers zur Normalisierung von Rohdaten gegen technische Batch-Effekte, nämlich die Voom-SNM-Normalisierung, für jeden Krebs, der in der Realität nicht existierte, eine künstliche Signatur erstellte, die dann vom Modell des maschinellen Lernens ausgenutzt wurde, um hochpräzise Daten zu erstellen Klassifikatoren trotz des Fehlens eines echten Signals.

„Wir haben gezeigt, dass das Signal, das während des Normalisierungsprozesses eingeführt wurde, eine gewebespezifische Unterscheidungssignatur erzeugt hat, die nicht existieren sollte, da diese auf Taxa basiert, die völlig Null sind“, sagte Gihawi. „Man sollte nichts von Daten unterscheiden können, die nicht existieren.“

Knight wies diese Behauptungen zurück und warf den Preprint-Autoren vor, „eine Nicht-Kontroverse erneut aufzuwärmen, die bereits ausführlich behandelt wurde, auch in der von Experten begutachteten Literatur“. Er verwies auf das Cell-Papier seines Teams aus dem Jahr 2022, das seiner Meinung nach eine unabhängige, internationale Kohorte von Tumoren des Weizmann-Instituts in Israel mit strengeren Einstellungen, wie z. B. zusätzlicher menschlicher Lesefilterung, analysierte und dennoch zu den „gleichen Schlussfolgerungen“ gelangte, die dies stützten vorherige Naturstudie.

Die Gutachter der Nature-Studie 2020 antworteten nicht auf eine Bitte um Stellungnahme.

Nachdem Gihawi und Salzberg am Montag ihren Vorabdruck veröffentlicht hatten, hinterlegte Knights Team auch eine Gegenargumentation auf GitHub, wo sie sagten, sie hätten ihre maschinelle Lernanalyse ohne Verwendung der Voom-SNM-Normalisierung wiederholt und dennoch die ursprünglichen Ergebnisse beibehalten.

Travis Gibson, Professor an der Harvard Medical School, argumentierte jedoch auf Twitter, dass die für die GitHub-Widerlegung verwendeten Daten Hinweise auf eine Umweltverschmutzung enthielten. Gibson antwortete nicht auf Anfragen nach Kommentaren.

Aufkommende Angelegenheiten

Beide Seiten scheinen sich darüber einig zu sein, dass peer-reviewte Fachzeitschriften in die laufende Debatte eingreifen müssen.

„Wir glauben weiterhin, dass die Voom-SNM-Normalisierung eine nützliche kohortenübergreifende Integrationstechnik ist, bis es von Experten überprüfte Beweise für das Gegenteil gibt. An diesem Punkt werden wir die Ergebnisse bewerten und darauf basierend unsere eigene Untersuchung über die Grenzen des Nutzens durchführen.“ der Technik", sagte Knight.

„Aus diesem Grund muss [unsere Analyse] wirklich in einer von Experten begutachteten Zeitschrift veröffentlicht werden“, kommentierte Gihawi.

Bevor er seinen Vorabdruck im Januar veröffentlichte, sagte Gihawi, er habe seine Kommentare bei Nature zur Veröffentlichung als „Matters Arising“-Artikel eingereicht. Das Redaktionsteam von Nature lehnte seinen Antrag jedoch ab und teilte ihm mit, dass die von ihm vorgelegten Argumente „die gemeldeten Schlussfolgerungen“ der ursprünglichen Studie „nicht ausreichend in Frage stellten“.

„Wir haben ganz klar gezeigt, dass es Nullwerte gab, die normalisiert wurden“ und dass die Methode ein künstliches Signal eingeführt hatte, sagte Gihawi. „Wir konnten uns nicht ganz vorstellen, warum die Natur damit nicht klarkommen würde.“

Nach der Ablehnung, sagte Gihawi, habe Nature ihm vorgeschlagen, sein Manuskript als Vorabdruck zu veröffentlichen, was er auch tat. Gleichzeitig reichte er die Analyse auch bei verschiedenen anderen Fachzeitschriften ein, darunter auch bei Science, doch sie wurde abgelehnt, da es sich ausschließlich um einen einzigen in Nature veröffentlichten Artikel handelte.

In einer E-Mail sagte ein Sprecher von Science, dass die Zeitschrift „schnelles Feedback nach der Veröffentlichung zu Forschungsergebnissen, die in unserer Zeitschrift veröffentlicht wurden, über eLetters unterstützt“, dass sie jedoch „solches Feedback nicht veröffentlicht, wenn es sich auf Forschungsergebnisse konzentriert, die ausschließlich in anderen Zeitschriften veröffentlicht wurden“.

Nach der Veröffentlichung des ersten Vorabdrucks sagte Gihawi, er habe öffentliche und private Unterstützung von verschiedenen Forschern erhalten. Dadurch ermutigt sagte er, er habe sich erneut an Nature gewandt und die Zeitschrift gebeten, die Veröffentlichung seines Manuskripts noch einmal zu überdenken. Aber die Redakteure der Zeitschrift lehnten seinen Antrag erneut ab und stellten fest, dass sie „weiterhin der Meinung sind, dass der Artikel nicht gut für die redaktionellen Kriterien von ‚Matters Arising‘ geeignet ist, die in Bezug auf Format und Inhalt strenger sind.“

Nature erklärte nicht weiter, warum sie glaubte, dass Gihawis Manuskript nicht seinen Veröffentlichungsstandards entsprach.

Weitere Auswirkungen unklar

Abgesehen von der Nature-Studie sind auch mehr als ein Dutzend Folgestudien, die sich auf die Ergebnisse der Knight-Gruppe aus dem Jahr 2020 stützten, um weitere Zusammenhänge zwischen Krebs-Mikrobiomen zu finden, „wahrscheinlich ungültig“, behaupteten Gihawi und Salzberg diese Woche in ihrem Vorabdruck.

Dazu gehören beispielsweise eine Studie von Nature Communications aus dem Jahr 2022, die darauf hindeutet, dass das Tumormikrobiom dabei helfen kann, die Krebsprognose und das Ansprechen auf Medikamente vorherzusagen, sowie eine Studie zu NPJ Breast Cancer vom Januar 2023, in der rassenspezifische mikrobielle Gemeinschaften in Brusttumoren beobachtet wurden, stellten sie fest.

Die entsprechenden Autoren beider Artikel antworteten nicht auf die Bitte von GenomeWeb um einen Kommentar.

Über die akademische Forschung hinaus ist noch unklar, wie sich die im neuesten Preprint aufgeworfenen Fragen auf die kommerzielle Entwicklung von Krebsdiagnosetests auswirken werden, da die nun fragliche Nature-Studie aus dem Jahr 2020 für Micronoma eine einigermaßen wichtige Rolle spielt.

„Unsere Arbeit basiert auf den Ergebnissen des Nature-Papiers von 2020“, sagte ein Sprecher von Micronoma in einer E-Mail, „aber die Methoden haben sich seitdem weiterentwickelt und wir verwenden nicht genau dieselben Prozesse.“

Knight behauptete, dass der OncobiotaLung-Test des Unternehmens „überhaupt nicht von einer der Techniken im Papier von 2020 abhängt“.

In einer Erklärung sagte Sandrine Miller-Montgomery, CEO von Micronoma, dass das Unternehmen nach der Nature-Studie 2020 „zusätzliche Filter- und Qualitätskontrollmethoden für den Menschen entwickelt hat, die die Kontamination menschlicher genomischer DNA minimiert haben, und dabei festgestellt hat, dass dies die Fähigkeit zur Diagnose des Vorliegens von Krebs nicht beeinträchtigt.“ Typen, wie später in Cell veröffentlicht. Sie fügte hinzu, dass das Unternehmen im Fall der Lungenkrebserkennung „eine unabhängige und proprietäre mikrobielle Datenbank erstellt hat, die auf der Metagenomassemblierung nichtmenschlicher Messwerte basiert“.

Das Unternehmen beantwortete jedoch keine konkreten Fragen, etwa was es zu den von den Preprint-Autoren geäußerten Bedenken denkt und ob es glaubt, dass seine Tests, einschließlich OncobiotaLung, für den Einsatz bei Patienten sicher und wirksam sind.

Laut der Website von Micronoma ist die Oncobiota-Plattform des Unternehmens, die proprietäre Algorithmen für maschinelles Lernen enthält, „so konzipiert, dass sie krebsbezogene Mikrobiomsignaturen mit hoher Spezifität und Empfindlichkeit aufdeckt“.

Ivan Vujkovic-Cvijin, ein Mikrobiomforscher am Cedars-Sinai Medical Center, der an keiner der beiden Studien beteiligt war, sagte, maschinelles Lernen sei darauf ausgelegt, komplexe Muster in Daten zu finden, die ein Ergebnis vorhersagen können, aber diese Muster können aus oft unvorhersehbaren Quellen stammen. auch aus der Umwelt.

„Wenn Forscher unabhängige Validierungsproben erhalten und dasselbe maschinelle Lernmodell an neuen Probensätzen testen könnten, könnten wissenschaftliche Meinungsverschiedenheiten wie diese verhindert werden“, sagte er. „Aber es gibt keine Standards für die Anwendung maschinellen Lernens in der Mikrobiomwissenschaft, und ich denke, diese wissenschaftliche Meinungsverschiedenheit unterstreicht die Notwendigkeit, sie zu entwickeln.“