Kód Enigma Express
Vědci vycvičili jazykový model na 2 202 článcích stažených z odborných časopisů kvůli podezření, že pocházely z publikačních továren. Model následně porovnal názvy a abstrakty více než 2,6 milionu původních studií o rakovině a označil 261 245 textů za podezřele podobné.
Jde téměř o desetinu zkoumaného souboru, nikoli však o čtvrt milionu potvrzených podvodů. Publikační továrny vyrábějí články podle opakovaných šablon, vymýšlejí data, upravují obrázky nebo prodávají místa v seznamu autorů lidem, kteří výzkum neprováděli.
Pokud se taková práce dostane do dalších experimentů, přehledových studií nebo klinických doporučení, může dlouhodobě ovlivňovat skutečnou vědu.
Umělá inteligence zde funguje jako filtr, který vytipuje texty ke kontrole, konečný verdikt však musí vždy vyslovit člověk.
Článek v plném znění si přečtete níže
Systém strojového učení prověřil více než 2,6 milionu článků o rakovině vydaných mezi lety 1999 a 2024. Celkem 261 245 z nich, tedy 9,87 procenta, označil za textově podobné známým výrobkům takzvaných publikačních továren. Neznamená to, že každý desátý článek o rakovině byl prokazatelně zfalšován. Znamená to však, že více než čtvrt milionu publikací nese znaky, které si zaslouží podrobnější kontrolu.
Továrna nepotřebuje laboratoř
Pojem „publikační továrna“ neoznačuje výzkumné pracoviště s mimořádně vysokou produktivitou. Jde o komerční organizaci, která vyrábí nebo upravuje vědecké články na objednávku. Zákazník si může koupit hotový rukopis, první místo v seznamu autorů nebo méně nápadné spoluautorství. V některých případech může existovat skutečný, ale nekvalitní experiment. Jindy jsou data, obrázky i samotný výzkum vymyšlené.
Průmyslová výroba vyžaduje opakovatelný postup. Jeden základní článek lze proto přepsat tak, že se změní typ nádoru, zkoumaný gen, buněčná linie nebo použitá molekula. Věty, struktura výsledků a způsob formulování hypotézy zůstávají podobné. Mikroskopické snímky se otočí, oříznou nebo použijí znovu, grafy dostanou jiné popisky a původně jediný soubor dat se může objevit v několika zdánlivě nesouvisejících studiích.
Výrobek přitom nemusí na první pohled působit směšně. Má všechny očekávané části: úvod, metody, výsledky, diskusi, tabulky i desítky citací. Vypadá jako věda, protože napodobuje její vnější formu. Organizace COPE a STM upozorňují, že tyto podniky mohou pomáhat také s manipulací recenzního řízení, obstarávat falešné recenzenty a přizpůsobovat rukopisy požadavkům konkrétních časopisů.
Vědecký filtr založený na jazyce
Tým Baptista Scancara, Jennifer Byrneové, Davida Causeura a Adriana Barnetta vycházel z předpokladu, že sériově vyráběné články po sobě zanechávají opakovaný jazykový otisk. Použil proto model BERT, který dokáže hledat vztahy mezi slovy, větami a strukturou textu.
K výcviku posloužilo 2 202 článků vedených v databázi Retraction Watch jako práce stažené kvůli spojení s publikačními továrnami. Výsledky vědci ověřovali také na nezávislých souborech publikací, které dříve prozkoumali specialisté hledající manipulace vědeckých obrázků. Při testování dosáhl model přesnosti 91 procent.
Následně dostal názvy a abstrakty 2 647 471 původních článků o rakovině indexovaných v databázi PubMed. Nečetl kompletní metodiku, neověřoval laboratorní deníky a nekontroloval, zda skutečně existovali pacienti, vzorky nebo přístroje uvedené v práci. Hledal textovou podobnost se známými problematickými články.
Výsledkem proto není seznam usvědčených podvodníků. Je to mapa míst, kde se opakují vzory spojované s již odhalenou výrobou falešné vědy.
Podezřelých článků prudce přibývalo
Na začátku sledovaného období model označoval přibližně jedno procento článků. Podíl postupně rostl a v roce 2022 překročil 16 procent. Problém navíc nebyl omezen na okrajové časopisy bez skutečné redakční kontroly. Podezřelé texty přibývaly také v nejvýše hodnocených deseti procentech odborných titulů.
Nejčastěji se objevovaly v základním laboratorním výzkumu, například ve studiích vztahů mezi geny, bílkovinami, buněčnými procesy a nádory. Nadprůměrné zastoupení vykazovaly práce o rakovině žaludku, kostí a jater. Právě molekulární biologie je pro sériové napodobování vhodná: názvy genů a nádorů lze vyměňovat, zatímco celá konstrukce článku zůstává téměř stejná.
Více než 170 000 označených článků mělo prvního autora spojeného s čínskou institucí, což představovalo přibližně 36 procent zkoumané čínské onkologické produkce. Vysoké podíly se objevily také u několika dalších zemí, kde jsou kariérní postup, získání lékařské pozice nebo finanční odměny silně propojeny s počtem publikací.
Tato čísla však vyžadují opatrnost. Model posuzoval jazyk a mohl být citlivý k některým šablonovitým formulacím používaným autory, pro něž angličtina není mateřským jazykem. Kritické reakce zveřejněné u studie upozornily, že textová podobnost sama o sobě nedokazuje vymyšlenou metodiku ani neexistující data. Výsledek nesmí sloužit k automatickému obviňování jednotlivých vědců nebo celých zemí.
Falešná studie nekončí svým vydáním
Největším problémem není samotná existence pochybného článku, který si téměř nikdo nepřečte. Věda vzniká postupným navazováním na dřívější výsledky. Jedna studie se stává citací v další práci, podkladem pro nový experiment nebo položkou v systematickém přehledu.
Pokud někdo zveřejní vymyšlené tvrzení, že určitý gen podporuje růst nádoru, jiná laboratoř může investovat čas a peníze do jeho zkoumání. Když výsledek nepotvrdí, nemusí okamžitě předpokládat podvod. Může hledat chybu ve vlastní metodě, objednat další reagencie, zopakovat pokus a ztratit měsíce práce.
Ještě závažnější situace nastává, když se falešné výsledky dostanou do metaanalýzy. Ta spojuje data z více studií, aby získala přesnější odpověď než kterýkoli jednotlivý výzkum. Několik vymyšlených nebo sériově vyráběných prací však může výsledný odhad posunout, zvlášť pokud obsahují nápadně čistá data a silné efekty.
Analýza 416 článků stažených v roce 2022 kvůli spojení s publikačními továrnami ukázala, že před stažením získaly dohromady 8 479 citací. Od vydání do odvolání přitom uplynuly v mediánu více než tři roky. Během této doby mohly být zapojeny do rozsáhlé sítě dalších publikací, které je citovaly jako platný důkaz.
Recenzní řízení není detektor lži
Běžná představa říká, že vědecký článek před vydáním prověří odborní recenzenti, a podvod proto nemůže snadno projít. Recenzní řízení však obvykle neznamená zopakování experimentu. Recenzent dostane text, grafy a popis metod. Nemá přístup do laboratoře a většinou nemůže ověřit, zda předložená data skutečně vznikla.
Dobře sestavený falešný článek tak může působit věrohodněji než poctivá studie, jejíž výsledky jsou komplikované, nejednoznačné a zatížené přirozenou biologickou variabilitou. Výrobce si může vymyslet přesně tak čistý příběh, jaký redakce ráda publikuje: jedna molekula ovlivní jednu signální dráhu, tím urychlí růst nádoru a její zablokování vše napraví.
Publikační továrny mohou navíc navrhovat falešné recenzenty, využívat slabě spravovaná tematická čísla nebo zasílat velké množství rukopisů různým časopisům, dokud některý z nich neuspěje. Jednotlivá redakce přitom často vidí pouze jeden článek a nemusí rozpoznat, že podobné rukopisy putují celým publikačním systémem.
Umělá inteligence problém odhaluje i zhoršuje
Autoři nový nástroj přirovnávají k filtru nevyžádané pošty. Redakce by jej mohla použít ještě před odesláním rukopisu recenzentům. Podezřelá práce by následně prošla důkladnější kontrolou obrázků, použitých buněčných linií, statistiky, surových dat a identity autorů. Tři vědecké časopisy už podle Queenslandské technické univerzity systém pilotně testují.
Stejná technologie však pracuje i pro druhou stranu. Generativní AI dokáže rychle vytvářet plynulejší text, pozměňovat šablony a produkovat syntetická data i obrázky. Starší publikační továrny po sobě zanechávaly kostrbatou angličtinu a nápadně opakované věty. Novější výrobky mohou být jazykově pestřejší a hůře rozpoznatelné.
Vzniká tak zvláštní závod. Algoritmy se učí odhalovat stopy automatizované výroby a jiné algoritmy pomáhají tyto stopy zahlazovat. Samotná AI proto důvěryhodnost vědy nezachrání. Může pouze rozhodnout, kde mají lidé začít hledat.
Věda potřebuje dokazovat také svůj původ
Zastavení publikačních továren nebude možné jediným softwarem. Časopisy mohou vyžadovat surová data, detailní obrazové soubory, záznamy laboratorních postupů a ověřené informace o použitých materiálech. Instituce musí vyšetřovat podezření u vlastních zaměstnanců a přestat odměňovat samotný počet publikací bez ohledu na jejich kvalitu.
Důležitá bude také možnost sledovat původ výsledků. Kdo experiment provedl, kde se nacházejí původní data, kdy byly snímky vytvořeny a zda použité buněčné linie či reagencie skutečně odpovídají popisu? Poctiví vědci budou muset uchovávat přesvědčivější stopu své práce právě proto, že falešný článek může na povrchu vypadat stejně profesionálně jako skutečný.
Rozsáhlá analýza neprokázala, že je desetina výzkumu rakoviny podvodná. Ukázala však, že publikační systém obsahuje množství textů, které jsou podezřele podobné již odhaleným výrobkům vědeckého průmyslu. Ignorovat takový signál by znamenalo přijmout, že článek je důvěryhodný jen proto, že vypadá jako článek.
Věda nestojí pouze na výsledcích. Stojí na možnosti zjistit, jak vznikly. Jakmile tuto vazbu nahradí dobře vyrobená imitace, falešná informace nemusí nikoho okamžitě zabít. Může však roky odvádět výzkumníky od skutečných řešení, spotřebovávat peníze a nenápadně se usazovat v základech dalších rozhodnutí.
Věděli jste, že…
Stažení článku neznamená, že z vědeckého světa zmizí. Jeho soubory mohou zůstat uložené v osobních archivech, citace se kopírují do nových studií a část autorů si oznámení o stažení vůbec nevšimne. Proto může chybná nebo podvodná práce ovlivňovat další výzkum ještě dlouho poté, co ji časopis oficiálně označil za nedůvěryhodnou.
Další témata z vědy, historie a přírody najdete na Kód Enigma.
Zdroje: The BMJ – Machine learning based screening of potential paper mill publications in cancer research [1], PubMed – Machine learning based screening of potential paper mill publications in cancer research [2], Queensland University of Technology – New tool exposes scale of fake research flooding cancer science [3], COPE & STM – Paper Mills Research Report and Recommendations [4], Nucleic Acids Research – Protection of the human gene research literature from contract cheating organizations known as research paper mills [5], img ai generated
