L’aumento esponenziale dei preprints (di cui Medici Oggi ha già parlato in un precedente articolo) e della quantità di submissions inviate alle riviste di tutti i principali editori è un fenomeno che è stato incentivato da una molteplicità di fattori che vanno ben al di là del COVID-19: il movimento per l’Open Access con la moltiplicazione dei canali e degli editori per disseminare gli outcome della ricerca, l’avanzata di paesi emergenti con un’importante produzione scientifica, l’incremento delle spese per la ricerca e lo sviluppo nonché gli interessi commerciali crescenti dell’industria.
In questo contesto, la persistenza di pratiche di ricerca non ortodosse e i limiti legati alla progettazione e all’esecuzione degli studi, in particolare per quanto riguarda la loro replicabilità, hanno messo a dura prova il tradizionale sistema di peer review.
Alcuni strumenti di screening che funzionano grazie a algoritmi di Intelligenza Artificiale potrebbero potenzialmente migliorare il processo di peer review, a supporto di autori, editori e reviewers nell’identificazione di best practice e criticità comuni rilevate nei preprint o nei manoscritti inviati.
Questi tools possono esaminare rapidamente un numero importante di documenti e possono essere particolarmente utili per valutare la conformità con le linee guida della rivista. Tali applicazioni, tuttavia, non sono in grado di offrire un’interpretazione di un manoscritto in un contesto più ampio, né valutare se i metodi utilizzati siano adatti a rispondere adeguatamente ai quesiti di ricerca o se i dati supportino le conclusioni degli autori.
Il processo di peer review (che ricordiamo significa revisione tra pari) è essenziale per valutare se un contenuto è adatto per una specifica rivista, per giudicarne la qualità complessiva (in particolare nel caso ci sia un disegno sperimentale), la solidità delle conclusioni, il potenziale impatto (clinico, economico, sociale) e l’innovazione.
Gli strumenti di screening automatizzati non possono sostituire la revisione tra pari, ma possono essere di sicuro supporto a autori, revisori ed editori nel migliorare la qualità finale degli output editoriali.
È necessario definire chiaramente un uso responsabile di questi strumenti nel processo di peer review, segnalando l’utilizzo degli stessi e le modalità di fruizione, nonché formando adeguatamente i fruitori all’interpretazione delle analisi dei dati che le applicazioni mettono a disposizione.
L’Intelligenza Artificiale al Congresso ISMPP di Washington
Nel corso del mese di maggio si è tenuto a Washington il 18° Congresso della International Society for Medical Publication Professionals (ISMPP), un’associazione senza scopo di lucro cui sono iscritti oltre 1100 stakeholders che sono coinvolti direttamente o indirettamente con il mondo dell’editoria scientifica. I membri includono non soltanto editori ma anche enti di ricerca biomedica, aziende farmaceutiche e di dispositivi medici, agenzie di comunicazione e medical writers professionisti.
L’utilizzo dell’Intelligenza Artificiale per l’editoria biomedica è stato uno degli argomenti cui è stato dato maggiore risalto. In particolare, segnaliamo questi cinque poster:
Poster #1 AI for citation screening: l’intelligenza artificiale permette di risparmiare tempo per effettuare una review della letteratura, garantendo lo stesso livello di accuratezza.
Poster #2: Survey su come l’Intelligenza Artificiale è percepita in azienda farmaceutica e in particolare per quanto concerne l’area medical affairs, per scopi informativi e di aggiornamento, per ottimizzare i flussi di lavoro e a supporto del decision-making strategico.
Poster #3: L’Intelligenza Artificiale per le traduzioni dell’area medica
Gli strumenti di Intelligenza Artificiale possono tradurre accuratamente testi dal Giapponese all’Inglese con una velocità fino a 500 volte superiore rispetto a un essere umano con un buon livello di accuratezza. È raccomandata comunque una revisione ulteriore a cura di uno specialista. L’esempio del Giappone è interessante in quanto lingua più complessa di altre.
Poster #4: L’Intelligenza Artificiale per il monitoraggio della letteratura
Se paragonata a un’attività di review svolta manualmente, l’Intelligenza Artificiale garantisce una riduzione del tempo da dedicare all’attività di circa il 90%.
Poster #5: L’Intelligenza Artificiale per la realizzazione di sintesi della letteratura
La realizzazione di sinossi di articoli scientifici richiede mediamente circa 118 minuti, rispetto ai circa 150 secondi di cui necessità l’Intelligenza Artificiale. Tuttavia, è da considerare che i contenuti prodotti risultano meno fluidi rispetto a quelli scritti da professionisti in carne e ossa. Si suggerisce pertanto che i testi siano rivisti comunque sempre anche da un professionista.
Altri strumenti per editors, revisori e autori
Ecco alcuni esempi (attenzione, per alcuni di questi strumenti è necessario sottoscrivere un abbonamento, anche se è disponibile un periodo di prova gratuito, per altri si accede al sito Github sul quale sono disponibili i codici per riprodurre le applicazioni, altri invece sono accessibili in versione gratuita).
L’applicazione gratuita effettua lo screening di manoscritti con la possibilità di rilevare diverse tipologie di grafici utilizzati: grafici a barre di dati continui, di rilevazioni numeriche o proporzioni, grafici a torta, box plots, istogrammi, diagrammi di flusso. Barzooka è basato su una rete convoluzionale profonda sviluppata con il software Python. Il sistema può suggerire l’utilizzo di tipologie di grafici più appropriati per l’utilizzo e la comprensione. Il codice è disponibile gratuitamente su Github.
Quest’applicazione permette di rilevare in maniera automatica i limiti menzionati dagli autori di un manoscritto. L’inserimento di limiti dello studio è essenziale per determinare il contesto nel quale la ricerca è stata effettuata sempre nell’ottica di potenziali e future necessità di riprodurre la ricerca. Il codice è disponibile gratuitamente su Github.
Open data, open code: la disponibilità dei dati e del codice per riprodurre le analisi effettuate facilita sia la riproducibilità dell’esperimento che l’identificazione di eventuali errori, permettendo il riutilizzo dei dati in future sperimentazioni. Il codice è disponibile gratuitamente su Github.
Un’applicazione a pagamento che permette di effettuare una valutazione di un manoscritto in riferimento al rispetto delle linee guida delle riviste per quanto concerne la presenza e correttezza dei riferimenti bibliografici, la dichiarazione di conflitto di interesse, la struttura e lunghezza del manoscritto, l’acquisizione, gestione e reporting dei dati.
PySciDetect
PySciDetect, sviluppato grazie a una collaborazione tra l’Università di Grenoble e Springer Nature, è un software open source sviluppato con Python che permette di identificare qualsiasi testo e/o dato che è stato generato attraverso “paper mills” o software come SCIgen. Il sistema fa confronta il paper analizzato e lo confronta a quanto presente in un database di articoli scientifici falsi, calcolando il tasso di similarità.
PySciDetect è disponibile per il download gratuito attraverso una GNU General Public License V3.
SciScore è un servizio a pagamento che genera rapporti di valutazione relativi alle metodologie utilizzate in un manoscritto e effettua in maniera automatica dei controlli incrociati basati su linee guida dell’NIH per il reporting di studi clinici umani (CONSORT), animali (ARRIVE) e MDAR (Materials, Design, Analysis, and Reporting). SciScore fornisce un punteggio basato su degli indicatori relativi a trasparenza e accuratezza del manoscritto, in particolare in riferimento alla possibilità di replicare lo studio (con un focus importante in particolare sulle sezioni dei materiali e dei metodi).
Applicazione gratuita che conferma la corretta identificazione delle sequenze di nucleotidi. Il reporting non accurato o errato di queste sequenze può infatti rendere difficile o impossibile la riproduzione dei risultati dello studio. È fortemente raccomandato il supporto di un review umano nella validazione dell’affidabilità del rapporto estratto dal software.
Applicazione a pagamento che permette di consultare le citazioni di un articolo in formato “smart”: il sistema verifica non soltanto il numero di citazioni ma anche il quadro più ampio dell’articolo all’interno del quale la citazione è stata utilizzata, in quale sezione è stata inserita e come è stata utilizzata (a supporto/conferma delle affermazioni, per contrastare la testi principale, etc). Il sistema favorisce anche il rilevamento di citazioni di articoli che sono stati oggetto di retractions o che hanno subito correzioni (erratum).
Applicazione gratuita che permette di caricare direttamente il manoscritto per verificare l’appropriatezza e accuratezza di test e metodi statistici utilizzati.
StatReviewer
Software a pagamento utilizzato da diversi editori che verifica la correttezza dell’utilizzo di test e metodi statistici presenti nei manoscritti
Sito istituzionale Ariessys, produttore StatReviewer https://www.ariessys.com/wp-content/uploads/EMUG2016_PPT_StatReviewer.pdf
Si tratta di un software a pagamento che è in grado di estrarre automaticamente concetti chiave da un manoscritto e sintetizzarne il contenuto. Qui maggiori informazioni sull’accordo tra UNSILO e il gruppo Springer Nature.
I limiti dell’Intelligenza Artificiale e il potenziale bias
È opportuno ricordare che l’Intelligenza Artificiale che effettua delle valutazioni o screening di contenuti è basata su algoritmi strutturati su diagrammi di flusso che sono stati definiti a monte da esseri umani, per natura stessa soggetti a bias. Inoltre, l’Intelligenza Artificiale apprende sulla base della quantità e tipologia di contenuti che analizza. Pertanto anche in termini di “apprendimento”, il sistema può essere soggetto a bias, fornendo delle valutazioni distorte o parziali nel caso il dataset di riferimento sia parziale e/o rappresentativo solo di alcune popolazioni/tipologie di soggetti.
Springer Healthcare Italia a supporto degli autori
I ricercatori hanno sempre meno tempo per poter scrivere manoscritti scientifici di qualità e per potersi districare tra i tanti strumenti a disposizione, spesso in continua evoluzione anche grazie alla tecnologia e all’Intelligenza Artificiale, che deve essere considerata uno strumento a supporto degli esperti e non una minaccia. Springer Healthcare Italia, divisione del gruppo editoriale Springer Nature, mette a disposizioni di autori, società scientifiche, aziende farmaceutiche la sua expertise a supporto degli autori in particolare per servizi di Medical Writing mirati alla stesura, revisione e submission di manoscritti a riviste indicizzate sia del gruppo Springer Nature che di tanti altri editori e Società Scientifiche.
Bibliografia
- Schulz, R., Barnett, A., Bernard, R. et al. Is the future of peer review automated?. BMC Res Notes 15, 203 2022.
- van Schalkwyk MCI, Hird TR, Maani N, Petticrew M, Gilmore AB. The perils of preprints. BMJ. 2020 Aug 17;370:m3111.
- Else H. How a torrent of COVID science changed research publishing – in seven charts. 2020 Dec;588(7839):553.
- Nahai F. The rise of predatory journals: what difference does it make? Aesthet Surg J. 2015 Nov;35(8):1042-3.
- Soehartono, A.M., Yu, L.G. & Khor, K.A. Essential signals in publication trends and collaboration patterns in global Research Integrity and Research Ethics (RIRE). Scientometrics 2022.
- Moiwo, J. P., & Tao, F. . The changing dynamics in citation index publication position China in a race with the USA for global leadership. Scientometrics, 95(3), 1031–1050 2013
- Panch T, Mattie H, Atun R. Artificial intelligence and algorithmic bias: implications for health systems. J Glob Health. 2019 Dec;9(2):010318.
- Celi LA, Cellini J, Charpignon M-L, Dee EC, Dernoncourt F, Eber R, et al. Sources of bias in artificial intelligence that perpetuate healthcare disparities—A global review. PLOS Digit Health 1(3): e0000022. 2022
- Menke J, Roelandse M, Ozyurt B, Martone M, Bandrowski A. The Rigor and Transparency Index Quality Metric for Assessing Biological and Medical Science Methods. iScience. 2020 Oct 20;23(11):101698
- Riedel, N., Kip, M. and Bobrov, E., 2020. ODDPub – a Text-Mining Algorithm to Detect Data Sharing in Biomedical Publications. Data Science Journal, 19(1), p.42.
- Kilicoglu H, Rosemblat G, Malicki M, Ter Riet G. Automatic recognition of self-acknowledged limitations in clinical research literature. J Am Med Inform Assoc. 2018 Jul 1;25(7):855-861.
- Riedel N, Schulz R, Kazezian V, Weissgerber T. Replacing bar graphs of continuous data with more informative graphics: are we making progress? bioRxiv.
- Nuijten MB, Hartgerink CH, van Assen MA, Epskamp S, Wicherts JM. The prevalence of statistical reporting errors in psychology (1985-2013). Behav Res Methods. 2016 Dec;48(4):1205-1226.
- Labbé C, Grima N, Gautier T, Favier B, Byrne JA. Semi-automated fact-checking of nucleotide sequence reagents in biomedical research publications: The Seek & Blastn tool. PLoS One. 2019 Mar 1;14(3):e0213266.
