New Guidelines for Statistical Reporting in the New England Journal of Medicine

El passat 18 de juliol de 2019, The New England Journal of Medicine publicà una editorial on clarificava i difonia les noves guies estadístiques per als assatjos clínics i els estudis observacionals (1). Aquestes noves directrius sorgeixen com a conseqüència i necessitat de l’editorial publicada per l’American Statistical Association (endavant anomenada ASA) l’any 2016: The ASA’s statement on p-values: context, process, and purpose (2). En aquesta editorial es posava de manifest l’alarmant preocupació per part de l’ASA sobre l’ús incorrecte i la mala interpretació dels p-valors.

El p-valor és una mesura estadística que pot resultar útil sempre que les tècniques estadístiques siguin escollides de manera adient, sempre que es duguin a terme les anàlisis estadístiques adequadament, i es realitzi una correcta interpretació dels resultats estadístics. Per definició, el p-valor no és res més que la probabilitat d’obtenir un resultat (efecte o associació; per exemple, la diferència de mitjanes entre dos grups) major o igual a l’observat, donada una hipòtesi nul·la verdadera.

Però, el desenvolupament de la recerca científica i l’augment d’enormes i complexos conjunts de dades en els últims anys, ha ampliat l’abast d’aplicació dels mètodes estadístics. I encara que tot això significa que la ciència progressa, també és cert que s’ha despertat una certa preocupació sobre les conclusions trobades en els resultats de les investigacions. Aquestes preocupants conclusions poden derivar d’una mala pràctica estadística o d’una incorrecta interpretació dels resultats, i com a conseqüència es dóna lloca una manca de reproductibilitat de les conclusions científiques.

Part d’aquestes alarmants conclusions, l’ASA les reflexa a un llistat de principis que pretenen ajudar a millorar la interpretació en la comunitat científica i estadística.

  1. Els p-valors proveeixen un enfocament per a resumir la incompatibilitat entre un particular conjunt de dades i una hipòtesi proposada, habitualment aquesta hipòtesi nul·la indica una absència d’efecte o associació. Com més petit sigui el p-valor, major és la incompatibilitat o major és l’evidència en contra de la hipòtesi nul·la.

  2. El p-valor no és una mesura de probabilitat del fet que la hipòtesi estudiada és certa, ni tampoc la probabilitat de què les dades foren produïdes de manera aleatòria.

  3. Les conclusions científiques i la presa de decisions no deuen estar basades únicament en si el p-valor sobrepassa un llindar determinat. Aquesta pràctica pot desencadenar conviccions errònies i una desastrosa presa de decisions. Les conclusions no es converteixen “certes” a un costat del llindar i “falses” a l’altre costat. Es deuen tenir en compte molts altres factors del context que prenen un paper fonamental en les inferències científiques, com poden ser: el disseny de l’estudi, la qualitat de les mesures, les evidències externes sobre el fenomen d’estudi i la validesa de les assumpcions que sostenen les anàlisis.

  4. Una inferència adequada requereix una completa transparència i informació de les anàlisis dutes a terme. Les anàlisis relacionades i els p-valors obtinguts no deuen ser mostrats de forma selectiva. Dur a terme múltiples anàlisis i mostrar solament aquells p-valors inferiors a 0,05, fa que els p-valors no es puguin interpretar. Açò és el que es coneix com a inferència selectiva o “p-hacking“, i comporta un fals excés de significança estadística en els resultats que acaben sent publicats a la literatura científica. Es deu evitar radicalment aquesta pràctica. Les conclusions científiques vàlides basades en p-valors deuen anar sempre acompanyades d’altres estimacions com els efectes, els intervals de confiança i el nombre d’anàlisis que s’han dut a terme, així com la manera que van ser aquestes anàlisis amb p-valors seleccionades per a la publicació.

  5. Un p-valor o la significança estadística, no mesura la grandària de l’efecte o la importància del resultat. P-valors petits no impliquen necessàriament la presència d’un efecte gran o rellevant, així com un p-valor gran no implica una falta d’importància o d’efecte. Qualsevol efecte, independentment de quant petit sigui, pot produir un p-valor molt xicotet si la grandària mostral és suficientment gran.

  6. Per si sol, un p-valor no és una bona mesura d’evidència en relació amb un model o hipòtesi. La comunitat científica deu reconèixer que un p-valor sense context o altres evidències proveeix una informació limitada. Per tant, l’anàlisi de dades no deu finalitzar amb el càlcul d’un p-valor quan existeixen altres perspectives més apropiades i factibles.

Llegir més

Open Clinica

El  nostre proveïdor de servicis d’administració de sistemes ValenciaTech, ens va solucionar un problema molt greu que tinguerem treballant amb el software Open Clinica. L’error de la pantalla blanca.