La reproducibilidad

Clipboard

Concepts:

replicación, tamaño del efecto, reproducibilidad, evidencia, psicología, indicadores, publicación, repeticiones, selección, revistas, suficientes, evaluaciones subjetivas, cabo, diseños, hallazgo con nuevos.

Summary:

La reproducibilidad es una característica definitoria de la ciencia, pero la medida en la que se caracteriza a la investigación actual se desconoce.

Afirmaciones científicas no deben ganar credibilidad a causa de la situación o de la autoridad de su autor, sino por la replicabilidad de sus pruebas de apoyo.

Incluso la investigación de calidad ejemplar puede tener resultados empíricos irreproducibles debido a errores aleatorios o sistemáticos.

Hay preocupación por la tasa y los predictores de la reproducibilidad, pero la evidencia es limitada.

Potencialmente, prácticas problemáticas incluyen información selectiva, análisis selectivo y especificación insuficiente de las condiciones necesarias o suficientes para obtener los resultados.

La replicación directa es el intento de recrear las condiciones que se creen suficientes para obtener un resultado observado anteriormente y es el medio de establecer la reproducibilidad de un hallazgo con nuevos datos.

Hemos realizado una gran escala, un esfuerzo de colaboración para obtener una estimación inicial de la reproducibilidad de la ciencia psicológica.

Hemos llevado a cabo repeticiones de 100 estudios experimentales y correlacionales publicados en tres revistas de psicología usando diseños de alta potencia y materiales originales cuando estén disponibles.

No existe una norma única para evaluar el éxito de replicación.

Aquí, se evaluó la reproducibilidad utilizando significación y valores P, los tamaños del efecto, las evaluaciones subjetivas de los equipos de replicación, y meta-análisis de los tamaños del efecto.

El promedio del tamaño del efecto (r) de los efectos de replicación (Mr = 0,197, SD = 0,257) fue la mitad de la magnitud del tamaño del efecto promedio de los efectos originales (Mr = 0,403, SD = 0,188), lo que representa una disminución sustancial.

36% por ciento de las repeticiones tuvo resultados significativos; 47% de los tamaños del efecto originales estaban en el intervalo de confianza del 95% del tamaño del efecto de replicación; 39% de los efectos fueron subjetivamente clasificados de haber replicado el resultado original; y si se asume que no hay ningún sesgo en los resultados originales, combinando los resultados originales y los resultados de la replicación, dejaron 68% con efectos estadísticamente significativos.

Pruebas de correlacionales sugieren que el éxito de replicación fue mejor predicha por la fuerza de la evidencia original que por las características de los equipos originales y replicación.

Conclusión Ningún indicador por si solo describe de manera suficientemente el éxito de replicación, y los cinco indicadores examinados aquí no son las únicas maneras de evaluar la reproducibilidad.

No obstante, en conjunto estos resultados ofrecen una conclusión clara: Una gran parte de las repeticiones produjeron evidencia más débil de los hallazgos originales a pesar de utilizar materiales proporcionados por los autores originales, revisión de antemano por la fidelidad metodológico y un alto poder estadístico para detectar los tamaños del efecto originales.

Además, la evidencia de correlación es consistente con la conclusión de que la variación en la fuerza de la evidencia inicial (tal como el valor original P) fue más predictiva del éxito de replicación que la variación en las características de los equipos que realicen la investigación (tales como la experiencia y pericia).

Los últimos factores sin duda pueden influir en el éxito de replicación, pero no parecen hacerlo aquí.

Reproducibilidad no es bien comprendida porque los incentivos para los científicos dan prioridad a la novedad (innovación) sobre la replicación.

La innovación es el motor de descubrimiento y es vital para una empresa científica productiva y eficaz.

Sin embargo, las ideas innovadoras se convierten rápidamente en viejas noticias.

Revisores y editores de revistas pueden desestimar una nueva prueba de una idea publicada como poco original.

La afirmación de que "ya sabemos esto" desmiente la incertidumbre de la evidencia científica.

La innovación señala caminos que son posibles; la replicación señala caminos probables; el progreso depende de ambos.

La replicación puede aumentar la seguridad (certeza) cuando se logra reproducir los resultados y promover la innovación cuando no.

Este proyecto proporciona evidencia acumulada durante muchos hallazgos en la investigación psicológica y sugiere que todavía hay mucho trabajo por hacer para verificar si sabemos lo que creemos saber.

La reproducibilidad es un principio fundamental del progreso científico.

Afirmaciones científicas no deben ganar credibilidad a causa de la situación o de la autoridad de su autor, sino por la replicabilidad de sus evidencias de apoyo.

Los científicos intentan describir de manera transparente la metodológica y la evidencia resultante que han utilizado para apoyar sus afirmaciones.

Otros científicos estén de acuerdo o no con que la evidencia apoya las afirmaciones, citan razones teóricas o metodológicas o mediante la recopilación de nuevas pruebas.

Tales debates carecen de sentido si las evidencias que se debaten no son reproducibles.

Incluso la investigación de calidad ejemplar puede tener resultados empíricos irreproducibles debido a errores aleatorios o sistemáticos.

La replicación directa es el intento de recrear las condiciones que se creen suficientes para obtener un resultado observado anteriormente y es el medio de establecer la reproducibilidad de un hallazgo con nuevos datos.

Una replicación directa no puede obtener el resultado original por una variedad de razones: las diferencias conocidas o desconocidas entre la replicación y el estudio original puede moderar el tamaño de un efecto observado, el resultado original podría haber sido un falso positivo o la replicación podría producir un falso negativo.

...