“Hace muy pocos años, unos investigadores intentaron replicar una amplia serie de efectos experimentales que se consideraban bien establecidos en psicología. Para consternación de los psicólogos, sólo fue posible replicar con éxito del orden de un 40% de esos efectos. Esto inició lo que se ha dado en llamar la “crisis de la replicabilidad” en psicología y, en general, en todas las ciencias que deben lidiar con un importante grado de variabilidad en sus datos. La reacción de la comunidad científica no se ha hecho esperar y se puede decir que hoy en día vivimos una nueva época en el modo de hacer investigación.

En esta ponencia comenzaremos describiendo la lógica del modo de pensar previo a la crisis, el testeo de la hipótesis nula (“null hypothesis significance testing”) y cómo el modo en que se aplicaba en la práctica científica, junto con la creciente presión de publicar, fue creando las condiciones para la falta de replicabilidad de los hallazgos.

Hablaremos de la obsesión con el valor de p, la no consideración del tamaño del efecto y el consiguiente uso sistemático de diseños con poca potencia estadística, el “baile de la p” (the dance of the p values), la “pesca del valor p” (p-fishing), el “problema del archivador” (file-drawer problem) y la popularidad de los estudios de un solo experimento. A continuación, plantearemos las soluciones que la comunidad científica ha generado para evitar estos problemas en el futuro: énfasis en el tamaño del efecto y su intervalo de confianza, cálculo del tamaño necesario de la muestra para tener una cierta potencia estadística, pre-registro de los estudios, la replicación sistemática de los hallazgos y nos detendremos especialmente en el meta-análisis, el cual aplicaremos a un efecto de relevancia para la lingüística cognitiva. Armadas con este arsenal de nuevas estrategias metodológicas, las ciencias sociales y biomédicas, incluyendo la lingüística, se enfrentan al futuro con optimismo.»