Один из критериев, которые используют в классических исследованиях, — так называемый порог p < 0,05. Он значит, что если всё случайно и никакой закономерности нет, то вероятность получить такой (или более выраженный) результат, какой был приведён в исследовании — например, что препарат работает лучше, чем пустышка, — будет ниже 5%. Этот принцип часто используется как формальный критерий для отсечения гипотез, хотя вокруг него идёт много споров.
Но что делают авторы, пытающиеся замалчивать результаты? Они берут выборку, например, из десяти человек и проверяют гипотезу на них. Получили нужный результат? Нет, не получили. Тогда добавляем ещё десять человек. Получили результат? Не получили. Добавим ещё десять человек. Получили? Не получили. Добавим ещё. Получили? Получили (рано или поздно это, скорее всего, произойдет). Остановились. И тут главное — не добавить ещё, а то результат пропадёт. А потом в статье будет написано, что выборка была сорок человек, и внешне всё пристойно. Но это скрывает хитрый приём формирования выборки, который мог бы породить ложные выводы.
Есть и более простые схемы — например, сокрытие части данных. Провели пять экспериментов, рассказали только про один, с положительным результатом. А может быть ситуация, когда вы сначала собираете данные, ищете в них кучу разных закономерностей, находите ту, которая лучше всего вписывается, забываете рассказать, что искали вы сотню разных, и говорите, что изначально искали именно то, что нашли. Это сильно искажает оценку вероятностей того, что вы получили результат по случайным причинам, так как если вы проверяли сотни закономерностей, то вероятно, что хотя бы одну на своих данных вы подтвердите.
«Неудивительно, что многие известные учёные — и Ричард Докинз, как, пожалуй, самый яркий представитель — отвергают теологию в качестве научной дисциплины как "разговор ни о чём". Целый ряд теологов спорили с Докинзом, но все они, похоже, не улавливали его главную мысль, что разговор о боге — это такой разговор, который никогда не приводит к приращению знания. Независимо от того, какого мнения вы придерживаетесь о Докинзе, он сослужил огромную службу всей академической среде, так как предложил лёгкий способ, которым можно обнаружить в нашей среде теологов. Если вы не уверены в том, кем является ваш собеседник, просто упомяните имя Ричарда Докинза в вашем разговоре. Теолог начнёт отвергать его, религиовед — нет».Это мнение религиоведа К. Нолла.