Об воспроизводимость

В предыдущем посте (про грубого жулика, подделывавшего реагенты) вдруг опять всплыла тема невоспроизводимости результатов экспериментов в статьях. В связи с этим стоит отметить несколько довольно очевидных вещей, которые почему-то часто в этих дискуссиях теряются.

Во-первых, под невоспроизводимостью могут подразумеваться совершенно разные вещи, далеко не все из которых свидетельствуют о бесчестности или о халтурности или о непрофессионализме авторов статей.

Как правило, когда говорят о том, что результаты не воспроизводятся, в головах читающих возникает следующая картина: Одна научная группа делает эксперимент и получает результат А, а вторая научная группа в точности повторяет этот эксперимент и получает результат Z. Подобные ситуации конечно встречаются и объяснений им может быть несколько. Возможно первая группа накосячила, но также возможно, что накосячила вторая группа. В любом случае, это пожалуй единственный вариант, который говорит однозначно негативные вещи о какой-либо области. Но не стоит забывать и то, что повторить эксперимент "в точности" не так тривиально как кажется. Группы могут использовать разные реактивы, приборы, пробирки, и т.д. Даже монооксид дигидрогена в разных лабораториях может слегка отличаться, а уж разные биологические реагенты (вроде антител) часто имеют разные свойства. Группы могут также иметь разные методики для рутинных операций, которые обычно не оговариваются подробно в описании экспериментов, потому что считается, что очень маловероятно, что они будут иметь значение. Но иногда они имеют значение. Эффекты подобных отличий невозможно предугадать, на них можно только случайно наткнуться.

Однако в современной биологии "точное воспроизведение" встречается очень редко. Причиной тому - огромный ландшафт техник, реагентов и моделей, каждая из которых имеет свои преимущества и недостатки. Разные группы выбирают разные модели и техники для изучения. Кто-то предпочитает модели в которых больше возможностей для контроля экспериментальных условий, а кто-то предпочитает более естественные модели, а кто-то еще может работает на старой модели в которой он просто все очень хорошо знает и имеет все необходимые реагенты. Поэтому одна группа может, например, показать что белок А связывается с белком Z используя immunoprecipitation, а другая группа будет "проверять" этот результат используя yeast two hybrid. И вполне может получить иной результат.

Наконец, бывает что одна группа делает эксперименты A, B, C, D, E и на основании полученных результатов делает глобальный вывод Z. Другая группа может подойти к выводу Z с совершенно иного угла и не делать ничего даже отдаленно похожего на эксперименты A, B, C, D, E, а сделать эксперименты F, G, H, I, J и на их основании сделать вывод, что Z не верно. Это тоже "невоспроизводимость".

Между описанными выше тремя категориями невоспроизводимости нет четких границ, это плавный градиент.

Во-вторых, воспроизведение результата - это не обязательно "да или нет". Если речь идет о числовом выражении результата, то следует применять корректные статистические методы для того, чтобы уверенно сказать, что один результат значительно и достоверно отличается от другого результата. Некоторые результаты являются качественными и там тоже важно заранее оговаривать критерии по которым будет определяться (не)воспроиозведение. Иногда результатом является набор нескольких связанных между собой наблюдений и тогда надо оговаривать, как считать воспроизводимость, если некоторые из наблюдений воспроизводятся, а другие нет.

В-третьих, важны критерии выборки результатов, которые тестируются на воспроизводимость. Если для тестирования брались случайные статьи из журнала X, опубликованные в 2012 году, то выводы справедливы для случайных статей из журнала X, опубликованных в 2012 году, но не для журнала Y и, тем более, не для всех опубликованных статей.

Суммируя, к тестированию результатов на воспроизводимость следует подходить как к любому другому эксперименту: Формулирование гипотезы, экспериментальный дизайн, статистика, корректная интерпретация. Почему-то иногда получается так, что люди, обычно подходящие очень критически к любому знанию, вдруг теряют способность критически мыслить если речь заходит о воспроизводимости научных результатов, и довольствуются аналогом "одна бабка сказала" или "в интернете написано что" или "британские учоные доказали".

И напоследок. Воспроизводимость результатов - основополагающий принцип в науке, критически важный для ее прогресса. Однако невоспроизводимость - тоже важна, потому что она указывает на новые явления или на неполноту нашего понимания известных явлений. Азимову приписывают высказывание (хотя точной цитаты нет), что самой волнующей фразой в науке является не "Эврика!", а "Хм, это очень странно". Воспроизводимость и невоспроизводимось - это инь и ян научного процесса, обе важны. Если бы все эксперименты всегда в точности воспроизводились, то мы никогда не узнали бы ничего нового. Чем смелее, чем интереснее прыжок в новое и неизвестное, тем больше вероятность того, что какой-то момент оказался неучтенным или интерпретированным неправильно. Полностью и всегда воспроизводимые эксперименты говорят лишь о том, что все действительно так, как мы и подозревали. А разве это интересно?