gul_kiev задает следующий вопрос:Допустим, мы проверили лекарство, всё честно, плацебо-контролируемым двойным слепым методом - работает. Но ведь может оказаться, что если мы разделим пациентов на какие-то группы (мужчины-женщины, дети-взрослые, голубоглазые-кареглазые, или вообще по какому-то непонятнятному нам признаку), то окажется, что для каждой из групп лекарство неэффективно. А если оно неэффективно для каждой из групп, значит, оно неэффективно на самом деле, и его эффективность по суммарной статистике - лишь статистический казус.
Существуют ли какие-то объективные способы убедиться в том, что лекарство на самом деле эффективно? Например, что при любом разделении на группы оно окажется эффективным как минимум для одной из групп? Если да, то какие? А если нет, то получается, что двойные-слепые-плацебо-контролируемые тесты не так объективны и убедительны, как принято считать.
Я решил на него ответить несколько развернуто.
Начнем с общих принципов. Любое клиническое испытание, да и вообще любой эксперимент, это всегда модельная система лишь частично отражающая реальность, а полученные в этой модели результаты зависят от свойств модели, их приходится интерпретировать и выводы экстраполировать на реальность. В предыдущей записи разбирался парадокс Симпсона, но лишь как пример. Помимо него, специалист должен учитывать целый ряд самых разных потенциальных факторов, которые важны для понимания и корректной интерпретации результатов. Например, по каким критериям набирали волонтеров, сколько людей вышли из испытания до его официального окончания, как контролировалось что волонтер действительно получал то, что он должен был получить, что еще измерялось в испытании, как разные метрики соотносятся между собой, и т.д. и т.п. Хороший специалист знает на что надо обращать внимание, какие факторы более важные а какие менее, в какую сторону они сдвигают уверенность в полученных данных, принимает в учет и статистический анализ результатов. В результате он видит в этих сложных данных не просто вывод «лекарство (не)работает», а суммарное облако вероятностей возможных интерпретаций данных. Среди этих возможных интерпретаций есть «лекарстов работает» и есть «лекарство не работает». Естественно, что в большинстве случаев специалист все равно упрощает и выносит вердикт «лекарство (не)работает», но если он хороший специалист, то он таки держит в голове всё облако интерпретаций целиком.
Следующий момент. В силу того, что написано в предыдущем параграфе, ни одно испытание и ни один эксперимент (как бы замечательно они не были сделаны) не устанавливают «как оно на самом деле». Полученное облако интерпретаций для данного конкретного эксперимента накладывается на облака интерпретаций результатов всех предыдущих экспериментов. Постепенно менее правильные интепретации становятся все менее и менее вероятными, а более правильные – все более и более вероятными, постепенно доходя до состояния в котором мы «точно знаем, что так оно и есть».
Теперь перейдем к практике. В каждом клиническом испытании делается так называемый анализ подгрупп, когда данные разбиваются по группам, которые с точки зрения исследователей могут оказаться важными для интерпретации данных. С точки зрения статистики, чем больше таких разбивок вы сделаете, тем больше вероятность найти ложно-положительный эффект подобной разбивки. Кроме того, разбивка на очень маленькие подгруппы ведет к тому, что цифры становятся очень маленькими и большую роль играют стохастические эффектв. Поэтому обычно в формальный анализ включают лишь очень ограниченное количество подгрупп, а остальные делают на всякий случай, чтобы посмотреть не обнаружится ли каких-то непредвиденных эффектов от такой разбивки. Если обнаруживаются, то их потом исследуют более тщательно в последующих испытаниях.
Комментарии (0)