Научные анекдоты: необъяснимые чудеса в ВАКууме

Вопрос о качестве ряда российских научных изданий, включенных в “список ВАК”, неоднократно обсуждался в СМИ. Наиболее ярким примером, иллюстрирующим данную проблему, послужил случай журнала научных публикаций аспирантов и докторантов. В этом журнале была необъяснимым образом опубликована статья, созданная генератором случайных текстов “Корчеватель: алгоритм типичной унификации точек доступа и избыточности” (1).

Недавно я ознакомился с текстом статьи “Типизация и идентификация респондентов в социологии по их астрономическим показателям на момент рождения”(2). Это статья была опубликована еще в 2007-ом году в политематическом сетевом электронном научном журнале Кубанского государственного аграрного университета (журнал входит в список ВАК под номером 1391, редакция от 25.02.2011). Проблема заключается вовсе не в том, что это статья про взаимосвязь между положением планет и иных астрономических объектов в момент рождения людей и их принадлежностью к различным категориям населения, то есть про астрологию (несмотря на то, что в статье заверяется, что к астрологии данная работа отношения не имеет). Проблема заключается в ошибках, допущенных в этой работе, которые не были замечены ни авторами работы, ни редактором журнала, ни рецензентами. Таким образом, данная тема представляет двойной интерес. С одной стороны, это типичный пример забавного поучительного анекдота, а с другой – индикатор серьезной проблемы некоторых отечественных изданий.

Авторы использовали обучающуюся программу (искусственный интеллект) для поиска закономерностей между астрономическими признаками (например, положением планет в момент рождения человека) и различными социальными категориями, к которым может относиться человека (спортсмены, ученые, страдающие алкогольной зависимостью и так далее). Всего подобных категорий в исследовании использовалось пятьсот, а суммарная выборка респондентов достигла более двадцати тысяч человек. Программа сначала обучается на некоторой выборке респондентов, выискивая закономерности, а затем, на другой выборке, которая не использовалась при обучении, демонстрирует свою предсказательную силу, относя людей к различным категориям, пользуясь лишь астрономическими признаками.

Всякая попытка предсказания принадлежности респондента к некоторой категории может дать один из четырех результатов.

1. Принадлежность предсказана и действительно существует.
2. Принадлежность предсказана, но она не существует.
3. Принадлежность не предсказана, но она существует.
4. Принадлежность не предсказана и она не существует.

Чтобы оценить предсказательную силу модели (в данном случае искусственного интеллекта) необходимо оценить насколько угадывание с помощью модели лучше, чем случайное. Вот один из методов, предложенных авторами:

“Допустим к некоторой i-й категории по данным обучающей выборки из N респондентов фактически (действительно) относится Ni респондентов. Тогда вероятность того, что респондент выбранный случайным образом из некоторой генеральной совокупности, по отношению к которому обучающая выборка репрезентативна (это значит, что для нее сохраняется то же самое распределение респондентов по категориям) будет: Pi=Ni/N. Это и есть вероятность случайного угадывания принадлежности респондента к категории. А использование модели для идентификации обеспечивает более высокую вероятность правильного отнесения респондента к категории, равную, например, Pm. Тогда эффективность модели, т.е. преимущество, которое дает ее использование по сравнению со случайным угадыванием, будет: Pm/Pi. … 382 категории, распознаются с помощью модели лучше в 2,5 и более раз, чем с помощью случайного угадывания. Этот результат позволяет с достоверностью 95% высказать гипотезу о том, что для этих категорий действительно выявлены закономерности. ”

Предположим, что есть категория “молочник”, к которой относится 50 респондентов из 1000. Pi = Ni/N = 50/1000 = 0.05. Предположим, что программа так устроена, что она, независимо от астрологических признаков, в 70% случаев совершенно случайно относит людей к молочникам, а в 30% не относит. Такая программа в среднем правильно определит 50*0.7 = 35 молочников, а так же 950*0.3 = 285 не молочников. Всего программа правильно определит 320 респондентов (32%), в том числе, верно, определит 70% молочников. Отношение Pm/Pi у нее будет 6.4, существенно больше, чем указанный порог. Вопреки заявлениям авторов, отношение Pm/Pi ничего не говорит об эффективности модели.

В то же время существует надежный способ оценить насколько отнесение респондентов к категориям лучше, чем случайное. Каждый респондент попадает в одну из четырех ячеек следующей 2х2 таблицы:



Такая таблица может быть проанализирована статистическим тестом, который называется Хи-квадрат. Это стандартный тест для оценки независимости двух критериев классификации. В данном примере Хи-квадрат учитывает как то обстоятельство, что настоящие молочники встречаются реже чем не молочники, так и то, что данная программа чаще называет людей молочниками, чем наоборот. При обсуждаемых выше значениях, тест покажет, что угадывание было случайным.

Авторы намеренно отказались от использования статистических методов под предлогом, что эти методы “предъявляют к исследуемой выборке жесткие требования“. Жесткие методы используются в статистике не просто так. Они необходимы для честной оценки достоверности полученных результатов. Утверждение, что существуют “практически непреодолимые проблемы на пути применения этих методов” не верно, так как Хи-квадрат прекрасно годится для оценки работы программы, разработанной авторами, и применим при данном размере выборки.

Вторая ошибка более очевидна, чем первая. В качестве еще одной проверки, авторы использовали “случайную выборку”. Бралась выборка респондентов такого же размера, но категории и астрономические факторы выставлялись случайным образом. Программа обучалась на случайной обучающей выборке и делала предсказания на независимой случайной выборке. Утверждается, что для случайной выборки результаты прогнозов были хуже (хотя статистический анализ не приводится). Каким бы образом программа не предсказывала принадлежность респондента к некоторой категории, сумма вероятностей правильно отнести респондента к некоторой категории и неправильно отнести респондента к этой же категории должна быть равна единице: мы либо правильно отнесли, либо неправильно. В работе подобная вероятность не сходится (например, на стр. 29), что говорит об ошибке вычислений в программе.

Еще одна систематическая ошибка в работе заключается в том, что подобные исследования не могут обходиться без поправки на множественные испытания. Какова вероятность угадать натуральное число от одного до ста? Одна сотая. Это маленькая вероятность. Но если я попробую угадать такое число пятьсот раз под наблюдением разных людей, то в среднем пять человек будут очень удивлены моими “экстрасенсорными” способностями. Даже совершенно бестолковая программа примерно в двадцати пяти случаях из пятисот успешно отнесет людей к одной из категорий лучше, чем случайно (при пороге статистической значимости 0.05). При использованных авторами критериях, таких успехов может быть сколько угодно.

Подобный эффект мог бы объяснить, например, такое заявление авторов:

“… всех респондентов, в действительности относящихся к категории 221, модель смогла отнести к этой категории.” Вопреки утверждению авторов, такое наблюдение, само по себе, никак не подтверждает гипотезу, что “врожденные способности к внетелесному опыту (ВТО) в высокой степени предопределяются астрономическими показателями, определяемыми временем и местом рождения респондента.”

В работе так же имеются фактические ошибки, например:

“Скептики априорно утверждают, что никаких зависимостей между астрономическим показателями на момент рождения респондента и его принадлежностью к тем или иным социальным категориям не существует”

Довольно много внимания в современной науке уделяется вопросу влияния на развитие людей такого астрономического фактора, как угол падения солнечного света на поверхность Земли во время беременности будущих матерей или в ранний период развития детей (3). Речь идет, разумеется, о смене зимы и лета. Зимой ниже температура окружающей среды, меньше освещенность, короче световой день. От освещенности зависит синтез таких веществ, как мелатонин или витамин Д. С существенным дефицитом витамина Д связан ряд заболеваний, таких как рахит, но даже небольшой дефицит может сказаться на массе тела, длине конечностей ребенка (4-6). Сезон рождения ассоциирован не только с некоторыми антропометрическими, но и с некоторыми нейрокогнитивными особенностями развития детей (7), а так же с количественными характеристиками ряда биохимических процессов, таких как синтез интерферона (8) или расход дофамина (9). В ряде работ показано, что рожденные зимой более склонны к ряду заболеваний, например, к глиоме и менингиоме (10). Так же обнаружена связь между сезоном рождения и некоторыми психологическими чертами, у людей, с определенными генотипами (11), а так же склонностью к суицидальному поведению (12). В отличие от астрологов, ученые ничего не утверждают априорно, а строят свои представления на основе имеющихся фактов. Выявлению указанных выше ассоциаций не помешали никакие из перечисленных авторами проблемы “традиционных подходов”.

Достаточно показательным и характерным является конец статьи.

“Но если бы таких зависимостей выявить не удалось, то для нас это не стало бы доказательством их не существования: мы бы лишь сказали, что применяемые нами математические методы и программный инструментарий (система "Эйдос") не позволили выявить этих зависимостей, а сами они может быть существуют, а может быть и нет. […] авторы считают, что любые высказывания о несуществовании чего-либо не являются научными, т.к. невозможно доказать несуществование, принципиально доказуемо только существование“.

Так и хочется спросить, можно ли доказать не существование третьей ноги у  авторов статьи? Или наука настолько бессильна?

Остается вопрос: почему все, что написано в данном обзоре своевременно не сказали авторам редактора и рецензенты? Авторы проделали большую работу, на фоне которой исправление указанных ошибок заняло бы не так много времени. Да, наверное, после исправления ошибок пропали бы обнаруженные закономерности, но и отрицательный результат был бы интересным результатом. В итоге все оказываются в проигрышном положении. Авторы работы - потому, что их ошибки оказались, оглашены публично; журнал - потому, что опубликовал статью с ошибками; ВАК - потому, что включил этот журнал в свой список; астрология, потому, что оказалась на месте того ребенка, которому дали конфетку, а после отняли.

На закуску хочу отметить, что это не единственная статья авторов в этом журнале. Вот цитата из еще одной ”научной” статьи (13):

“воздействие гравитационного поля Солнца адаптируется организмом на уровне нейрорегуляторных функций типа терморегуляции и дыхания;
воздействие относительно слабого гравитационного поля Урана адаптируется организмом на уровне функций иммунной системы, воспринимающей это воздействие как инородный фактор, проникший в организм, вопреки установленным барьерам”.

Согласно закону всемирного тяготения, сила гравитационного взаимодействия между телами пропорциональна их массе и обратно пропорциональна квадрату расстояний между ними. Солнце и Уран, несомненно, гигантские космические объекты с огромной массой (2×10^30 кг и 8.68x10^25 кг соответственно). Но они расположены очень далеко от Земли (минимальное расстояние от Земли до Урана 2.57 миллиарда километров, а среднее расстояние от Земли до Солнца 150 миллионов километров).  Даже школьнику не составит труда сделать простые расчеты и понять, что величина гравитационного воздействие Урана даже на минимальном расстоянии от Земли меньше, чем гравитационное воздействие, которое оказывает на человека расположенный в метре от него небольшой шкаф, массой 10 килограмм. Гравитационное воздействие Солнца на человека можно сравнить с гравитационным воздействием небоскреба вроде Empire State Building (массой 350 000 000 кг) на стоящего у входной двери человека. Но почему-то положение таких объектов в момент рождения астрологами не рассматривается.

Интересным фактом является то, что один из авторов обоих обсуждаемых работ является ответственным секретарем редакционного совета в обсуждаемом политематическом сетевом электронном научном журнале Кубанского государственного аграрного университета, входящим в список ВАК (14).

Данная статья является продолжением серии научных анекдотов.
Часть 1: http://scinquisitor.livejournal.com/9724.html
Часть 2: http://scinquisitor.livejournal.com/14730.html

Список литературы:

1.    Троицкий вариант 13N, 3 (30.09, 2008).
2.    Е. В. Луценко, А. П. Трунев, В. Н. Шашин, Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета 25,  (2007).
3.    D. R. Cummings, Biodemography Soc Biol 56, 105 (2010).
4.    L. M. Bodnar et al., J Nutr 140, 999 (May, 2010).
5.    J. J. McGrath, T. H. Burne, D. W. Eyles, CMAJ 173, 733; author reply 733 (Sep 27, 2005).
6.    J. J. McGrath et al., Early Hum Dev 81, 609 (Jul, 2005).
7.    J. J. McGrath, S. Saha, D. E. Lieberman, S. Buka, Schizophr Res 81, 91 (Jan 1, 2006).
8.    L. Keski-Nisula et al., Clin Exp Allergy 40, 1658 (Nov, 2010).
9.    J. Chotai, R. Adolfsson, Eur Arch Psychiatry Clin Neurosci 252, 130 (Jun, 2002).
10.    A. V. Brenner et al., Neurology 63, 276 (Jul 27, 2004).
11.    P. Roussos, S. G. Giakoumaki, P. Bitsios, Neuropsychologia 48, 3926 (Nov, 2010).
12.    P. Dome, B. Kapitany, G. Ignits, Z. Rihmer, Biol Psychiatry 68, 148 (Jul 15, 2010).
13.    Е. В. Луценко, А. П. Трунев, Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета 45,  (2009).
14.    http://ej.kubagro.ru/edit.asp.