shvarz пересказал работу про негативные стороны конкурентной организации науки, а я попробовал поискать ответственные за это механизмы (нашёл, понятно, не всё - лишь что в глаза бросилось).
Аннотация. На ряде примеров показан негативный эффект социальных влияний, органично присущих современному обществу, на производство научного знания. В отличие от влияний экономических, эти не приходят извне, а возникают в процессе внутринаучной коммуникации, когда эта последняя организуется конкурентным образом. Обсуждается связь увеличения конкурентности научного производства и его негативных эффектов с влияниями «большого общества»
Влияние нейровизуализации: переисследование
Кирилл Стасевич
Излишнее доверие к «нейрокартинкам», получаемым с помощью современных методов нейровизуализации, иногда вводит исследователей в заблуждение о достоверности научных данных. Впрочем, эффект этот зависит от контекста и даёт о себе знать не так уж часто.
Редко какое современное нейробиологическое исследование обходится без магнитно-резонансной томографии (и её разнообразных вариаций), позитронно-эмиссионной томографии или какого-либо ещё метода нейровизуализации. Действительно, и МРТ, и ПЭТ, и прочие способы всматривания в мозг удачно сочетают высокую информативность с наглядностью: мы можем следить за реакцией мозга в реальном времени и с разными уровнями детализации. В общем, понятно, почему эти методы ждал оглушительный успех и почему они продолжают совершенствоваться.
Однако со временем эффективность технологий нейровизуализации сыграла с ними злую шутку: их, если можно так сказать, убеждающая сила превзошла достоверность результатов, которые достигаются с их помощью. Понятно, что дело тут не столько в самой МРТ и иже с ней, сколько в психологических особенностях самих исследователей и околонаучных людей. Это можно назвать «вау-фактором», и в 2008 году были даже проведены психологические эксперименты, показавшие, что такой вау-фактор заставляет нейробиологов видеть в результатах то, чего в них нет.
Но вот сейчас Ник Швейцер из Университета штата Аризона (США) вместе с коллегами решил перепроверить данные экспериментов 2008 года — и оказалось, что учёные могут относиться к нейровизуализации вполне критически. [Оригинал работы]
Почему так происходит, легко понять: если человеку предлагают сразу два блока данных, то он в той или иной степени станет их сравнивать. Пусть в обоих случаях будет враньё, но добавление нейровизуализации делает одно враньё, скажем так, более научным: есть вероятность, что «нейрокартинка» свидетельствует о некоей доле истины. Но это опять же только в сравнении с другой работой. Если же соревновательного элемента нет, то читающий нейробиолог будет оценивать данные по более или менее абсолютным научным критериям (сочетание «абсолютности» и «более или менее» в данном случае вполне уместно). И тогда недостоверность выводов никакая «нейрокартинка» уже не спасёт.
То есть нельзя говорить, что вау-фактор безраздельно царит в нейровизуализации и туманит разум специалистам. Однако нельзя утверждать и то, что этого фактора вообще нет. Он есть, но его действие сильно зависит от контекста, в котором находятся и нейробиологические данные, и тот, кто их оценивает.
С одной стороны, всё не так плохо, как могло бы показаться, с другой — не будем забывать, что в современной науке соревновательный элемент весьма силён, и особенно он силён, надо полагать, в редакциях научных журналах, которым приходится выбирать, какую статью пропустить на полосу, а какую — отвергнуть. Да и вряд ли влияние вау-фактора ограничивается исключительно нейробиологией… / Компулента
Обратите внимание, что повышенное доверие связано именно с конкурентной ситуацией, когда выбирается, какую работу предпочесть для публикации или заявку на грант – для финансирования. Это – одно из многих воздействий[1], превращающих стиль научного доклада и публикации из доказательного суждения в рекламное сообщение.
Рецензенты ошибаются, реагируя на публичные сигналы системы внутринаучной коммуникации
Другое происходит при рецензировании работ, присланных для публикации: если они сравниваются с «общим уровнем» данной дисциплины, у рецензента включается общий нам всем конформизм. Ему же учёные подвластны не менее, чем простые смертные, и это оказывает влияние на результаты:
«Как ни парадоксально, иногда агрегация частных, субъективных мнений позволяет увидеть правду, а попытка судить объективно порождает стадное поведение. Это справедливо и для науки, и для финансовых рынков.
Классическое представление о науке как о самокорректирующейся системе неоднократно подвергалось сомнению. И философы, и учёные давно заметили, что, как только гипотеза получает широкое признание, большинство перестаёт видеть её слабые стороны. Американский социолог Джереми Фриз высказался на этот счёт особенно остроумно: «Вместо эмпирических гипотезы становятся вампирическими: их нельзя убить простыми фактами».
Предложено по крайней мере три объяснения этому странному обстоятельству. Во-первых, учёные тоже люди, и, хотя они изо всех сил пытаются мыслить рационально, несовершенство нашего общего психического аппарата заставляет их отдавать предпочтение одним взглядам перед другими по иррациональным причинам. Во-вторых, некоторые учёные на самом деле озабочены не поиском истины, а собственной карьерой, поэтому стараются сделать такое «открытие», которое принесёт им деньги и славу. В-третьих, современное научное сообщество развращено правилом «публикация или смерть»: сознательно и бессознательно многие специалисты подтасовывают данные, лишь бы они согласовывались с нужным выводом.
Роль самокорректора вроде бы должна выполнять система рецензирования. Надежда на то, что желание познать мир подскажет учёному правильную оценку, которой заслуживает работа коллег. А то, что рецензии пишут сразу несколько человек, позволит избежать необъективности.
К сожалению, действительность не столь радужна. Некоторые даже призывают отказаться от этой системы. Другие, впрочем, считают её меньшим из зол. «На самом деле система рецензий не так уж плоха», — говорит г-н Писи, и он не голословен. Вместе с коллегами он разработал компьютерную модель поведения научного сообщества.
Представьте себе группу учёных, которым надлежит выбрать между гипотезами А и Б. Существует некоторая вероятность, что каждый конкретный учёный склонится к тому или иному решению. Всё начинается с того, что некий специалист отправляет в журнал статью в поддержку одной из гипотез. Модель упрощённая, поэтому предполагается, что редакция никому не отказывает, отдавая рукопись на рецензирование. Теперь от коллег зависит, будет ли она опубликована. После этого они решают, в пользу какой гипотезы выступить в своих собственных работах.
(В реальности корректна только одна из гипотез, и если большинство будет поддерживать правильную, это ей не повредит. Но экспериментаторов интересовал иной аспект проблемы, поэтому самим гипотезам не присваивалось никакое значение, которое характеризовало бы их истинность.)
Моделировались три варианта развития событий. 1) Учёные оценивали рукопись на основании собственных ещё не опубликованных (субъективных) результатов, 2) были максимально объективными или же 3) вообще не привлекались к рецензированию (статья публиковалась просто так). Рассматривалась вероятность трёх исходов: возникновения стадного чувства (учёные пишут статьи в поддержку гипотезы, с которой они не согласны, но которую поддерживает большинство), формирования заблуждения (научные представления далеки от истины) и одобрения статьи. Первый сценарий победил по всем показателям. Именно в первом варианте стадное чувство держалось дольше всего, шансы на заблуждение находились на самом низком уровне, а вероятность одобрения статьи не отличалась от результатов двух других сценариев.
Получается, учёным не надо бояться своего субъективного мнения при оценке рукописи. Редакции требуют от рецензентов быть максимально объективными, но г-н Писи предлагает оценивать работу по другим критериям: «Насколько интересной показалась вам статья?» «Как вы думаете, окажет ли статья серьёзное влияние на развитие данной области исследований?» [т.е. по критерию долговременного выигрыша в виде перспектив теоретического развития данного направления с использование представленных в статье результатов или идей, а не кратковременного выигрыша, в виде преимуществ/недостатков данной работы в сравнении с возможными конкурентами.]
В то же время не может не беспокоить то, что стадное чувство возникало во всех трёх сценариях. И сейчас вам станет ясно, почему в начале нашей заметки упоминались банкиры. Именно финансовые рынки больше, чем другие сферы деятельности человека, страдают от стадного поведения. Поэтому для корректной оценки ситуации поведенческая экономика рекомендует реагировать не на публичные сигналы (данные о покупке и продаже), а на частные. Иными словами, здесь так же, как и в случае с исследованием г-на Писи, максимально объективное суждение далеко не всегда оказывается верным. Единственный выход — накапливать индивидуальные суждения, то есть банкирам надо больше прислушиваться к аналитикам, чем к статистике, а учёным — к субъективным мнениям друг друга.
Достаточно вспомнить, что существуют журналы с высоким индексом цитирования и с низким. Означает ли это, что в первых чаще публикуются самые важные и правдивые статьи? Специалисты в этом сомневаются. Кстати, г-н Писи опубликовал свою работу в престижном журнале Nature на горячую тему, и его модель (а модели для исследования человеческого поведения иногда сравнивают с дышлом) подтверждает выводы других учёных. Не заразился ли он сам стадным чувством?»
Дмитрий Целиков. На пути к истине учёные спотыкаются не менее простых смертных.
Коллективизм производства научного знания и его последствия
Как замечал известный биохимик Альберт Сент-Дьерди, человеческий мозг приспособлен для выживания, а не познания истины, почему склонен принимать за неё то, что является просто преимуществом. Накопления знания ведёт к последовательному движению «от преимущества к истине» (а не, скажем, к новым полезным фикциям) потому, что наука коллективистична по своему методу[2], а не только по форме организации. Хотя эмпирические данные или идеи «производятся» отдельными исследователями, свою окончательную форму они получают лишь после обсуждения в сообществе, когда комментарии, критика или поддержка коллег существенно меняют их форму, область определения или область значений. Лишь после раундов комментирования и критики «добытое» и «произведённое» (непосредственные данные, эмпирические зависимости, модели и пр. теоретические конструкции) становятся знанием, до этого же они были мнением, более или менее обоснованным.
Поэтому реакция на публичные сигналы системы обманывает больше, чем на частные. Легко видеть, что сложившееся представление о качестве работ, перспективности теорий, авторитетности исследователей и представляемых ими направлений отражает не только «добытое» знание, познанную относительную истину, но и сложившееся «соотношение сил» в плане самых влиятельных журналов, концепций, школ и отдельных исследователей, оцениваемых известными способами наукометрии. Второе показывает социальную сторону внутринаучной коммуникации, которая и пересиливает при ориентации на публичные сигналы. Это ещё один минус данного способа оценки, в дополнение к уже известным и активно обсуждаемым.
Так получается не только при рецензировании, но и в других случаях конкурентной оценки, когда к соответствующему ресурсу (публикаций, средств на исследования и пр.) допускаются самые лучшие по критерию краткосрочного преимущества [оцениваемого продукта научной деятельности перед подобными конкурентов], а не все способные по критерию долгосрочной устойчивости [производительного существования в науке]. Соответственно, «единицей» науки как системы, производящей знание для общества в целом, оказывается не отдельный исследователь, более или менее продуктивный/авторитетный[3], а сеть коллег, обсуждающих и комментирующих его идеи/методы, воспроизводящих его результаты в случае заинтересованности и пр.
Важно подчеркнуть, что данные сети не только производят научное знание, но и воспроизводят кадры исследователей – именно они производят отбор и оценку студентов и аспирантов, кто талантлив, кто нет, кого пригласить заняться такой-то и такой-то темой, неформальным, но общепризнанным образом, как некогда мастер подмастерьев для продолжения дела. Соответственно общество, желая влиять на воспроизводство научного знания (скажем, поднять его уровень, радикально упавший с советских времён по любому виду оценки) управлять должно единицами, а вот элементы выращивать, в системе образования. Соответственно, важно не подменять внутринаучную систему оценки, ориентированную на долгосрочную годность исследователей, её увеличение и специализацию, с «экономическим» оцениванием через конкурентное распределение ресурсов по данным наукометрии, у них разные сферы, одно не должно подменять или вытеснять второе.
Вернёмся к вненаучным (социальным) влияниям, описанным выше. Главные воздействия такого рода исходят из практик «большого общества» (бизнес с политикой) и вызванных ими внутринаучных изменений, именно оценки научной продуктивности через индексы цитирования-импакты журналов и конкурсного распределения средств на исследования (грантовая система). Они неприятны подрывом научного воспроизводства везде, кроме центра системы, где производится всё большая часть знания и куда «сходятся» потоки «мозгов» (то бишь США)[4], и вносимым в исследования риском коррумпирования науки как таковой. Помимо примеров, описанных выше в статье польского орнитолога Томаша Весоловски, см., скажем например, «эффект куколки»: как плохие научные результаты превращаются в хорошие статьи.
Комментарии (0)