Поиск публикаций  |  Научные конференции и семинары  |  Новости науки  |  Научная сеть
Новости науки - Комментарии ученых и экспертов, мнения, научные блоги
Реклама на проекте

Как это делается в Британии

Суббота, 05 Октябрь, 12:10, sergepolar.livejournal.com
Originally posted by marina_fr at Как это делается в Британии
Библиометрика

ПРОГРАММА ОЦЕНКИ ИССЛЕДОВАТЕЛЬСКОГО ПОТЕНЦИАЛА
(Research Excellence Framework, 107 стр. www.ref.ac.uk, перевод всех фрагментов, относящихся к библиометрике)

КРИТЕРИИ И МЕТОДЫ РАБОТЫ КОМИССИЙ

Резюме (pp. 1-2)

Цели
1. В документе разработаны критерии оценки и подходы, которых
следует придерживаться центральным комиссиям и их подкомиссиям в рамках Программы Оценки Исследовательсткого Потенциала (REF) 2014.

2. Окончательная редакция критериев и подходов, устанавливаемых настоящим документом была выработана с учетом реакции на ‘Обсуждение критериев в и подходов экспертных комиссий’ (REF 03.2011), поступившей в июле-октябре 2011. Поправки были, в частности, внесены в ‘Общие принципы оценки и руководство по представлению результатов (submission of outputs)’ (REF 02.2011).

3. Таким образом, настоящий документом следует руководствоваться
параллельно с REF 02.2011. В совокупности, эти два положения дают
исчерпывающее описание информации, которая должна быть представлена в
заявках и подходов экспертных комиссий к оценке заявок.

Ключевые моменты
4. REF является процедурой экспертной оценки. Экспертные подкомиссии
по каждой из 36 направлений будут проводить аттестацию под руководством и в соответствии с указаниями четырех центральных комиссий.

5. Вузам Великобритании предлагается представить результаты к 29 ноября 2013г. Центральные комиссии и подкомиссии REF проведут их экспертизу в течение 2014г., и в декабре 2014 решения будут опубликованы.
Начиная с периода 2015-16гг., эти решения будут иметь определяющее значение для выделения финансирования на исследовательскую работу структурами, финансирующими британское высшее образование.

6. В части 1 настоящего документа устанавливаются критерии и подходы к работе для всех комиссий. Часть 2 детализирует эти критерии для каждой из четырех центральныхкомиссий.

Необходимые действия
7. Настоящий документ служит целям информирования и приготовления организаций к сбору и подготовке данных, включаемых в представления. На данном этапе от ВУЗов не требуется предпринимать какие-либо действия.

Дальнейшая информация
8. Для более подробной информции касательно REF см.
www.ref.ac.uk.
9. Работники британских ВУЗов могут направить вопросы контактным персонам в REF. Соотвествующие контакты по каждой организации можно найти на сайте www.ref.ac.uk, в разделе Contact.
10. Прочие вопросы следует адресовать на info@ref.ac.uk.


Часть 1
Общая характеристика критериев оценки и подходов

Использование дополнительной информации и данных по цитируемости (pp. 7-8)

50. Во всех дисциплинах комиссии оценивают представленные результаты
путем экспертной оценки. При этом они могут использовать дополнительные данные, представленные ВУЗами в заявках и/или данные цитирования (citation data) для выработки своих решений. В любом случае основным методом аттестации остается экспертная оценка.
В части 2 содержатся предписания для комиссий относительно того

a. следует ли им вообще пользоваться данными цитирования в процессе оценки,

b. нуждаются ли они в дополнительной информации одного из типов, описанных в `руководстве по заполнению заявок' (пункт 127) (в приложении А приводятся сводные требования четырех центральных
комиссий к дополнительной информации такого рода),

c. каким образом эта информация может влиять на их решения.
51. Комиссии, использующие данные цитирования, руководствуются при этом порядком, изложенным в `руководстве по заполнению аттестационных форм' (пункты 131-136). В частности, они будут трактовать число ссылок на представленный результат как дополнительную информацию касательно его научного значения. При оценке представленных результатов комиссии рассматривают экспертные оценки как основной инструмент, позволяющий придти к взвешенному суждению по полному спектру критериев оценки (`оригинальность, важность и строгость'). Они должны также учитывать, в соответствующих случаях, то значение, которое представленные результаты могут иметь за рамками научно-образовательного сообщества и должны оценивать все представленные результаты на общих основаниях, независимо от наличия данных по цитируемости. Они также должны учитывать ограниченную важность показателя цитируемости для недавних публикаций, различные традиции цитирования в разных областях исследования, возможность `негативного цитирования', и ограниченное значение подобной информации для публикаций на языках отличных от английского.

Комиссии должны отдавать себе отчет, что использование цитируемости в качестве дополнительной информации может иметь последствия для реализации принципа равного подхода.

52.Ввиду ограниченного значения цитируемости для процедуры оценки, финансирующие структуры не призывают и не рекомендуют ВУЗам основываться на данных цитирования при отборе персоналий или результатов для включения в представления (см. ‘руководство по заполнению представлений’, пункт 136).

53. Комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов.

Часть 2A
Критерии центральной комиссии A (p.19)
Центральная комиссия A включает в себя следующие подкомиссии:
1 Клиническая медицина
2 Санитария и гигиена, Организация здравоохранения, Первая помощь
3 Вспомогательные медицинские профессии, Стоматология, Уход за больными, Фармацевтика
4 Психология, Психиатрия, Неврология
5 Биологические науки
6 Сельское хозяйство, Ветеринария, Диетология

В нижеследующих разделах устанавливаются критерии, которые центральная комиссия А и ее подкомиссии должна применять при оценке предсавлений. Эти критерии следует использовать параллельно с указаниями из REF 02.2011 ‘Общие принципы оценки и руководство по представлениям (submissions) ' (ниже называемом ‘руководством по представлениям ’) и общими формулировками критериев и подходов, данными в Части 1 настоящего положения.

Раздел A2: Критерии оценки представленных результатов

Данные цитирования (p. 25)

52. В соответствии с ‘руководством по представлениям’ (пункты
133-136), подкомиссии центральной комиссии А используют показатели цитируемости, при их наличии и в случае уместности их использования, как показатель научной значимости, для выработки оценки уровня представленных результатов.

53. При наличии данных в библиографической базе данных Scopus персонал REF предоставит комиссиям подсчеты цитируемости по представленным результатам к установленному сроку, в стандартном формате. Подкомиссии также получат сопроводительную информацию по каждой из дисциплин относительно уровней цитируемости за каждый год аттестационного периода, чтобы способствовать, при необходимости, правильной интерпретации данных цитирования.

54. Данные цитирования должны помочь выработке оценок в следующих отношениях:

a.В случае их наличия, при необходимости, данные цитирования будут рассматриваться как позитивный показатель научной значимости результатов исследования. Они будут лишь одним из составляющих элементов для выработки рецензентами оценок уровня представленных результатов и не будут использоваться как основной параметр для оценки.

b. Подкомиссии исходят из того, что число цитирований иногда (но не всегда) является значимым индикатором. Они также сознают, что такого рода данные могут отсутствовать и что уровень цитируемости может меняться в зависимости от дисциплины.
Подкомиссии должны принимать во внимание, что для некоторых типов результатов (к примеру, относящихся к прикладным разработкам) и для свежих публикаций данные цитирования не обязательно являются значимым индикатором. Подкомиссии также должны обратить внимание на возможные последствия для принципа равных возможностей от использования индексов цитирования.

c. Подкомиссии используют только данные цитирования, предоставляемые персоналом REF и не будут учитывать других данных библиометрического анализа, в том числе импакт-факторы журналов

Часть 2B
Критерии центральной комиссии B (p. 38)
Центральная комиссия B включает в себя следующие подкомиссии:
7 Науки о Земле и окружающей среде
8 Химия
9 Физика
10 Математические науки
11 Вычислительная техника и информатика
12 Авиастроение, Машиностроение, Химические и промышленные технологии
13 Электротехника и электроника, Металлургия, материаловедение
14 Строительство
15 Общеинженерные дисциплины

В нижеследующих разделах устанавливаются критерии, которые центральная комиссия А и ее подкомиссии должны применять при оценке зпредставлений. Их следует использовать параллельно с указаниями из REF 02.2011 ‘Общие принципы оценки и руководство по представлениям' (ниже называемом ‘руководством по представлениям’) и общими формулировками критериев и подходов, данными в Части 1 настоящего положения.

Раздел B2: Критерии оценки представленных результатов

Формы представления результатов (p.43)
31. Оценки представления результатов во всех формах будут даны на общих основаниях, не делая различий ни между типами представленных результатов, ни между публикациями, доступными в электронной или физической форме.

32. Комиссия готова рассматривать результаты, представленные во всевозможных формах, в том числе

• книги, главы из книг, монографии
• доклады и публикации в материалах конференций
• новые материалы, устройства, продукты или
• патенты
• статьи в рецензируемых журналах
• компьютерные программы и алгоритмы
• нормативная документации
• технические отчеты, в том числе с грифом секретности
Данные цитирования (p. 45-46)

59.Подкомиссии 7, 8, 9 и 11 отмечают, что данные цитирования широко используются в соответствующих дисциплинах и полагают, что эта практика является общепринятой.
Эти подкомиссии будут использовать доступные им данные цитирования, в качестве одного из показателей научной значимости при выработке оценок уровня исследований.

60.При доступности соответствующей информации на библиографической базе данных Scopus персонал REF предоставит комиссиям подсчеты цитирований результатов исследований, представленных в подкомиссии, упомянутые в пункте 59, к установленному сроку, в стандартном формате. Подкомиссии также получат сопроводительную информацию по каждой из дисциплин относительно уровней цитируемости за каждый год аттестационного периода, чтобы помочь, при необходимости, правильной интерпретации данных цитирования.

61. В дополнение к данным цитирования, полученным от персонала REF, подкомиссия 11 также планирует использование Google Scholar в качестве дополнительного источника данных цитирования. Подкомиссия 11 будет систематически обращаться к Google Scholar за данными цитирования, которые большей частью будут использоваться в случаях, когда результаты исследования широко цитировались за рамками корпуса источников, охваченных поисковиком Scopus6.

62. Что касается подкомиссий, упомянутых в пункте 59, данные цитирования должны помочь выработке их оценки в следующих отношениях:

a.В случае их наличия данные цитирования будут, при необходимости, составной частью процедуры оценки в том, что касается научной значимости результатов исследования. Они будут лишь одной из составных частей при оценки рецензентами уровня представленных результатов и не будут использоваться как основной параметр оценки.

b. Отсутствие данных цитирования не будет автоматически интерпретироваться как отсутствие научной значимости.

c. Подкомиссии должны принимать во внимание, что для некоторых типов результатов (к примеру, относящихся к прикладным разработкам) и для свежих публикаций данные цитирования не обязательно являются значимым индикатором. Подкомиссии также должны обратить внимание на возможные последствия использования индексов цитирования для принципа равных возможностей.

d.За исключением обращения подкомиссии 11 к Google Scholar, подкомиссии используют только данные цитирования, предоставляемые персоналом REF и не будут учитывать другие данные библиометрического анализа, в том числе, импакт-факторы журналов.

63. Подкомиссии 10, 12, 13, 14 и 15 считают, что сводка данных цитирования в их дисциплинах неравномерна по качеству и нередко содержит пробелы и потому не позволяет получить сбалансированную и надежную дополнительную информацию для выработки оценки уровня исследований. Поэтому они не получат в свое распоряжение и не будут использовать данные цитирования или другую библиометрическую информацию, в том числе импакт-факторы журналов.


Часть 2C
Критерии центральной комиссии C (p. 58)
Центральная комиссия C включает в себя следующие подкомиссии:
16 Архитектура, Градостроительство, Ландшафтный дизайн
17 География, Охрана окружающей среды, Археология
18 Экономика и Эконометрика
19 Исследования по бизнесу и менеджменту
20 Право
21 Политика и международная политика
22 Социальная защита и социальная политика
23 Социология
24 Антропология, Социология развития
25Образование
26 Физкультура и спорт, Досуг, Туризм

В нижеследующих разделах устанавливаются критерии, которые центральная комиссия C и ее подкомиссии должна применять при оценке представлений. Их следует использовать параллельно с указаниями из
REF 02.2011, ‘Общие принципы оценки и руководство по представлениям
' (ниже называемом ‘руководством по представлениям’) и общими
формулировками критериев и подходов, данными в Части 1 настоящего документа.

Раздел C2: Критерии оценки представленных результатов

Дополнительная информация о результатах исследований
Данные цитирования (p. 66)

64. Подкомиссии 16, 17, 19, 20, 21, 22, 23, 24, 25 и 26 не получат в свое распоряжение и не будут использовать данные цитирования или другие типы библиометрического анализа, включая импакт-факторы журналов.

65. Подкомиссии 18 (Экономика и эконометрика) будут предоставлены доступные данные цитирования и она будет использовать их при необходимости.

66. При доступности соответствующей информации на библиографической базе данных Scopus персонал REF предоставит подкомиссии 18 подсчеты цитирований результатов исследований, представленных в подкомиссию, к установленному сроку, в стандартном формате. Подкомиссия 18 также получит сопроводительную информацию относительно уровней цитируемости за каждый год аттестационного периода, чтобы достичь, при необходимости, правильной интерпретации данных цитирования.

67. При выработке оценок подкомиссия 18 будет использовать данные цитирования следующим образом:

a.данные цитирования будут использоваться не как основной параметр оценки, а как дополнительная информация (если в таковой есть необходимость) о научной значимости результатов исследований. Подкомиссия 18 будет давать взвешенные оценки уровня исследований, принимая во внимание весь спектр критериев оценки (оригинальность, важность и строгость).

b. Отсутствие данных цитирования конкретного исследования не будет сказываться на его оценке.

c. Подкомиссия 18 исходит из того, что для некоторых форм представления результатов (к примеру, специальные монографии или некоторые формы представления прикладных исследований), и особенно для совсем свежих результатов данные цитирования могут быть недоступны или оказаться совершенно незначимым показателем. Подкомиссия 18 также должна обратить внимание на возможные последствия от использования индексов цитирования для принципа равных возможностей.

d. Подкомиссия будет использовать только данные цитирования, предоставляемые персоналом ПА и не будет учитывать другие данные библиометрического анализа, в том числе импакт-факторы журналов

Часть 2D
Критерии центральной комиссии D (p. 78)
Центральная комиссия D включает в себя следующие подкомиссии:
27 Региональные исследования
28 Современные языки и литература
29 Английский язык и литература
30 История
31 Классическая филология
32 Философия
33 Теология, Религиоведение
34 Искусство и Дизайн: история, практика и теория
35 Музыка, Драматическое искусство, Танец и другие виды театрального искусства
36 Коммуникационные исследования, Культурология, Медиаведение, Библиотечное дело, Информационный менеджмент


Раздел D2: Критерии оценки представленных результатов

Данные цитирования и библиографические параметры (p. 87)
74. Подкомиссиям центральной комиссии D не будут предоставляться и они не будут использовать данные цитирования или какую-либо библиометрическую информацию для выработки оценок.

75. При оценке уровня исследований подкомиссии центральной комиссии D не будут отдавать предпочтение тому или иному рейтингу или перечню журналов или конференций, подразумеваемой репутации издателя или носителя (medium) публикации, или месту обнародования результатов. Однако если результаты исследований привязаны к месту и их расположение существенно для понимания исследований, то эта информация должна быть представлена в соответствии с указаниями в пункте 71b.


Благодарю В.Ю. Макеева за предоставленный документ.
Читать полную новость с источника 

Комментарии (0)