Оригинал доступен на сайте cs.purdue.edu

Автор Дуглас Э. КомерЗаслуженный профессор компьютерных наук
Отдел компьютерных наук
Университет Пердью

От молодых специалистов в области компьютерных технологий требуют представлять весомые результаты исследований, но точные требования к самим результатам никто не указывает. Вместо этого начинающие исследователи обычно слышат невнятное поощрение – узнать что-то «значительное» или представить «высококачественные публикации» – без какого-либо объяснения того, что это значит.

Младшему научному сотруднику может даже показаться, что среди старших коллег существует заговор: все-таки есть какой-то секретный способ оценки исследования, но они не хотят его раскрывать. Лучшее, что можно услышать, размытое: «Исследование – это просто накопление знаний» или даже менее умное: «Это трудно определить, но я понимаю, что исследование хорошее, когда вижу его».

Причина, по которой молодой исследователь не может получить более точное объяснение критериев оценки исследования заключается в том, что единого объяснения просто не существует. Вместо этого есть множество подходов, и каждая группа стремится использовать тот, который максимизирует их цели. Действительно, если вы хотите найти аргументы, которые свидетельствуют в пользу или против исследователя, легче всего выбрать критерии, которые в этом помогут.

Если вы молодой исследователь, эта статья для вас. Ниже вы найдете список критериев оценки научных работ с объяснениями и фактами. В дальнейшем эта информация поможет вам произвести впечатление на других, когда будете говорить об исследованиях, а также избежать распространенных ошибок.

Количество публикаций

(предпочитают издатели научных журналов)

Критерий: N, общее количество опубликованных работ.

Аргументы: Исследователь, у которого появляется новая идея, пишет статью. Затем работу рецензируют коллеги, и она публикуется в научном журнале. Таким образом, количество статей является показателем производительности.

Факты: Стандарты публикаций широко варьируются: некоторые конференции и журналы принимают абсолютно все материалы, другие – только некоторые. Что более важно, почти все исследования бесполезны с этой точки зрения, ведь никто не читает научные издания. Согласно статистике, в среднем статью в научном журнале читают 5 человек. Этот показатель искажается из-за нескольких изданий, у которых и правда тысячи читателей.

Предостережения: Научные комитеты и отделы кадров используют этот критерий, хотя зачастую утверждают обратное. Ведь намного легче подсчитать количество статей, чем оценить их качество. Обратите внимание, седовласые коллеги особенно любят этот критерий, потому остаются в выигрыше – их личная ценность N намного выше, чем у начинающего исследователя. Если тоже решите использовать такой подход, не хвастайтесь соавторами. Уровень доверия уменьшается, когда у статьи несколько авторов.

Частота публикаций

(предпочитают молодые исследователи)

Критерий: N/T, отношение общего количества опубликованных работ ко времени публикации.

Аргументы: Знать количество статей недостаточно, поскольку их число не измеряет производительность. Если исследователь публикует 10 статей в год, он чрезвычайно продуктивен, но если это 10 статей за всю жизнь, исследователь крайне непродуктивен.

Факты: Продуктивность меняется со временем. Всплески происходят непосредственно перед возможным повышением, и этот показатель обычно резко снижается за несколько лет до выхода на пенсию. Таким образом, с возрастом исследователи перестают говорить о N/T и возвращаются к измерению N.

Предостережения: Научные комитеты опасаются любого, кто ссылается на этот критерий. Будьте реалистами: кучка седовласых профессоров не собирается вознаградить вас за высокую частоту публикаций, когда их собственный показатель не такой уж впечатляющий.

Значимость публикаций

(предпочитают аккредитационные агентства)

Критерий: W, сумма значимостей, присвоенных опубликованным работам

Аргументы: Поскольку некоторые публикации представляют собой большее интеллектуальное достижение, чем другие, каждой публикации должен быть присвоен вес, пропорциональный ее качеству. Вместо того, чтобы считать статьи, следует обращать внимание на их значимость. Например, работам, которые не являются исследовательскими, может быть присвоен нулевой или около-нулевой вес.

Факты: Вместо оценки каждой статьи отдельно, сторонники этого подхода просто присваивают каждому журналу значимость в соответствии с его авторитетом, а затем используют эту шкалу для любой публикации, которая появляется в журнале. Но престижность журнала может меняться с течением времени. Не существует также изданий, в котором все статьи одинаково значимы, но этот факт, похоже, не принимается к сведению. Прелесть такого подхода заключается в том, что с учетом всех публикаций можно выбирать только те, которые выглядят хорошо в резюме.

Предостережения: Обсуждая этот критерий, помните, что шкала значимости – произвольная. Даже если человек может представить доказательства, оправдывающие его выбор, в конце концов кажется, что все предпочитают перечень изданий, который придает их собственным публикациям высокий рейтинг.

Теорема о бесконечных обезьянах

(предпочитают правительственные агентства)

Критерий: G, общая сумма денег налогоплательщиков, выделенная для исследования.

Аргументы: При достаточном количестве времени, случайный набор исследователей, стучащих по клавишам, в конечном итоге напишет статью о чем-то, что принесет пользу стране. Чтобы стимулировать больше исследователей к выпуску большего количества статей, правительство собирает предложения и дает деньги «лучшим». Очевидно, что выделение большего количества денег будет стимулировать большее количество статей, которые увеличат выгоду исследований для страны.

Факты: Система грантов ближе к лотерее, чем к национальной выгоде. Чтобы гарантировать «равенство», государственные органы часто следуют политической программе. Вероятность получения гранта может зависеть от размера учреждения, его географического положения, расы или пола исследователей. В крайнем случае, заявитель может получить письмо о том, что его кандидатура была отобрана для получения гранта, но решение должны пересмотреть, поскольку научное содержание статьи неприемлемо.

Предостережения: Не принимайте это на личный счет. Так или иначе, получение государственного гранта не обязательно значит, что у вас есть отличная идея, равно как и отказ не значит, что идея бесполезна.

Прямое финансирование

(предпочитают руководители отделов)

Критерий: D, количество полученных грантов.

Аргументы: Исследователи, получившие гранты, должны иметь хорошие идеи (иначе грантовое агентство не присудило бы деньги). Таким образом, больше денег значит больше хороших идей.

Факты: Главы департаментов заинтересованы только в том, чтобы произвести впечатление на деканов и руководителей департаментов в других учреждениях. Они любят хвастаться общей суммой грантовых средств, которые приносят все их сотрудники. К сожалению, финансирование больше зависит от доступной суммы, чем от качества предлагаемых исследований. Правительство раздает больше, когда сундук полон (или когда это имеет какое-то политическое преимущество). Промышленность выдает гораздо больше, когда прибыль высока (или когда можно получить налоговые списания).

Предостережения: Опять же, не зацикливайтесь на грантах. Независимо от того, что кто-то говорит, сумма денег, которую вы получаете (мало или много), не всегда пропорциональна качеству ваших идей.

Косвенное финансирование

(предпочитают администраторы университетов)

Критерий: O, общие накладные расходы.

Аргументы: Когда исследователь получает N долларов от государственных субсидий, 1/3 из них обозначается как «косвенные расходы» или «накладные расходы». Они идут на оплату офисных помещений, счетов за электричество и работу бухгалтеров, которые отслеживают расходы по гранту. Накладные расходы – это показатель того, сколько исследователь принес в учреждение.

Факты: Офисные помещения необходимы с грантом или без него, а в крупных исследовательских институтах уже существуют процедуры и системы учета. Таким образом, косвенные затраты – это просто способ для учреждения отнять деньги за счет исследовательских грантов.

Предостережения: Гранты на оборудование освобождаются от косвенных затрат, поэтому не стоит хвастаться администраторам большим грантом на оборудование – они не будут впечатлены. Кроме того, помните, что косвенные затраты генерируются тогда, когда деньги уже расходуются, а не когда они присуждаются. То есть если вы потратите грантовые деньги не в декабре, а в январе, накладные расходы будут учитываться уже в новом году.

Оценка конечного итога

(предпочитают промышленные исследовательские лаборатории)

Критерий: P, прибыль от патентов или продуктов, полученных в результате исследований.

Аргументы: Промышленная компания создает исследовательскую лабораторию, чтобы позже она принесла пользу структурному подразделению компании, а не просто как способ потратить чрезмерную прибыль. Таким образом, в промышленности имеет смысл оценивать исследования по тому, как они помогают в конечном итоге.

Факты: Практически ни одно исследование не оказывает реального влияния на прибыль компании. Даже если исследовательская идея в конечном итоге превращается в продукт, полученный доход зависит в большей степени от маркетинга, чем от качества основной идеи. Есть даже некоторые свидетельства обратной зависимости между качеством продукта и прибылью.

Предостережения: Доход – ужасная мера качества исследования, потому что глупые или тривиальные идеи часто приносят наибольшую прибыль. Не думайте, что идея имеет научную ценность только потому, что она приносит деньги, или наоборот.

Оценка влияния

(предпочитает горстка исследователей, которые и вправду чего-то достигли)

Критерий: I/R, Отношение влияния работы к количеству ресурсов, использованных для ее создания.

Аргументы: Влияние исследования в отрасли – хороший показатель его значимости. Для определения можно задать следующие вопросы: 1) повлияла ли работа на исследования и идеи других ученых? 2) она цитируется и используется? Однако, чтобы сделать сравнение справедливым, нельзя сравнивать исследования, выполненные командой из двадцати четырех ученых, которые работают в крупной промышленной лаборатории с использованием оборудования стоящее десять миллионов долларов, с исследованиями, которые проводит человек без помощи персонала в свои выходные. Чтобы получить справедливую оценку, рассчитайте соотношение влияния к используемым ресурсам.

Факты: Как влияние, так и ресурсы трудно измерить. Более того «большая наука», к сожалению, часто оказывает большее влияние просто потому, что ей легче придать общественный резонанс.

Предостережения: Хотя этот подход является наиболее справедливым, он непопулярен. Администраторам не нравится использовать оценку влияния как основной критерий. Все потому, что размер финансирования (пункт, который они хотят подчеркнуть) появляется в знаменателе, а значит исследователь, который достигает определенного эффекта с меньшим количеством грантов, получает более высокую оценку! Большинству исследователей также не нравится этот критерий, поскольку он акцентирует внимание на результатах, а не на затратах. Гораздо проще получить финансирование, чем получить результаты, которые имеют какое-либо реальное влияние.

Вывод

Если ваше исследование не выглядит хорошо в соответствии с используемыми критериями, возможно, пришло время изменить критерии!