"Журнал "Компьютерра" N734" - читать интересную книгу автора (Компьютерра Журнал N734)ТЕМА НОМЕРА: Корпус может стоить целой армииВ начале апреля небольшая группа российских ученых завершила - в предварительном варианте - создание Корпуса экспертов в области физики твердого тела. Речь идет о списке исследователей, к чьим экспертным оценкам другие специалисты в этой области относятся с наибольшим уважением и доверием. Работа по выявлению и систематизации мнений профессионального сообщества была проведена совершенно открыто и практически бесплатно[C привлечением минимальных спонсорских средств для оплаты технических исполнителей]. Эту работу никто не заказывал. А с ее результатом (сегодня в списке 94 человека) можно ознакомиться на www.scientific.ru/expertise/experts1.html. Острейшая проблема независимой и компетентной научно-технической экспертизы в России, кажется, получает неожиданное решение - решение в стиле "опенсорс". Битых пятнадцать лет идут разговоры - а что будет, когда наука у нас совсем рухнет? Кто же будет студентов учить? Кто же будет задачи решать?.. Все это чепуха. Студентов у нас по-прежнему, как выражается Михаил Жванецкий, "больше, чем в другой стране". Некоторые из них находят работу именно в "другой стране", где и процветают (а это ли не показатель качества подготовки!). Остальные прекрасно устраиваются дома, процветают, может быть, еще сильней. Стало быть, кто-то же их всех учит? Вот и отлично. А задачи - какие задачи? Когда понадобится, решат и задачи. Если не решат - купим решение. Или, еще лучше, - купим решателей. Настоящих, классных. Как покупаем в футболе и тренеров, и игроков… В официозе эту логику не рекламируют. Зато в практике делового мира России это уже давно не логика, а аксиомы. Но недавно в системе что-то заскрипело. Оказалось, что при всем ее проницательном цинизме она кое-что не предусмотрела. И бизнес, и государство вдруг обнаружили, что не знают, у кого спросить - бред или не бред то, во что тебе предлагают вложить деньги и ресурсы. Редакции российских общефизических журналов "Письма в журнал экспериментальной и теоретической физики", "Журнал экспериментальной и теоретической физики" и "Успехи физических наук" инициировали проект создания корпуса экспертов в области физики Одна из тяжелейших проблем российской науки и ее бытия в обществе - отсутствие сложившейся системы грамотной независимой экспертизы. Цель проекта - сформировать корпус независимых экспертов, которые смогут привлекаться к оценке проектов и научных результатов государственными и частными фондами и организациями. Основная идея проекта - экспертов должны выбирать сами ученые, напрямую, минуя любые административные инстанции. Способ осуществления - метод "снежного кома": выборы в несколько итераций, в которых роль первичных выборщиков играют высокоцитируемые ученые, а в следующих итерациях голосуют те, кого выбрали в предыдущем туре. Конечные и текущие результаты проекта (списки экспертов, отчеты о ходе проекта) размещаются в открытом доступе в Сети. Востребованность и значимость Корпуса экспертов будут зависеть прежде всего от ученых, которые примут участие в процедуре формирования корпуса, и от каждого, кто будет признан экспертом. В принципе Корпус экспертов - не просто список людей, отобранных по определенной процедуре. Он сам может стать источником экспертной инициативы, а также формировать взгляд на важнейшие аспекты научной политики, который будет трудно проигнорировать. Предлагаемый проект - один из путей самоорганизации научного сообщества, роль которой для российской науки трудно переоценить. Состав рабочей группы: В. Д. Арнольд (МЦНМО), Д. И. Дьяконов (ПИЯФ РАН), М. В. Фейгельман (ИТФ им. Ландау), Г. А. Цирлина (химфак МГУ), Б. Е. Штерн (ИЯИ РАН) - Я много занимался организацией экспертизы в корпоративных структурах. Сам был автором различных проектов, которые рассматривались всевозможными финансовыми структурами и фондами. Корпоративные проекты, как правило, крупные: они начинаются с науки и заканчиваются выходом в бизнес. И я столкнулся с тем, что невозможно организовать экспертизу, хоть как-то устраивающую все вовлеченные стороны. Просто невозможно. Последней каплей стал опыт с одним из крупных российских фондов, который в конце концов полностью отказался от попыток инвестировать в венчурные инновационные проекты. Они просто ушли в другой бизнес - сейчас успешно инвестируют в строительство коттеджных поселков и подобные вещи. - Потому что отчаялись получить хоть какое-то сбалансированное мнение по тем нескольким инновационным проектам, которые были им предложены. Они шли путем, казавшимся им естественным - который им подсказывали их американская подготовка и образование. А именно - обращались в академические организации. Ведь Академия наук, как известно, при Петре Первом создавалась в первую очередь как орган для обеспечения независимой оценки, экспертизы научно-технических начинаний. Экспертиза - одна из ее важнейших функций. - По всем проектам они получили совершенно однотипные ответы: проект не выдерживает никакой критики, он очень плохой. А вот организация, которую представляет данный эксперт, способна реализовать и этот проект, и многое другое, и финансирование надо направлять туда. После третьего подряд (!) такого заключения решили - не будем заниматься инновациями, давайте лучше строить коттеджи. В конце декабря в Независимом Московском университете (ium.mccme.ru) состоялся традиционный "Рождественский семинар" - на этот раз он был полностью посвящен проекту создания Корпуса экспертов. Выступивший на семинаре - Я столкнулся со смешными вещами, - говорил Юхин. - К нам приходят проектанты, уже прошедшие первый раунд инвестиций, и мы видим, что кто-то проинвестировал такую алхимию, такую хиромантию, что это просто страшно. Вот один из проектов, который мы обсуждали: автор модифицировал, ни много ни мало, теорию гравитации, легко зарегистрировал гравитационное поле электрона, внес лепту и в теорию плазмы, уже истратил полтора миллиона долларов и собирается на следующие три с половиной миллиона за полтора года создать маленькое солнышко - установку термоядерного синтеза. Ну а нас приглашают быть соинвесторами во втором раунде. Таких изобретателей наверняка было много и в СССР, но тогда, видимо, существовала какая-то система отбора - похоже, сейчас она отсутствует. Самое же интересное, что автор показал экспертные заключения, выданные очень уважаемыми институтами, находящимися и в Москве, и в наших знаменитых атомградах. К сожалению, мы с вами прекрасно понимаем, что на организацию экспертизы в институтах была израсходована существенная часть первого раунда инвестиций. И я боюсь, что в данном случае никакие титулы и звания не могут быть объективными критериями, ведь, к примеру, за двести тысяч долларов что угодно можно подписать. (Смех в зале.) С другой стороны - как поступить инвестору, если к нему приходит ученый и показывает одобрительный отзыв о проекте за подписью члена-корреспондента РАН, заместителя директора знаменитого института?.. По мнению Юхина, Корпус будет востребован коммерческими инвесторами в наукоемкие проекты. Такие проекты сейчас вполне могут появиться в большом количестве - разработанный Министерством экономического развития и торговли РФ механизм венчурного инвестирования вполне разумен. Государство и частный бизнес создают совместные фонды 50 на 50, причем государство не участвует в принятии решений фондом. Эти деньги очень трудно "распилить", пояснил Юхин, - вы же не можете потратить только государственные 50%, а свои не трогать. Однако вопрос в том, как с точки зрения этого возникающего рынка может выглядеть роль Корпуса. В какой мере экспертиза ученых, безусловно признаваемых научным сообществом, будет пригодна для коммерческих проектов? Ответ пока неясен. Самое важное для дальнейшего развития Корпуса, заявил Юхин, - чтобы он был нужен сообществу самих ученых. Но как решить "проблему двухсот тысяч долларов" при привлечении экспертов любой степени независимости? Юхин считает: только на основе столь зыбких параметров, как общеизвестная репутация или личное доверие. Должна заработать социальная сеть, где формируются такие отношения. Именно социальная сеть, которую энтузиасты проекта стали выстраивать в сообществе своих коллег по науке задолго до контактов с каким бы то ни было бизнесом, и помогла создать Корпус экспертов. Первым шагом при создании Корпуса стал опрос "первичных выборщиков". Их имена брались из списков российских ученых, чья "цитируемость" - количество ссылок на их научные публикации - превосходит некоторые пороговые величины (см. www.scientific.ru/whoiswho/whoiswho.html; отметим, что количество ссылок могло различаться у разных выборщиков на порядки). Для краткости назовем эти списки "исходными". Разумеется, составление исходных списков именно по уровню цитируемости - не единственный возможный вариант. Например, можно было привлечь к формированию Корпуса экспертов всех докторов наук или всех завлабов - но, как пишут члены рабочей группы, никто не мешает сторонникам этих вариантов реализовать их. В специальном комментарии на www.scientific.ru/expertise сама рабочая группа перечисляет недостатки индекса цитируемости как критерия отбора (и одновременно - возможности их преодоления). Не останавливаясь на этом, перейдем к числовым показателям. Первичных выборщиков, чьи работы по тематике более-менее укладываются в определение "физика конденсированного состояния" ("cond-mat"), было чуть больше пятисот (подробности - в полугодовом отчете о ходе проекта). На обоих этапах опроса в качестве потенциальных экспертов было названо 1060 человек. Среди них оказалось 122 человека, получивших в итоге 5+ (пять и более) голосов - в основном это специалисты по физике твердого тела (академиков РАН в списке трое, членов-корреспондентов - восемь). Им и предложили войти в Корпус. На момент сдачи номера в печать свое согласие на это подтвердили 94 эксперта, отказались пятеро. На рис. 1 приведена зависимость количества специалистов, получивших "N и более голосов" ("N+"), от N. Как же соотносится итоговый список экспертов с исходными списками? Другими словами, как связано количество голосов коллег, отданных тому или иному исследователю, с его показателями цитируемости? Ответ далеко не однозначен. График на рис. 2 показывает процент рекомендованных в эксперты, входящих одновременно и в исходные списки - в зависимости от числа поданных "за них" голосов. Из графика видна общая тенденция: больше голосов чаще набирают люди, перешедшие определенный порог цитирования. В то же время зависимость довольно сильно осциллирует - в эксперты рекомендованы и люди со сравнительно невысоким цитированием, и многие представители диаспоры, которые не включены в исходные списки (их доля велика в интервале N от 5 до 12). Зато практически все (немногочисленные, правда) обладатели более чем пятнадцати голосов заведомо переходят порог цитирования и работают при этом в России (правая часть графика). Механизм формирования корпуса его авторы называют "методом снежного кома". Сначала составляется список ученых с достаточно высоким рейтингом цитирования, работающих в данной области. Это - "первичные выборщики". Им рассылаются письма с просьбой назвать коллег, к чьим профессиональным оценкам они относятся с наибольшим уважением ("Назовите имена русскоязычных экспертов, способных квалифицированно оценивать проекты в своей и смежных областях науки, ориентировочно 10-15 человек"). Некоторые фамилии, названные первичными выборщиками, объединяются в новый список - туда попадают лишь те, кого упомянули не менее четырех раз. Затем тот же вопрос рассылается лицам из нового списка. Из их ответов опять выбирают тех, кого назвали определенное число раз (в данном случае - пять)… в принципе, процедуру можно повторять снова и снова, но в реальности остановились на второй итерации. Каждому участнику финального списка был задан вопрос - согласен ли он, чтобы его имя, место работы, область экспертизы были опубликованы в списке Корпуса экспертов. Попадание в список, в сущности, не накладывает никаких обязательств, кроме согласия рассматривать предложения об участии в экспертизе научных или научно-производственных проектов. Статистические данные по проекту приведены во врезке на стр. 26. Читатель понимает, что в этом кратком изложении за кадром осталась масса проблем, которые решала рабочая группа. Приходилось не только вести переписку, но и заниматься концептуально сложными задачами: серьезно анализировать поступающие данные и принципы их обработки (например, выбор "порогов отсечения" - достаточного количества рекомендаций - потребовал длительных обсуждений), а также составлять классификаторы специализаций, отвечающие реальному положению дел в науке. "Манифест" проекта мы приводим без изменений (см. врезку 1), в том виде, как его сформулировали члены рабочей группы. О разных аспектах проекта я подробно побеседовал с двумя участниками рабочей группы: МФ: Могу разве что вспомнить Андрея Синявского, который говорил, что у него с властью чисто стилистические разногласия. Именно соображения эстетики главным образом и привели меня в этот проект. ГЦ: Мы не можем сейчас сформулировать, куда мы на этой машине поедем. Мы просто знаем, что без нее мы точно никуда не поедем. Это и есть мотивация, она у всех нас совершенно одинаковая. Первые разговоры начались больше года назад - но сначала обсуждались варианты работы под патронажем министерств или других организаций. А это было бы абсолютно бессмысленно, со всех точек зрения. И тогда в проекте появился Михаил, достаточно решительный человек, который и дал старт независимой, чисто инициативной линии. Большую роль сыграло существование сообщества Scientific.ru, потому что там смогли найти друг друга люди из разных наук, но с более-менее близкой мотивацией. Заодно они обнаружили, как много на свете людей с совсем другой мотивацией. Это тоже стало стимулом. ГЦ: Их знают все, кто занимается наукой. Лоты Миннауки, проекты центров коллективного пользования - на это выделяются огромные деньги, и здесь совершенно необходима прозрачная, независимая, компетентная экспертиза, чтобы эти ресурсы попадали в квалифицированные руки. Уже прошло несколько крупных программ, которые были абсолютно неэффективны по результатам. Есть примеры, когда людям просто нечем было отчитаться за очень большие деньги. Даже неинтересно про все это говорить, такого слишком много. (Недавно стало известно, см. www.scientific.ru/expertise/current.html , что корпорация "Роснанотех" уже аккредитовала некоторых экспертов Корпуса [в соответствии с тематикой и при наличии их собственного согласия] в состав своей экспертной группы. Частно-государственные партнеры корпорации тоже планируют привлекать Корпус к экспертной работе. - Л.Л.-М.) ГЦ: В любом случае, раз обращаются напрямую к конкретным экспертам, то каждый из них сам решит, с кем связываться, а с кем нет. А если какие-то обращения последуют к нам, если кому-то нужна помощь, чтобы разобраться, например, со специализацией, тогда, мне кажется, принцип должен быть такой: потенциальный заказчик должен показать, по какому регламенту он будет проводить экспертизу. И если регламент явно не выдерживает критики, связываться с таким заказчиком не надо, никакая "институционализация" этого не стоит. ГЦ: Когда выясняется, что это все не имеет никакого отношения к самим экспертам (смех). Надо сказать, что мы, к счастью, еще не слишком испорчены жизнью. Некоторые вещи, которые иногда говорят комментаторы, мне никогда бы не пришли в голову. Когда мы только-только начинали публикацию списка экспертов, один из научно-демократически настроенных людей сразу сказал - первым делом ваш список скопируют на другие сайты и начнут продавать. Мы тут же серьезно застраховались от этого: написали, что просим давать ссылку на наш сайт (смех). Но меня поразило, что именно это - первое, что приходит в голову. Стало быть, в некоторых "научных мирах", которые здесь имеются, разложение, видимо, дошло до какой-то более тяжелой стадии. Вся надежда на то, что в Корпус вошли люди по-настоящему авторитетные, которыми невозможно манипулировать. Впрочем, иногда мы видим примеры проведения экспертизы именно на основе Академии наук. Самый известный недавний случай - экспертиза восточно-сибирских нефтепроводов. Тогда собрали совещание при Президенте с участием нескольких академиков (географов, по-моему), которые выступили как эксперты. Это положительный пример, Академия сработала так, как она была задумана при Петре. И академики выступали не как директора институтов, а в своем "непосредственном качестве". Я думаю, что в некотором неопределенном будущем Петровская Академия вернется. Но сейчас мы имеем то, что имеем. Надо что-то делать, чтобы в стране была независимая экспертиза хотя бы проектов. Детальное исследование очень интересного и важного вопроса - связи между цитируемостью и "рекомендуемостью" - еще впереди. Но один неоспоримый результат (и вполне понятный - постфактум, конечно) получен уже сейчас. Оказалось (рис. 3), что важна не просто совокупная цитируемость (показатель "CI_total"), а рейтинг тех работ, что опубликованы в течение последних семи лет (показатель "CI7"). Именно этот рейтинг превышает условный порог 100 у восьмидесяти-девяноста процентов тех, кто набрал хотя бы один голос. При этом у людей, вызывающих наибольшее профессиональное доверие (набравших более пятнадцати голосов), он сочетается еще и с высоким совокупным рейтингом (то есть для коллег представляют интерес как новые, так и давние работы этих исследователей). Подчеркнем, что прямой связи между авторитетностью специалиста и числом цитирований его работ пока не выявлено. Около 40% имен из исходных списков не названы в ходе опроса ни разу. С другой стороны, лишь 65% лиц, вошедших в финальный список экспертов, были и в исходных списках. Организаторы проекта высказываются осторожно: по-видимому, уровень цитируемости является существенным, но далеко не единственным условием получения достаточного количества голосов в подобном опросе. |
||||||||||||||
|