"В защиту науки (3)" - читать интересную книгу автора (Комиссия по борьбе с лженаукой и...)Можно ли измерить квазинауку?Когда говорят и пишут об антинауке, лженауке и псевдонауке, то трудностей в понимании того, о чём идёт речь, не возникает, так как в большинстве случаев изложение иллюстрируется убедительными примерами, показывающими, что речь всегда идёт, вообще говоря, об одном и том же, хотя разные авторы иногда и не совсем одинаково, с небольшими отличиями, трактуют антинауку, лженауку и псевдонауку. Вред, который лженаука причиняет науке, очевиден, но не меньшую опасность для неё представляет квазинаука, о которой почти не говорят и не пишут и которая так же, как и лженаука, претендует на научный статус, не имея для этого оснований. В тех же редких случаях, когда квазинаука становится предметом обсуждения, чаще всего выясняется, что речь снова идёт всё о той же лженауке. Поэтому может сложится ложное впечатление, что отдельного феномена квазинауки, отличного от лженауки, не существует. В действительности это не так. Полагаем, что в разговоре о квазинауке вполне можно обойтись без попыток как-то её определить. Достаточно всего лишь отметить, что приставка «квази», происходящая от латинского quasi (как будто, будто бы), по своему значению соответствует словам «напоминающий», «похожий», «ненастоящий». Таким образом, квазинаука — это что-то похожее на науку, что-то напоминающее науку, ненастоящая наука. Отличить квазинауку от науки сложнее, чем провести границу между наукой и лженаукой. Поэтому борьба шла и идёт в основном с лженаукой. Квазинаука, почти не встречая сопротивления, тем более организованного, активно проникает в науку, захватывает всё новые плацдармы, неограниченно расширяет свою сферу и отвлекает на себя значительные финансовые средства. В общественное мнение активно внедряется мысль о том, что многие исследования, являющиеся откровенно квазинаучными, должны считаться научными. Необоснованное расширение обществом и государством сферы научной деятельности включением в неё квазинаучных направлений и областей, не имеющих к науке никакого отношения, девальвирует в глазах широкой общественности звание учёного и дискредитирует саму науку. Складывается впечатление об упадке и даже деградации науки, что, конечно же, далеко от истины. По нашему мнению, научное сообщество недооценивает, а если сказать точнее, игнорирует опасность, исходящую от вируса квазинауки, давно проникшего в организм науки и поразившего многие его органы. Можно сказать, что квазинаука — быстро прогрессирующая болезнь современной науки, приступать к лечению которой надо незамедлительно, начиная с наиболее поражённых органов. Квазинаука не является проблемой какого-то отдельного государства. Бурный рост квазинаучных исследований — это общемировая тенденция, наиболее ярко проявляющаяся в развитых странах, где на науку выделяются огромные материальные и финансовые ресурсы. Помимо уже сказанного о квазинауке можно отметить ещё одну её особенность: Подобно подделкам в искусстве, монетном производстве и промышленной сфере, научные подделки могут быть как откровенной халтурой, распознать которую по силам даже неспециалистам, так и иметь очень высокий уровень исполнения. В этом случае заметить имитацию может лишь небольшой круг высококвалифицированных экспертов. Причина возникновения научных подделок та же, что и в других областях, — извлечение выгоды. За квазинаучные результаты присваивают учёные степени и звания, их носители нередко занимают высокооплачиваемые должности, получают государственное финансирование и гранты от различных фондов якобы на развитие науки, но в действительности используют их для продолжения своей квазинаучной деятельности, выдавая на-гора квазинаучный мусор, захламляющий поле науки. Что можно противопоставить квазинауке, надо ли бороться с ней? Прежде всего научному сообществу следует, отбросив сомнения, набраться смелости и, проявив решительность, хотя бы приблизительно промаркировать границу между наукой и квазинаукой, создав для последней своеобразную резервацию. Как только квазинаука окажется в резервации, многие хорошенько подумают, прежде чем заняться квазинаучными изысканиями. Ни в коем случае нельзя запрещать квазинауку, подогревая тем самым интерес к ней и делая из квазиучёных мучеников-страдальцев. Переходить к активной борьбе с квазинаукой нужно только тогда, когда она, становясь агрессивной, перерастает в лженауку. В своё время научное сообщество не побоялось вывести за рамки науки любые попытки создания вечного двигателя — «per-petuum mobile» и тем самым свело почти к нулю число желающих поупражняться на тему вечного движения. Конечно, и само научное сообщество может заблуждаться, как это было с отрицанием падения метеоритов. Но отличие науки от «науки» в том и состоит, что наука признаёт собственные заблуждения и ошибки. Наличие квазинауки в педагогических исследованиях заметно невооруженным глазом. Для того, чтобы в этом убедиться, достаточно полистать специализированные педагогические издания и ознакомиться с тематикой, а ещё лучше с содержанием диссертационных работ по педагогике. Понятно, что любая попытка учёных, для которых педагогика не является основной сферой деятельности, определить каким-то образом степень научности (квазинаучности) конкретного педагогического исследования, будет встречать активное противодействие значительной части учёных-педагогов, и прежде всего самих авторов какого-то конкретного исследования. Защищаясь, они, конечно же, будут обвинять своих критиков в некомпетентности, которые, по их мнению, не имея специального педагогического образования, не в состоянии объективно оценивать научные работы по педагогике. Данные о числе лиц, утверждённых ВАК Минобразования России в учёной степени доктора физико-математических наук и доктора педагогических наук в 1993–2003 гг. Можно избежать подобных обвинений, если не рассматривать каждую работу отдельно, а оценивать степень научности (квазинаучности) всей совокупности педагогических исследований. Попробуем сделать это, используя официальную статистику о числе лиц, утвержденных ВАК Минобразования России в учёной степени доктора наук в 1993–2003 гг. [1], выбрав в качестве эталона научности, физико-математические науки (табл. 1). Данные, приведенные в табл. 1, свидетельствуют об отсутствии общей закономерности, которой подчинялись бы процессы появления новых докторов наук в физико-математических и педагогических науках в 1993–2003 гг. Более того, эти процессы в указанный период шли в противоположных направлениях: число докторов физико-математических наук, утвержденных в 2003 г., уменьшилось на 40 % по сравнению с 1993 г., а число лиц, утвержденных ВАК Минобразования России в учёной степени доктора педагогических наук в 2003 г., возросло в 2,8 раза по сравнению с 1993 г. Для большей наглядности воспользуемся графическим представлением данных табл. 1. Если бы динамика числа докторов наук в педагогике определялась теми же закономерностями, что и в физико-математических науках, то формы обеих линий на рис. 1 мало отличались бы j -Физико-математические -- Педагогические j Рис. 1. Динамика числа докторов наук, утвержденных в 1993–2003 гг. по физико-математическим и педагогическим наукам друг от друга. А так как в качестве эталона выбраны физико-математические науки, то форму нижней — педагогической кривой надо признать аномальной. Вряд ли эта аномальность объясняется какой-то одной причиной. Можно только предположить, что одним из факторов, влияющих на рост числа докторов педагогических наук, стала квазинаука, наличие которой в педагогике трудно не заметить. Квазинаучную часть педагогики естественно назвать квазипедагогикой. Долю квазинауки в педагогике желательно оценить количественно. С этой целью упростим поставленную задачу, сформулировав несколько допущений (аксиом), касающихся докторских диссертаций. I. II. III. Предполагаемое соотношение между научными и квазинаучными докторскими диссертациями по педагогическим наукам в 1993–2003 гг. IV. Из всех приведенных аксиом самой надежной является аксиома II, аксиома III — наиболее спорная. Нужно сделать ещё одну оговорку. Мы говорим о докторских диссертациях, хотя известно, что учёная степень доктора наук может быть присвоена по совокупности работ без представления докторской диссертации. В этом случае представленную совокупность работ будем считать докторской диссертацией. Аксиомы I–IV позволяют построить следующую таблицу. Следствием аксиомы I является наличие в табл. 2 только двух строк — для науки и квазинауки соответственно, а ввиду аксиомы III в столбце 1993 г. стоят числа 107 и 0. Аксиомы II и IV используются для получения остальных чисел таблицы на основании данных табл. 1. Например, число 82 в столбце 1994 г. табл. 2 является произведение числа 107 на число 0,77, взятого из столбца того же 1994 г., но в табл. 1 (107 0,77 = 82,39 ~ 82). Аналогично определяются остальные числа первой строки табл. 2. Число 17 в столбце 1994 г. табл. 2 является разностью числа 99 из второй строки столбца 1994 г. табл. 1 и числа 82 из первой строки столбца 1994 г. в табл. 2. Аналогично определяются остальные числа второй строки табл. 2. Графическое представление данных табл. 2 приведено на рис. 2. Таблица 2 и рис. 2 свидетельствуют о значительном увеличении числа квазинаучных докторских диссертаций по педагогике в 1993–2003 гг., в то время как число научных докторских диссертаций изменялось незначительно, причем в основном в сторону уменьшения. До 1997 г. научные диссертации еще преобладали над квазинаучными, в 1997 г. их стало почти поровну, а в 2003 г. уже почти 80 % докторских диссертаций по педагогике, если полагаться на аксиомы I–IV, были квазинаучными. Если разделить число всех научных диссертаций на число всех диссертаций, то получим число, которое обозначим через S и назовем коэффициентом научности; отношение числа всех квазинаучных диссертаций к числу всех диссертаций обозначим через Q и назовем коэффициентом квазинаучности. Ясно, что Коэффициенты научности и квазинаучности, вычисленные по данным табл. 2, приведены в следующей таблице. Данные табл. 3 показывают, что в период с 1993 г. по 2003 г. коэффициент научности в педагогических исследованиях из года в год, за исключением 2002 г., уменьшался; соответственно с каждым годом, за исключением 2002 г., возрастал коэффициент квазинаучности. Нагляднее это видно на рис. 3. Ещё раз подчеркнём, что всё, о чем здесь говорилось, имеет место при сделанных допущениях I–IV. Неестественно стремительный рост в 1993–2003 гг. числа докторов наук по педагогическим специальностям не поддается разумным объяснениям и выглядит вызывающе на фоне резкого уменьшения числа докторских защит в естественных науках. Процесс конвейерной штамповки кандидатов и докторов педагогических наук явно выходил из-под контроля научного сообщест ва, грозя стать совершенно неуправляемым. Видя это, руководители ВАК стали высказывать свою озабоченность положением дел с присвоением учёных степеней в педагогике и в некоторых других отраслях науки. Все понимали, что для исправления ситуации требуется срочное вмешательство официальных научных структур, в первую очередь самого ВАКа. Коэффициенты научности и квазинаучности в педагогических исследованиях в 1993–2003 гг. (по данным табл. 2) Вот краткая хронология действия ВАКа по наведению порядка в педагогических науках. «…складывается некоторая удручающая «мода» на определенный стереотип названий, которые идут подчас обильным потоком. Очень часто, например, в темах работ по педагогическим наукам употребляется слово «основы» — "педагогические основы" чего-либо, "методические основы", "теоретико-методологические основы" и пр. (в 74 из 219 докторских диссертаций, защищенных и утвержденных в 2000 г.). Если так много различных «основ», то как их можно считать таковыми? Производство «основ» не может быть поточным. Если это действительно основы, то их не может быть слишком много по определению». «…нередко известные вещи переобозначаются новыми «тарабарскими» словами. Вместо «методы», «средства» появляются «технологии», "многомерный инструментарий педагога" и пр. При переводе подобных формулировок "с русского на русский" становится очевидной их банальность по существу». «Статистическое оценивание, вычерчивание разного рода компьютерных диаграмм — необязательная принадлежность работ по психологии и педагогике. Они иной раз могут играть роль разве что неких «бантиков», создающих видимость научности». «Суть сказанного выше сводится к одному: наши науки должны "почистить перышки". Кандидаты и доктора наук в обсуждаемой области сейчас далеко не редкость, и количество их в стране бурно растет. Пора заботится о качестве диссертаций». «Открывая заседание, Министр образования Российской федерации В.М. Филиппов отметил, что (…) Статистика ВАК, особенно в части регулярного и значительного снижения относительного числа защищаемых диссертаций по техническим и фундаментальным наукам, выглядит весьма тревожно (…) Далее министр обратил внимание на резко возросшее количество диссертаций в области педагогической науки. Это можно было бы приветствовать, но при одном непременном условии, что качество этих работ находится на высоком научном уровне, чего к сожалению, пока нельзя констатировать». «Председатель экспертного совета по педагогике и психологии ВАК Минобразования России Д.И. Фельдштейн в своём выступлении рассказал о состоянии экспертизы диссертационных исследований по педагогике (…) резко возросшее число диссертационных работ по педагогическим специальностям, к сожалению, сопровождается снижением их научного потенциала (…) многие педагогические исследования страдают эклектикой, иррационализмом, схоластикой. На защиту докторских диссертаций выходят порой не люди, известные в научном сообществе, зарекомендовавшие себя как состоявшиеся учёные, а люди, относящиеся к этому событию как преходящему моменту, необходимому лишь для утверждения амбиций, занятия значимой позиции (…) Отмечается низкий теоретико-методологический уровень многих диссертационных работ, отсутствие в них ярко выраженной научной позиции, нечёткая, а порой беспомощная формулировка проблемной ситуации. Это, в частности, находит отражение в тематике диссертаций (…) Нередко названия докторских диссертаций начинаются со слова «основы». Например, "Теоретические основы обучения учащихся методам научного познания при изучении физики в школе", "Научные основы творческого развития педагога в системе дополнительного профессионального образования". Не менее популярны и названия докторских диссертаций, начинающихся со слов "Теория и практика" — "Теория и практика развития образования в сельском районе в новых социально-экономических условиях", "Теория и практика нравственного развития личности подростка в процессе физического воспитания с этнокультурной направленностью". Причем работы с подобными названиями составили в 2001 г. почти половину всех защищенных диссертаций — 99 «Основ» и 45 "Теорий и практик"…». Как видим, в приведенных высказываниях нет и намёка на присутствие квазинауки в педагогических исследованиях. Говорится о нежелательных традициях, поточном производстве, эклектике, схоластике, «бантиках», создающих видимость научности, невысоком качестве и низком теоретико-методологическом уровне многих диссертационных работ. Но ведь поточное производство, эклектика, схоластика, «бантики», невысокое качество и низкий теоретико-методологический уровень — признаки квазинауки. Смелость, которую проявляют научные функционеры, указывая некоторые, причем не самые главные недостатки, присущие современной педагогической науке, вдруг куда-то улетучивается, уступая место осторожности, когда встаёт вопрос о принятии мер, необходимых для наведения порядка в педагогическом хозяйстве. Предлагаемое увеличение числа мест в аспирантуре для подготовки специалистов в области техники и естественных наук — фиговый листок, с помощью которого со временем собираются стыдливо прикрыть обнажившееся в последние годы несоответствие между необоснованно резким увеличением числа кандидатов и докторов наук по гуманитарным отраслям наук и значительным уменьшением числа кандидатов и докторов наук в естественно-технических отраслях наук. Сомнительно, что увеличение числа аспирантов в естественных и технических науках положительно скажется на качестве педагогических диссертаций. По нашему мнению, для повышения этого качества необходимо для начала сократить набор в аспирантуру по педагогическим наукам. Заодно эта мера будет способствовать и устранению указанного выше несоответствия. Однако об уменьшении числа аспирантов-педагогов чиновники от науки даже и не помышляют. Наоборот, Е.А. Климов предсказал в начале 2002 г. бурный рост количества кандидатов и докторов педагогических наук. И уже в следующем, 2003 г. это предсказание сбылось: в 2002 г. в научное педагогическое сообщество влились 2086 кандидатов и 221 доктор педагогических наук; в 2003 г. пополнение было ещё более значительным — 2259 кандидатов и 301 доктор педагогических наук. Повышению качества диссертационных работ по педагогике не способствует и сложившаяся в последнее время в соответствующих специализированных советах практика присвоения учёных степеней, которая во многом напоминает судейство в гимнастике, фигурном катании и некоторых других «объективных» видах спорта, в которых распределение мест в итоговом протоколе иногда определяется только субъективным мнением судей и мало зависит от качества выступлений спортсменов. Продолжая спортивную аналогию, можно сравнить многочисленные замечания и пожелания ВАК в адрес педагогической науки с желтыми карточками, предупреждающими участников научной игры о нарушении ими правил поведения на научной площадке. По-видимому, лимит жёлтых карточек уже давно должен был иссякнуть. Да, и отрезвляющего действия, как показывает статистика ВАК, на некоторых «игроков» они не оказывают. Пора вспомнить и о красных карточках и удалить некоторые научные направления, в том числе и педагогику, с поля науки с последующей дисквалификацией на несколько игр, т. е. лет. После окончания срока действия научной дисквалификации ситуация на научном поле несомненно улучшится. Посмотрим теперь, как выглядит стремительный рост количества докторов педагогических наук в России на внешнем, например белорусском фоне. Может быть, не только в России доктора педагогических наук растут как грибы после дождя. Для сравнения воспользуемся данными ВАК республики Беларусь из [2] и сайта vak.org.by, а также табл. 1. В некоторых клетках табл. 4 и 5 отсутствует официальная статистика за указанный период в Бюллетенях ВАК Минобразования России. Из табл. 4 видно что в Беларуси, в отличие от России, ситуация с присвоением учёной степени доктора педагогических наук выглядит вполне нормальной: ежегодно прибавление докторов педагогических наук на протяжении ряда лет, за исключением 2003 г., оставаясь стабильным, колебалось около числа 5. Это объясняется, по-видимому, тем, что в Беларуси более тщательно и продуманно планируют подготовку кадров высшей научной квалификации, их готовят столько, сколько нужно, а не столько, сколько кому-то заблагорассудится. Данные о числе лиц, утверждённых ВАК Минобразования России и ВАК Беларуси в учёной степени доктора педагогических наук в 1995–2005 гг. Данные о числе лиц, утверждённых ВАК Минобразования России и ВАК Беларуси в учёной степени доктора физико-математических наук в 1995–2005 гг. Осуществляются также постоянный анализ и контроль потребности министерств и ведомств в специалистах высшей научной квалификации. ВАК Беларуси совместно с центром мониторинга миграции научных кадров Института социологии Национальной академии наук Беларуси провёл на основе заявок заинтересованных министерств и ведомств анализ потребности республики Беларусь в кадрах высшей научной квалификации. Ниже приведены цитаты из материала «О потребности в научных и научно-педагогических кадрах высшей квалификации», в котором обобщены результаты этого анализа («Атэстацыя». 2004. № 1). «Заявленное количество докторов и кандидатов наук, которое предлагается подготовить в течение ближайших трёх лет, является совершенно нереальным (…) в представленных предложениях заложено неконтролируемое и совершенно нереальное расширение подготовки докторов и кандидатов наук с соответствующим финансированием на эти цели, что, естественно, невозможно и не нужно». «Больше всего заявок на подготовку кадров высшей квалификации приходится на гуманитарные и социальные науки (34,6 %) (…) эта потребность в кадрах гуманитарного профиля представляется сильно завышенной, не соответствующей реальным интересам нашего государства». «Доля гуманитарных и социальных наук в общем объеме подготовки кадров высшей научной квалификации, вытекающая из представленных предложений, непомерно велика, она должна быть существенно сокращена (.) Прежде всего неоправданно завышена доля кадров высшей научной квалификации по педагогическим наукам.» Составителей необоснованно завышенных заявок на подготовку докторов педагогических наук можно понять, если принять во внимание подсчёты одного белорусского доктора педагогических наук, согласно которым в Беларуси должно быть 2400 докторов педагогических наук. Заметим, что на момент опубликования этого числа (2004 г.) в Беларуси трудилось 95 докторов педагогических наук. Данные табл. 4 показывают, что ВАК Беларуси пока игнорирует такие фантастические числа и принимает действенные меры, препятствующие неограниченному росту числа докторов педагогических наук. О неестественном росте числа докторов педагогических наук в России свидетельствует ещё один параметр — отношение числа докторов физико-математических наук к числу докторов педагогических наук (ФМ / П), вычисленный по данным табл. 4 и 5. В России и Беларуси отношение ФМ / П ведёт себя по-разному: в первой оно приближается к единице; во второй явно просматривается тенденция к росту. Сравнивая статистику докторских защит в России и Беларуси, мы надеялись найти хотя бы внешнее оправдание увеличению Отношение числа докторов физико-математических наук к числу докторов педагогических наук в 1995–2004 гг. количества докторов педагогических наук в России, а вышло так, что на благополучном белорусском фоне это увеличение выглядит ещё более неестественным и аномальным. Описанный выше метод получения количественных оценок научности и квазинаучности педагогических исследований, основанный на аксиомах I–IV, может быть применим и к другим наукам. Для этого достаточно чуть-чуть подправить аксиому III, заменив в ней докторские диссертации по педагогическим наукам на докторские диссертации из той отрасли, которую собираются оценивать. Официальная статистика ВАК Минобразования России [1] и полученные на её основе соответствующие кривые и коэффициенты научности и квазинаучности, которые, ввиду экономии места, здесь не приводятся, указывают на то, что на протяжении 1993–2003 гг. в экономических, юридических, психологических и социологических науках сохранялась та же тенденция, что и в педагогических науках, — значительно увеличивалось число докторов наук. В 2000 г. в экономических науках это число достигло таких заоблачных высот, что даже несмотря на последовавшее некоторое его уменьшение, все равно в 2003 г. число лиц, утвержденных в учёной степени доктора экономических наук, значительно возросло по сравнению с 1993 г. А советы по защите докторских диссертаций в юридических, психологических и социологических науках вообще побили все рекорды, осчастливив в 2003 г. докторской степенью более чем в два раза больше претендентов на эту степень по сравнению с 1993 г. В то же время изменение числа докторов наук в физико-математических, химических, биологических, геолого-минералогических и даже в географических науках подчиняется общим закономерностям. Отсюда, в частности, следует: 1) аксиома IV появилась не на пустом месте; 2) не только физико-математические науки, но и любая из только что перечисленных наук могут фигурировать в качестве эталона в аксиоме II. Отметим также, что похожая закономерность в изменении числа докторов наук присутствует в технических и архитектурных науках. Если закон, по которому изменяется число докторов наук в естественных, географических, технических и архитектурных науках, распространить на всю науку, то резкий рост числа докторов наук в экономических, юридических, психологических и социологических науках выглядит неестественным, аномальным. Объяснить это, согласно аксиоме 1, можно увеличением числа квазинаучных диссертаций. А вот научные сообщества физиков, математиков, химиков, биологов, геологов, географов, технарей и архитекторов, в том числе и соответствующие специализированные советы по защите докторских диссертаций, несмотря на все катаклизмы, происходившие в России и в российской науке, сумели удержать планку научности в своих науках на очень высоком уровне, не доступном для имитаторов научной деятельности. Перемахнуть через эту планку они не в состоянии даже с шестом. Резкий рост числа докторских защит в гуманитарных науках при одновременном уменьшении этого числа в естественных и технических науках был замечен ВАК: 16 февраля 2005 г. Председатель ВАК, вице-президент РАН, академик Г.А. Месяц на очередном заседании Высшей аттестационной комиссии отметил, что «Количество защит имеет тенденцию к росту, но этот рост приходится в подавляющей части на гуманитарные отрасли наук, тогда как в фондоемких естественных и технических науках заметен спад числа защит. Такой перекос в структуре аттестуемых кадров высшей квалификации не приемлем для страны, стремящейся занять достойное место в современном высокотехнологичном мире» (Бюллетень ВАК Минобразования России. Хорошие слова, но было бы совсем замечательно, если бы они были подкреплены действиями, направленными на приостановку деятельности «фабрик звёзд», штампующих «народных докторов наук». Предлагаемые и принимаемые ВАК меры можно сравнить с небольшими дамбочками на пути бурного потока квазинауки, который легко сметает их, даже не заметив. Для сдерживания напора квазинауки, по-видимому, нужна мощная плотина в виде моратория года на три, а ещё лучше лет на пять, на присвоение учёных степеней в отраслях науки, резко выделяющихся массовым производством докторов наук. За время действия моратория соответствующие научные сообщества разберутся с положением вещей в своих хозяйствах, при этом часть квазинауки испарится, а часть выпадет в виде осадка на дно. После прекращения действия моратория в плотине можно будет открывать небольшие шлюзы. Описанный выше метод измерения научности (квазинаучности) научных направлений опирался на статистику защит докторских диссертаций. Для этих же целей можно использовать статистику кандидатских защит, а также статистику опубликованных научных работ и даже статистику появления новых научных изданий. При измерении научности (квазинаучности) можно вводить различные ограничения не только по временным промежуткам, но, например, по странам и регионам. 1. Бюллетень ВАК Минобразования Российской Федерации. Москва. 2005. № 5. 2. Атэстацыя. Мшск. 2000. № 1; 2001. № 1; 2002. № 1–2; 2003. № 1; 2004. № 1; 2005. № 2. |
||||||||||||||||||||
|