Глава первая ИСТОРИЧЕСКАЯ СПРАВКА

Термин "информация" пришел к нам из латинского языка (informatio), и обычно переводится как "представление", "понятие" (о чем-либо), "изложение", "сведения", "осведомление", "сообщение" и т. п. Термин этот интуитивно ясный, обладает широчайшим смысловым полем и поэтому столь же трудно поддается определению, как и его русские синонимы. В. В. Налимов [1] приводит несколько попыток определить понятие "информация", предпринятых разными авторами, ни одну из которых нельзя признать удавшейся. "Даже эта совсем небольшая подборка определений понятия "информация", – пишет он, показывает, сколь полиморфно по своему смысловому значению это слово. Здесь развитие полиморфизма связано прежде всего с тем, что ни одно из определений не отвечает нашим интуитивным представлениям о смысле этого слова. И всякая попытка определения приписывает этому слову совершенно новые черты, отнюдь не раскрывающие, а суживающие и тем самым затемняющие его смысл и уже безусловно увеличивающие семантический полиморфизм этого слова" (стр. 127). Это отражает саму специфику феномена, обозначаемого этим термином.

Определить понятие можно двумя способами – либо сведя его к более элементарным (фундаментальным), либо перечислив круг явлений, к нему относящихся. В основе обоих видов определения лежит возможность расчленить, подразделить смежные понятия или феномены, т. е. дискретность. Дискретность, как известно, фундаментальное свойство материального мира, т. е. мира вещей и энергии. Именно дискретность природных явлений составляет базу всех естественных наук. В случае информации дело обстоит иначе. Слагается ли информация из отдельных дискретных составляющих, или это непрерывный, точнее, – неразрывный поток, лишь искусственно расчлененный на отдельные сообщения или сведения? Ответить на этот вопрос мы не можем. Но, может быть, именно эта особенность информации отражает тот факт, как пишет Н. Винер [2], что "Информация есть информация, а не материя и не энергия" (стр. 201), т. е. не принадлежит миру вещей. Ниже мы еще не раз к этому будем возвращаться. Сейчас же важно понять, почему никто из упомянутых выше ученых, стоявших у истоков теории информации, не попытался дать строгого определения этого термина.

Так складывалась теория, объект которой не был определен. В науке впервые возникла ситуация, подобная той, которая характерна для древнееврейской религии: Бог имеет множество имен, но ни одно из них нельзя произносить вслух. В области религии это вполне допустимо. В науке же все идеи и направления постоянно дискутируются. Мы дадим главные идеи из разных областей, где может быть использован этот термин.

Возникновение классической теории информации было индуцировано развитием технических систем связи, призванных служить обмену информацией между людьми. Подчеркнем – технических систем, работа которых определяется законами физики, т. е. законами материального мира. Задача оптимизации работы таких систем требовала, прежде всего, решить вопрос о количестве информации, передаваемой по каналам связи. Поэтому вполне естественно, что первые шаги в этом направлении сделали сотрудники Bell Telephon Companie – X. Найквист, Р. Хартли и К. Шеннон [3].

В 1924 г. X. Найквист предложил измерять количество информации, приходящееся на одну букву текста, передаваемого по каналу связи, величиной Н-1/п, где п – число букв в используемом языке. Спустя четыре года Р. Хартли, исходя из требования аддитивности, в качестве такой меры начал применять логарифм этой величины, т. е. log(1/n). Двадцать лет спустя, в 1948 г., К. Шеннон для этой же цели ввел величину (6)

где H_i – количество информации, связанное с i-ой буквой алфавита, p_i – частота встречаемости этой буквы в данном языке, q - основание логарифмов, а k – коэффициент пропорциональности, величина которого зависит от q и от избранных единиц измерения количества информации; знак "минус" перед k поставлен для того, чтобы величина H_i всегда была положительной. Тогда суммарное количество информации для сообщения, состоящего из М букв, будет (7):

где m_i – число i-х букв в сообщении

К. Шеннон показал, что с увеличением длины сообщения М почти всегда будет иметь "типичный состав": (т_i/М ® р_i). Следовательно, (8)

В случае бинарного кода, когда n = 2, а р₁ = р₂ = 0.5, q=2 и k=1, количество информации Н_м становится равным М и выражается в так называемых бинарных единицах – битах.

Приведенные формулы послужили К. Шеннону основанием для исчисления пропускной способности каналов связи и энтропии источников сообщений, для улучшения методов кодирования и декодирования сообщений, для выбора помехоустойчивых кодов, а также для решения ряда других задач, связанных с оптимизацией работы технических систем связи. Совокупность этих представлений, названная К. Шенноном "математической теорией связи", и явилась основой классической теории информации.

Теперь обратим внимание на три характерные черты этой работы К. Шеннона. Во-первых, в ней отсутствует определение понятия "информация". Во-вторых, термин "количество информации" здесь используется как синоним статистических характеристик букв, составляющих сообщение. В-третьих, по отношению к источнику сообщений здесь применяется слово "энтропия". Черты эти, несущественные в контексте математической теории связи, оказали значительное влияние на судьбу теории информации.

Отсутствие определения понятия "информация" в работах К. Шеннона и его предшественников, по-видимому, довольно естественно – они в нем просто не нуждались. Ведь работы эти были посвящены не теории информации, а теории связи. То, что по каналам связи передают осмысленные сообщения, т. е. информацию, было очевидно, – ведь для этого их и создавали. Замечательной особенностью каналов связи является то, что по ним можно передавать любую информацию, пользуясь ограниченным числом сигналов или букв. При этом передают по каналам связи именно буквы, сигналы, а не информацию как таковую. Объекты передачи, следовательно, имеют материальную, физическую природу – обычно это модуляции напряженности электрического тока. Ответа требовал не вопрос "Что такое информация?", а вопрос "Какое количество информации можно передать в единицу времени, пользуясь данным набором сигналов?". Предложенное К. Шенноном определение "количества информации" (6) хорошо согласовывалось с дискретной[1] природой сигналов, обычно передаваемых по каналам связи. И в то же время, такая мера "количества информации" создавала ощущение, не встречающее сопротивления на психологическом уровне, что чем реже происходит данное событие – появление данного сигнала на выходе канала связи, тем больше это событие "несет с собой" информации.

Со всем этим можно было бы вполне согласиться, если бы не одно обстоятельство: отдельные сигналы или буквы, передаваемые по каналам связи, сами по себе не несут той информации, для обмена которой существуют системы связи. Информацию содержат лишь сочетания сигналов или букв, причем отнюдь не любые, а лишь осмысленные, наполненные определенным содержанием. Введение единой меры количества информации, содержащейся в сообщениях, меры, не зависящей от их семантики, как будто бы блестяще решало задачу соизмеримости бесконечного количества возможных различающихся по смыслу сообщений. И в то же время введение такой меры создавало видимость дробления, квантируемости информации, видимость возможности оценивать ее количество как сумму элементарных количеств информации, связанных с каждой отдельной буквой содержащего ее сообщения.

Напомним, что ко времени выхода в свет работы К. Шеннона [3] научная общественность была уже подготовлена к ее восприятию. Зарождавшаяся тогда же кибернетика, или "наука об управлении и связи в животном и машине" [2], уже использовала термин "информация" для обозначения тех сигналов, которыми могут обмениваться между собой люди или животные, человек и машина, или сигналов, воспринимаемых животными или машиной с помощью специальных рецепторов из окружающей среды с целью оптимизировать свое "поведение". Уже был пущен в оборот термин "генетическая информация" [4]. Бурное развитие самых разных технических систем связи (телеграфа, телефона, радио, телевидения) остро нуждалось в ограничении присущего понятию "информация" полиморфизма в целях разработки все более совершенных методов ее передачи, приема и хранения. Всем этим запросам, казалось, прекрасно соответствовала шенноновская концепция количества информации.

Однако надо ясно представить себе, что, не давая определения понятию "информация" и в то же время называя "количеством информации" частотную характеристику букв кода, К. Шеннон как бы создавал возможность для отождествления двух совершенно разных по своей природе феноменов информации как семантики сообщения и "информации" как частоты осуществления какого-либо события. Это делало возможной подмену терминов, что и было быстро реализовано. Уже через несколько лет французский физик Л. Бриллюэн [5,6] в качестве основного достоинства новой теории называл отождествление информации с величиной, обратной частоте осуществления какого-либо события. Термин "информация" в указанном выше смысле окончательно слился с термином "количество информации".

Формула К. Шеннона (6) по структуре своей подобна формуле, предложенной Л. Больцманом для выражения количества энтропии. Это формальное сходство послужило К. Шеннону поводом называть "энтропией", по аналогии с физической энтропией, свойство источника сообщений порождать в единицу времени то или иное число сигналов на выходе, а "энтропией сообщения" – частотную характеристику самих сообщений, выражаемую формулами (6) и (7).

Кажущаяся простота предложенного К. Шенноном решения проблемы измерения количества информации создавала видимость столь же легкого решения и других связанных с использованием термина "информации" проблем. Это и породило ту эйфорию, ту шумиху вокруг зарождающейся теории информации, характерную для пятидесятых годов, которую одним из первых заметил сам К. Шеннон и против которой было направлено его провидческое эссе "Бандвагон" [7].

Своей зрелости классическая теория информации достигла к середине пятидесятых годов. Главная причина столь быстрого "созревания" – простота и элегантность ее математического аппарата, опирающегося на теорию вероятности.

Отсутствие строгого определения понятия "информация" создавало впечатление, что объектом теории информации является нечто, имеющее мало общего с тем, что называют информацией в обыденной жизни. Действительно, если "в быту" доминирует содержательная, смысловая сторона информации, то здесь семантика информации вообще не рассматривалась. Представление об энтропии сообщений, развитое К. Шенноном и вскоре дополненное другими авторами (см. напр. [8-10]), как бы открывало возможность для отождествления понятия "информация" с понятиями "разнообразие" и "термодинамическая энтропия". Это порождало соблазн распространения классической теории информации далеко за пределы теории связи, в том числе на явления неживой и живой природы и даже на различные области искусства [11-13].

Два утверждения характерны для классической теории информации периода зрелости. Первое это постулирование "всюдности" информации. Второе утверждение – это то, что мерой количества информации, связанной с тем или иным объектом или явлением, может служить редкость его встречаемости или сложность его структуры. Эти утверждения можно назвать постулатами классической теории.

Указанные постулаты, а также следствия из них, наиболее полно были изложены Л. Бриллюэном в его книгах [5, 6]. Прежде всего, за универсальную меру количества информации Л. Бриллюэн принял величину I = klnP, где Р - вероятность осуществления некоторого события или "сложность устройства" какого-либо объекта, k - постоянная, величина которой зависит от выбора системы единиц измерения, a ln - натуральный логарифм. Далее Л. Бриллюэн обратил особое внимание на сходство указанной формулы с формулой Л. Больцмана для исчисления количества энтропии S = klnW, где W - число микросостояний некоторой системы, соответствующей ее макросостоянию, а k - "постоянная Больцмана", равная 1,4·10^-16 эрг-град^-1 или 3,3·10^-24 энтропийных единиц (1 э.е. = 1 кал'град^-1). Отсюда Л. Бриллюэн сделал вывод, что, приняв k = 3,3·10^-24 э.е., мы получим возможность выражать количество информации в энтропийных единицах (1 бит = 2,3·10^-24 э.е.), а величину энтропии, напротив, в единицах информационных (1 э.е. = 4,3·10²³ бит). Затем он сделал последний шаг в построении "негэнтропииного принципа": сформулировал утверждение, согласно которому информация – это не что иное, как энтропия с обратным знаком, или негэнтропия.

Используя вероятностный подход, мы проведем следующие рассуждения. Пусть физическая система имеет W возможных состояний. Увеличение информации о ней, что было бы эквивалентно фиксации в определенном состоянии, приведет к уменьшению энтропии системы. Другими словами, (9)

I + S = const.

Чем больше известно о системе, тем меньше ее энтропия. Важно еще одно обстоятельство. Утрачивая информацию, мы увеличиваем энтропию системы. Увеличивать информацию о системе мы можем, лишь увеличивая количество энтропии вне этой системы, во внешней среде, причем всегда

Формула Шеннона для определения количества информации (2) и формула Больцмана S = lnW для случая, когда вероятности отдельных состояний системы различаются (3), формально совпадают. Мы замечали, что они имеют совершенно различный смысл: информация (2) соответствует одному единственному состоянию системы из всех возможных W, мера этой информации I = lnW. Энтропия (3) соответствует возможности нахождения системы с некоторой вероятностью I/W в каждом из доступных состояний. Информация (2) и энтропия (3) оказались равны между собой, потому, что I соответствует максимальной информации одного единственного состояния, а 5 определена по множеству всех состояний.

В замкнутой системе (возьмем, например, текст) увеличение энтропии приводит к "забыванию" информации, и мы приходим к соотношению I + S = const. В соответствии со вторым законом термодинамики энтропия замкнутой системы не может убывать со временем. Поэтому в замкнутых системах соотношение (9) может сдвигаться только к забыванию информации. Это означает, что рождение новой информации требует выхода за пределы изолированной системы.

Мы рассмотрели соотношение I + S = const с точки зрения второго закона термодинамики. Формулу Шеннона можно было бы назвать "физической информацией". Колмогоров [15] ввел понятие "алгоритмической информации". Алгоритмическую информацию можно рассматривать как меру алгоритмической хаотичности. Алгоритмическая информация практически совпадает с информацией по Шеннону.

Поясним эти понятия и их соотношение на двух примерах из живого мира. Предположим, что мы хотим определить радиочувствительность клеток популяции дрожжей. Мы ставим эксперимент: делаем суспензию клеток, облучаем ее, высеваем клетки на чашки Петри с питательной средой, затем определяем радиочувствительность клеток по числу выросших колоний. В ходе этого эксперимента мы заставляем геном клеток дрожжей работать по определенной схеме, одной единственной для каждой клетки. Тем самым мы выбираем и фиксируем одно единственное состояние из всех возможных. Этот эксперимент, который выявляет реакцию данных клеток на облучение, сводит все возможные состояния макромолекул, характеризующиеся некой максимальной энтропией, к одному единственному. Он может быть проведен за счет внешних ресурсов (питательной среды, источника облучения, работы лаборанта и т. д.). Второй пример – завоевание электората перед выборами. Хаотичные настроения толпы, характеризующиеся максимальной энтропией в обычное время, после агитации средствами массовой информации (накачивание внешней 7) перед выборами сменяются крайней политизацией. После выборов определяется количество проголосовавших за того или иного кандидата – поведение электората соответствует максимуму "информированности" о том или ином кандидате, какое-то количество неголосовавших составляет инертную константу.

Кратко резюмируя изложенное, можно заключить, что рождение новой информации всегда происходит в открытых системах, где параметры порядка становятся динамическими переменными.

В следующем параграфе мы рассмотрим системы с диссипацией избыточной внутренней энтропии.

Пусть будет некоторая открытая система, из которой постоянно удаляется шлак избыточной энтропии за счет роста энтропии внешней среды. Эта система является "диссипативной структурой". Пригожий с сотрудниками [16, 17] показали, что диссипативными структурами будут являться все разнообразные колебательные, пространственно организованные и пространственно-временные упорядоченные системы.

Для возникновения диссипативных структур необходимы следующие условия:

1. система должна быть открытой и находиться вдали от термодинамического равновесия;

2. в системе должны протекать различные каталитические и кросс-каталитические процессы, а также наблюдаться регуляция по типу обратной связи;

3. после некоторого критического значения параметров системы или какого-либо внешнего воздействия состояние системы становится неустойчивым и система может перейти в новое стационарное состояние, режим которого соответствует упорядоченному состоянию.

Под влиянием флуктуации отдельные элементы системы, взаимодействуя, обнаруживают свойства, характеризующие систему в целом, которые невозможно предсказать на основании свойств ее отдельных элементов. Такие структуры хорошо описываются нелинейными дифференциальными уравнениями. Примеры диссипативных структур можно взять из разных областей – физики, химии, биологии.

Одной из давно известных таких самоорганизующихся структур является реакция Белоусова-Жаботинского [18, 19]. Бросается в глаза большое число промежуточных соединений системы, которые соответствуют такому же числу дифференциальных уравнений. Для каждого из этих уравнений константа скорости должна быть получена из эксперимента. Один из этапов реакции является автокаталитическим.

В 1971 г. М. Эйген [20] сформулировал последовательную концепцию предбиологической молекулярной эволюции. Эйген распространил идеи дарвиновского отбора на популяции макромолекул в первичном бульоне. Далее он показал, что кооперирование молекул в "гиперциклы" приводит к компартментализации в виде отдельных клеточных единиц. Гиперцикл – это средство объединения самовоспроизводящихся единиц в новую устойчивую систему, способную к эволюции. Он построен из автокатализаторов, которые сочленены посредством циклического катализа, т. е. посредством еще одного автокатализа, наложенного на систему.

Дарвиновский отбор, являющийся предпосылкой для возникновения гиперциклов, на молекулярном уровне может иметь место в системах, обладающих следующими свойствами:

1. метаболизмом – система должна быть далеко от равновесия. Образование и разложение молекулярных видов должны быть независимы. Отбор должен действовать только на промежуточные состояния, которые образуются из высокоэнергетических предшественников и разрушаются в низкоэнергетические отходы. Система должна использовать освободившуюся энергию и вещества;

2. самовоспроизведением – способностью инструктировать свой собственный синтез;

3. мутабилъностью, которая всегда сопутствует самовоспроизведению. Ошибки копирования – основной источник новой информации. Образование и отшлифовка эйгеновских гиперциклов привели к созданию аппарата трансляции. Образование вслед за этим клеточной мембраны завершило предбиологический период эволюции.

Вернемся снова к формуле Шеннона (6) и проанализируем текст "Завтра будет буря". Действительно, осмысленность или информация текста "Завтра будет буря" очевидна. Достаточно, однако, сохранив все элементы (буквы) этого сообщения, переставить их случайным образом, например, "рдеа Звубуб траяи", как оно утратит всякий смысл. Но бессмысленной информации не бывает. Согласно же формуле (7) оба предложения содержат одинаковое "количество информации". О какой же информации здесь идет речь? Или, вообще, можно ли говорить об информации по отношению к разрозненным элементам сообщения?..

Очевидно, отдельные элементы сообщения можно назвать "информацией" лишь при условии, если перестать связывать информацию с осмысленностью, т. е. с содержательностью. Но тогда это бессодержательное нечто вряд ли стоит называть "информацией", вкладывая в первичный термин несвойственный ему смысл. Учитывая, однако, что элементы сообщения реально используются для составления осмысленных текстов, содержащих информацию, эти элементы (буквы, сигналы, звуки) удобнее трактовать как информационную тару, которая может содержать информацию, а может быть и бессодержательной, пустой [21]. Очевидно, что емкость тары зависит от того, заполнена ли она и чем она заполнена. Поэтому частотную характеристику элементов сообщения

лучше называть не "количеством информации", а "емкостью информационной тары". Это, кстати, хорошо согласуется с формулой К. Шеннона (7), по которой "количество информации" в данном сообщении не зависит от порядка следования составляющих его букв, а только от их числа и частотных характеристик.

Однако здесь резонно возникает вопрос, насколько обоснованно считать

емкостью i-го элемента информационной тары? Судя по работе [3], такой способ измерения количества информации введен скорее из соображений удобств. Коэффициент k здесь играет подсобную роль – его величина зависит от выбора единицы измерения количества информации (или емкости тары) и основания логарифма. Как мы уже отмечали, если за такую единицу принять бит, т. е. информационную емкость одного элемента стандартного бинарного кода, когда р₁ = р₂ = 0.5, а за основание логарифмов "2", то k=1, и тогда формула (7) приобретет вид Н_м = М. В общем же случае эту формулу можно записать как (1), что по смыслу своему представляет собой не что иное, как расчет числа букв бинарного кода, требующегося для записи данного сообщения. При такой интерпретации выбор единицы измерения емкости тары и способа определения этой емкости приобретает обычное звучание, – но, конечно, лишь при условии максимальной компактности кода (когда реже встречающиеся в языке символы заменяются большим числом букв бинарного кода, чем чаще встречающиеся) и только в пределах данного разговорного языка. Сохранится ли это правило перехода от одного кода к другому для разных разговорных языков? А также от одного языка к другому?

Заметим, однако, два обстоятельства в данном примере текста "Завтра будет буря". Первое – текст понятен русскому, но является "китайской грамотой" для китайца. Это говорит о том, что каждый раз, когда мы говорим о семантике, необходимо иметь в виду семантическое родство сообщения и воспринимающей системы.

Второе обстоятельство касается того, что текст – замкнутая система.

Перейдем к открытым динамическим системам. Как мы уже отмечали, в таких системах будут возникать параметры порядка, именно они станут "семантикой информации", адекватной внешней среде. На основании этой новой информации будет идти естественный отбор на выживание этих организованных систем. Дарвиновский отбор накладывает ограничения на объекты всех уровней – физические, химические, биологические и другие [22]. В биологических системах первым уровнем дарвиновского отбора является генетический отбор. В этой монографии мы будем рассматривать биологические системы, начиная с генетической – живой клетки.