БИНАРНЫЕ СИСТЕМЫ

Количество информации обычно измеряется в битах (этот тер­мин происходит от англ. binary digit ‘двоичный знак’). Всякая еди­ница с вероятностью появления у содержит один бит информации;

всякая единица с вероятностью у несет 2 бита информации, и так

далее.

рифм 10 равен 1, логарифм 100 равен 2, логарифм 1000 равен 3 и т. д., т. е. log₁₀10=l,log₁₀100=2, log₁₀1000=3 и т. д. Если бы теория информации основывалась на десятичной, а не на двоичной системе измерения, то было бы удобнее определять единицу информации

в терминах вероятности Читателю должно быть ясно, что при­веденное здесь равенство N=x^m — это частный случай равенства N=p₁Xp₂Xpo, ..

Количество информации измеряется обычно в битах, просто потому, что многие механические системы для хранения и передачи информации действуют на основе бинарного принципа: это системы с двумя состояниями. Например, информацию можно закодировать на магнитной ленте (для обработки с помощью цифровой ЭВМ) как последовательность намагниченных и ненамагниченных позиций (или групп позиций): каждая позиция находится в одном из двух возможных состояний и может, таким образом, нести один бит ин­формации. Кроме того, информацию можно передавать (как, напри­мер, в азбуке Морзе) в виде последовательности «импульсов», каж­дый из которых принимает одно из двух значений: короткий или длинный по продолжительности, положительный или отрицатель­ный по электрическому заряду и т. п. Всякая система, использую­щая «алфавит», состоящий более чем из двух элементов, может быть перекодирована в бинарную систему у источника передачи и снова перекодирована в первоначальный «алфавит», когда сообщение полу­чено по месту назначения. Это имеет место, например, при передаче сообщений по телеграфу. То, что информационное содержание долж­но измеряться с помощью логарифмов с основанием 2, а не логариф­мов с каким-либо другим числовым основанием, есть следствие того факта, что инженеры связи обычно работают с системами с двумя состояниями. Что касается вопроса об уместности применения прин­ципа двоичного «кодирования» именно при исследовании языка в нормальных условиях «передачи» от говорящего к слушающему, то он вызывает значительные разногласия среди лингвистов. Не подле­жит сомнению, что многие наиболее важные фонологические, грам­матические и семантические различия бинарны, как мы увидим в по­следующих главах; мы уже видели, что один из двух членов бинар­ной оппозиции может рассматриваться как положительный, или мар­кированный, а другой — как нейтральный, или немаркированный (см.

Поскольку каждый двоичный знак несет только один бит инфор­мации, группа из т двоичных знаков может нести максимум т битов. До сих пор мы предполагали, что вероятности различаемых таким образом единиц высшего уровня равны. Теперь рассмотрим более интересный и более обычный случай, когда эти вероятности не рав­ны. Для простоты возьмем множество ИЗ трех единиц, а, Ь И Су со

следующими вероятностями: /%=у, р_ь=-j-> Р_с⁼’Единица а

несет 1 бит, a b и с несут по 2 бита информации каждая. Их можно закодировать в двоичной системе реализации, как а : 00, b : 01 и с : 10 (оставив 11 незанятым). Но если бы знаки передавались в последовательности по некоторому каналу связи и передача и полу­чение каждого знака занимали бы один и тот же отрезок времени, было бы неразумным принимать столь неэффективное условие коди­рования. Ведь для а требовалась бы такая же мощность канала, как для b и для с_у хотя оно несло бы вдвое меньше информации. Более экономичным было бы закодировать а с помощью одного знака, ска­жем 1, и отличать & и с от а, закодировав их противоположным зна­ком—0—в первой позиции;Ьис тогда отличались бы друг от друга во второй позиции контраста (которая, конечно, пуста для а). Итак, а:1,Ь:00ив:01. Это второе соглашение более экономичным образом использует пропускную способность канала, так как оно увеличивает до предела количество информации, которое несет каждая группа в один или два знака. Поскольку на передачу а, которое встречается вдвое чаще, чем Ьис, тратится вдвое меньше времени, данное реше­ние позволило бы в кратчайшее время передать наибольшее число сообщений (исходя из предположения, что эти сообщения достаточно длинны или достаточно многочисленны, чтобы отражать средние частоты появления).

2.4.5. ИЗБЫТОЧНОСТЬ И ШУМ

Этот теоретический идеал никогда не достигается на практике. Прежде всего вероятности появления единиц обыкновенно находятся

.1111 1 между величинами ряда 1, у, у, у, -у, . . а не соответ­ствуют им в точности. Например, вероятность появления отдельной единицы может быть равна у, поэтому она может передавать

log₂5— приблизительно 2,3 — бита информации. Но в субстанции не бывает различия, измеряемого числом 0,3; субстанциальные раз­личия абсолютны в поясненном выше смысле (см. §2.2.10). Если же мы используем три знака для отождествления единицы с вероят­ностью появления в у, мы тем самым введем избыточность в суб-

станциальную реализацию. (Среднюю избыточность системы можно сделать сколь угодно малой; математическая теория связи занимает­ся-главным образом этой задачей. Но нам здесь нет необходимости вдаваться в более специальные подробности.) Важным является то, что некоторая степень избыточности на самом деле желательна в любой системе связи. Причина состоит здесь в том, что, какая бы среда ни использовалась в целях передачи информации, она будет подвержена разнообразным непредсказуемым природным помехам, которые уничтожат или исказят часть сообщения и таким образом приведут к потере информации. Если бы система была свободна от избыточности, потеря информации была бы невосполнима. Инженеры связи обозначают случайные помехи в среде или канале связи терми­ном шумы. Оптимальная система для отдельного канала такова, что в ней ровно столько избыточности, сколько требуется, чтобы по­лучатель мог восстановить информацию, потерянную из-за шумов. Заметим, что термины «канал» и «шумы» следует толковать в самом общем смысле. Их применение не ограничивается акустическими системами и тем более системами, созданными инженерами (телефон, телевизор, телеграф и т.

2.4.6.