CJflt

Для центрального лепестка максимум С„(0) равен площади импульса ивти, а для боковых лепестков имеет значения, затухающие по закону mhV(v + 1/2)я.

Фазовая характеристика комплексного спектра фи(0 равна нулю для центрального лепестка и принимает значения vw (v = ±1, ±2,...) для боковых лепестков. Сплошными линиями для / > О (рис. 5.4) показана амплитудная характеристика одностороннего (действительного) спектра прямоугольного видеоимпульса, соответствующая его разложению по базисным функциям cos 2л/*/.

Амплитудно-частотная характеристика Сфопт(/) фильтра, согласованного со спектром прямоугольного видеоимульса, должна воспроизводить функцию Cm(t\ приведенную на рис. 5.4, а фазочастотная характеристика ффоот(/) должна отличаться лишь знаком от фж(/). Строгая реализация такой передаточной функции практически невозможна. Обычно ограничиваются согласованием (и то приближенным) передаточной функции фильтра с центральным лепестком спектра, в котором сосредоточена основная часть энергии сигнала. Такой фильтр должен иметь амплитудно-частотную характеристику, близкую к форме центрального лепестка спектра, а фазочастотную характеристику, близкую к нулю.

Определим теперь передаточную функцию линейного фильтра, согласованного со спектром прямоугольного радиоимпульса. Сигнал ирн(г), представляющий прямоугольный радиоимпульс амплитуды иш может быть представлен в комплексной форме:

Зп 2п 1 *

. I

. I

Г

О

к

-Зп Рис 5.4

с

[е' + е-] при -Тн/2т/2, О при \t\>xJ2-.

(5.52)

Комплексный спектр такого сигнала имеет вид

= у {S~[<f-fo)}+Uf+A)]}

(5.53)

Комплексный спектр (5.53) состоит из двух симметричных относительно точки /= 0 участков, получающихся смещением по оси частот спектра прямоугольного видеоимпульса в обе стороны на величину несущей частоты радиоимпульса/0 (штриховые линии на рис. 5.5). Односторонний гармонический спектр радиоимпульса (на рис. 5.5 он показан сплошными линиями) состоит из двух симметрично расположенных относительно несущей частоты /о частей (боковых полос), повторяющихся по форме односторонний спектр видеоимпульса.

о

Рис 5.5

Аналогично связаны между собой и передаточные функции линейных фильтров, согласованных с видеоимпульсом и радиоимпульсом. Для радиоимпульса обычно также ограничиваются согласованием передаточной функции фильтра с центральным лепестком спектра, занимающим полосу ±1/хи около несущей частоты /о (ширина полосы фильтра для радиоимпульса вдвое больше, чем для видеоимпульса той же длительности).

В качестве третьего примера рассмотрим согласованный фильтр для широкополосного сигнала типа ФМПС, уже приводившегося в § 4.6. В соответствии с (4.6) этот сигнал может быть записан в виде:

M0=fcos[2 + W-l)f] приОГ, (554)

[ 0 при t<0 и />7\

где di - символы m-последовательности, принимающие значения +1 или -1; Т- длительность ФМПС.

Комплексный спектр сигнала (5.54) можно представить в виде:

= у ехр {; Wo* + Ш - 1) у]} ехр (-]2тф dt +

+ у Jexp -yj2jE/or + {dl{ty l)J}exp(-itf)* = = y S{p{-y[-W-Oy +2n<f-№ } x

и

x Jexp [-flvif-fo) (t-ti)] A+exp {-J [(4- +

+ 2я#+/0) tii} J exp [-y2 y+/0) (/ - to)} dt L , (5.55)

где t( = h\ 1 - шаг манипуляции фазы в ФМПС.

Спектр (5.55) представлен в виде суммы спектров, примыкающих друг к другу N элементарных радиоимпульсов длительностью То на которые может быть разбит ФМПС. Полагая для простоты шаг Хо фазовой манипуляции кратным периоду несущей частоты и ехр(-у2я/Ь/;) =1 и вводя новую переменную интегрирования г - г, = Л получаем

&*сф=± I exp-y[2-W~l)-]J

* iя Г Г

х fexpI-yW-Zo + i ]£expJ-y 2*fc +

+ M -1) y]} J exp [-у2яа+/0)П . (5.56)

О

Передаточная функция линейного фильтра, согласованного с ФМПС, имеет вид: пС(/) = пс(0ехрН2т^ь) =

= уХехр{[2о- )-И-1)у] ехр[у2-/0)П^ +

+ \ ХехР { > [2* о - + W - 1) у]} J ехр [j2x(f+fo)n df. (5.57)

Согласованный фильтр с передаточной функцией вида (5.57) можно представить в виде двух последовательно включенных линейных цепей. Первая из них осуществляет задержку элементарного радиоимпульса, поступающего на вход фильтра в момент /,-, на время to - г,- и снимает манипуляцию фазы его высокочастотного заполнения, имевшую место при формировании ФМПС. В момент to на выходе этой цепи все элементарные импульсы оказываются совмещенными, а их высокочастотное заполнение суммируется по амплитуде, в результате чего формируется суммарный радиоимпульс длительностью То- Вторая цепь представляет линейный фильтр, согласованный с этим радиоимпульсом.

Такой двухзвенный фильтр может быть реализован с использованием широкополосной линии задержки с малым затуханием и общим временем задержки Го, равным периоду m-последовательности Г, и последовательно соединенного с ней фильтра, согласованного с радиоимпульсом длительностью То (рис 5.6). При этом требуемая задержка элементарных радиоимпульсов, составляющих ФМПС, обеспечивается выбором отводов с линии задержки с шагом, равным То, а компенсация фазовой манипуляции - соответствующим выбором полярности трансформаторов, используемых для съема сигналов с отводов линии на сумматор.

Широкополосная линия задержки

Сумматор

um(t)

Фильтр согласованный с радиоимпульсом длительностью То Рис. 5.6

Рассмотрим в качестве исходного момент, когда символ d\ достиг конца широкополосной линии задержки, а символ dN поступил на ее вход. Пусть именно для этого положения сигнала полярности трансформаторов согласованы с законом фазовой манипуляции ФМПС. Тогда в этот момент времени элементарные сигналы, снимаемые с отводов линии задержки, будут суммироваться на выходной нагрузке по амплитуде. Бели длительность сигнала составляет несколько периодов m-последовательности, то такая картина будет повторяться через каждый ее период. При смещении же сигнала проходящего через линию задержки, относительно исходного положения на интервал, некратный №io, в соответствии со свойствами m-последовательности (см. § 5.4) для (N-\)/2 отводов сохранится та же полярность сигнала, что и при исходном положении, а для других (N +1)/2 отводов полярность изменится на я. В результате компенсации элементарных радиоимпульсов с противофазными сигналами амплитуда сигнала на выходе линии задержки уменьшится в N раз, а его фаза изменится на я. Таким образом, выходной сигнал повторяет форму корреляционной функции ФМПС, приведенную на рис. 4.9, что подтверждает эквивалентность согласованного фильтра коррелятору. Сформированный на выходе линии задержки радиоимпульс поступает на согласованный с ним фильтр, обеспечивающий максимальное значение отношения сигнал/шум на его выходе.

Не следует забывать, что вывод об эквивалентности применения корреляционного приемника и согласованного фильтра справедлив только по отношению к задаче оптимального выделения сигнала на фоне белого шума. При реализации же систем, решающих определенные технические задачи, эти два варианта отнюдь не эквивалентны и выбор может быть сделан в каждом отдельном случае с учетом конкретных требований к системе, к числу которых относятся требования к времени поиска сигнала, к защищенности системы от организованных или внутрисистемных помех (возможности изменения формы сигнала), сложность технической реализации устройства при выбранной форме сигнала.

По времени поиска выигрыш дает согласованный фильтр, который всегда готов к приему сигнала данной формы. Эталонный сигнал отображен в его передаточной функции. Выходной сигнал согласованного фильтра воспроизводит непрерывный ряд значений корреляционного интеграла, отвечающих отрезкам входного сигнала длительностью Г, предшествующим моменту отсчета, а момент поступления в фильтр участка сигна-ла,совпадающего по форме с эталоном, фиксируется максимальным всплеском выходного сигнала. В корреляционных одноканальных приемниках требуется определенное время на поиск задержки местного сигнала, обеспечивающей максимум его корреляции с принимаемым сигналом. Однако при этом следует сделать две оговорки: 1) это преимущество согласованных фильтров не относится к поиску сигнала по частоте; при смещении средней частоты спектра согласованный фильтр, рассчитанный на заданный спектр сигнала, требует точно такого же поиска по частоте, как и корреляционный приемник; 2) если для повышения помехозащищенности используется временное стробирование выходного сигнала согласованного фильтра, требуется и поиск по времени задержки, только в этом случае вместо задержки местного сигнала осуществляется задержка строба, представляющая более простую задачу.

По помехозащищенности от организованных помех в случае, если на выходе согласованного фильтра вводится временное стробирование, обе схемы практически равноценны. При этом после захвата сигнала в обоих случаях для эффективного воздействия на канал помеха должна не только воспроизводить форму, но и соответствовать полезному сигналу по временной задержке. При вхождении же в связь в обоих случаях может быть захвачена помеха, воспроизводящая форму сигнала, но не его задержку.

По возможности технической реализации иногда проще согласованный фильтр, иногда - корреляционный приемник. Так, например, при использовании ФМПС с малыми значениями базы сигнала более простым может оказаться согласованный фильтр; при больших же значениях базы, когда следует использовать широкополосные линии задержки с большим временем задержки и большим числом отводов, проще корреляционный приемник.

Наконец, в тех случаях, когда требуется гибкость системы (в смысле возможности изменения формы сигнала в процессе ее эксплуатации), предпочтение отдается корреляционным приемникам, особенно при применении ФМПС.

Следует отметить, что при сравнении согласованных фильтров и корреляционных приемников имелись в виду аналоговые фильтры. При использовании дискретной техники с применением цифровых ЭВМ для обработки информации (цифровые фильтры) различие между согласованными фильтрами и корреляционными приемниками стирается.

Глава 6

КОЛИЧЕСТВЕННОЕ ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ И ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ

6.1. Количественное определение информации, содержащейся в сообщении

Задачей любого канала связи является передача на расстояние информации, т.е. совокупности сведений о каком-либо событии, процессе, состоянии и т.п. Совокупность сведений, подлежащих передаче, представленная в виде соответствующей последовательности символов, называется сообщением. Объект, к которому относятся эти сведения, будем называть источником сообщения.

Количественная мера информации, содержащейся в сообщении, должна характеризовать степень уменьшения неопределенности наших представлений о состоянии источника сообщений после получения данного сообщения. Такая мера была введена основоположником современной теории информации известным американским ученым К. Шенноном [24].

Рассмотрим сначала вопрос о количественной мере информации применительно к источникам дискретных сообщений. Пусть источник дискретных сообщений выдает последовательность элементарных сообщений {д,}, каждое из которых соответствует одному из возможных текущих его состояний. Совокупность элементарных сообщений аь #2,ат, отвечающих возможным состояниям источника, называется алфавитом, а число т различных элементарных сообщений - объемом алфавита источника. При передаче текста - это обычный алфавит данного языка; при передаче команд - перечень возможных команд; при передаче цифровых кодов - символы принятой системы счисления; при передаче сообщения о состоянии системы - перечень возможных состояний системы или ее составных частей и т.д. В дальнейшем для краткости элементарные сообщения будем называть символами. В случае, когда для передачи отдельных символов используется сложная кодовая последовательность, элементы

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И ИДЕАЛЬНОЕ КОДИРОВАНИЕ

последней, в отличие от символов алфавита, будем называть элементарными символами.

Рассмотрим сначала случай достоверного приема сообщения, когда после получения символа ах состояние источника сообщений на момент передачи этого символа определяется однозначно. Информация, доставляемая символом а, будет тем больше, чем неожиданнее для получателя оказалось соответствующее состояние источника сообщений. Если по априорной информации (включая и информацию, доставленную предшествующими символами) получателю было достоверно известно, что в момент передачи данного символа источник находился в состоянии а„ т.е. априорная вероятность этого состояния равна единице, то получение символа а,- не дает получателю никакой дополнительной информации. Если эта вероятность отлична от единицы, но близка к ней, то получение символа щ несущественно уточняет наши представления о состоянии источника сообщений и вносит мало информации. Чем меньше априорная вероятность состояния а, тем большую информацию вносит получение символа щ. Поэтому можно считать, что количественная мера информации, которую несет символ д„ должна быть функцией априорной вероятности Р/ того, что источник в момент его передачи находился в состоянии а,:

J(ad = q>(Pi), (6.1)

где Р, = Р (a\aflk ) - условная вероятность получения символа at после поступления конкретной совокупности символов aJ9 ак, ... . Для упрощения записи мы используем обозначение Р„ однако следует помнить, что это условная вероятность, зависящая не только от общих свойств источника сообщений, но и от конкретных значений переданных ранее символов.

Определим вид функции ф(Р,), потребовав, чтобы количество информации, помимо отмеченного условия

J(a,) = <p(l) = 0 при Р,=1, (6.2)

удовлетворяло бы епте условию аддитивности, отвечающему нашим интуитивным предегавлениям об этой мере [17]. Последнее означает, что при последовательной передаче символов а, и щ количество информации, вносимое этой парой символов, равно сумме количеств информации, вносимого символом а, и добавляемого символом а/.

ф [Р (ai9 aj)] = ф (Р/Р,) = ф (Рд + ф (Р,) ;

(6.3)

где Р (a,-, aj) - условная вероятность поступления пары символов д, после приема конкретной последовательности предшествовавших им символов: Pj = Р (a/la,-,...) - условная вероятность поступления символа а;, если перед этим был принят символ а,- и та же последовательность предшествовавших ему символов.

Продифференцировав (6.3) по Р, имеем

Р,ф'(Р/Ру) = фШ, а умножив обе части на Р/ получим

PiPj<p(PiPj) = Pi<p(Pi). (6.4)

Равенство (6.4) должно выполняться при произвольных значениях Р, и Р/Р/, что означает инвариантность обеих его частей к значениям аргумента функции ф:

PiPjV(PiPj) = Р,ф'(Р/) = const = к, (6.5)

ф(Р|) = Л1пР/ + С. (6.6)

Из условия ф (1) = 0 получим, что произвольная постоянная С = 0 и, следовательно,

(a/) = JtlnP,.. (6.7)

Масштабный коэффициент к зависит от выбора единицы измерения количества информации.

Примем за единицу количество информации, содержащееся в сообщении о том, что произошло одно из двух равновероятных независимых событий (такая единица количества информации называется двоичной). Тогда получим

к In 1 = 1; Jt = ln-1l = -ln ,2 2 2

и соответственно

J(ad = - 1пР(Лп2 = - log2P,. (6.8)

Свойство аддитивности позволяет на основании формулы (6.8) для информации, переносимой одним символом, определить количество информации, содержащейся в любом сколь угодно длинном сообщении:

J(ah ah ..aiq) = - £ log2P,v, (6.9)

где Piv - условная вероятность того, что v-м по порядку в сообщении (при данной совокупности предшествующих символов) будет символ aiv. В принятых здесь обозначениях индекс v определяет положение (порядковый номер) символа aiv в сообщении; индекс tv принимающий одно из значений в пределах от 1 до т, определяет конкретный выбор этого символа.

6.2. Информационные характеристики источников дискретных сообщений

Формулы (6.8) и (6.9) определяют количество информации, переносимой при достоверном приеме отдельным символом или группой символов в конкретной реализации сообщения. Количество информации выступает здесь как случайная величина, характеризующая конкретные реализации сообщений. Нас же интересуют общие статистические свойства информации, поступающей от данного источника сообщений.

В качестве общей количественной характеристики информации, поступающей от конкретного источника сообщения А, в задачах связи удобно использовать простейшую числовую вероятностную характеристику - математическое ожидание случайной величины */(а,), представляющую среднее количество информации J(A), приходящейся на один символ данного источника сообщений (последний полагается стационарным). Это оправдывается тем, что в задачах связи, как правило, оптимизируются именно среднее количество и средняя достоверность передачи информации по каналу за достаточно длительные интервалы времени. Случайные отклонения от среднего значения количества информации, переданного за конкретный интервал времени, не учитываемые этой характеристикой, могут иметь значение лишь в радиолиниях с особо жесткими допусками на запаздывание передачи информации. Только в этих специальных случаях, которые мы не будем рассматривать, величина J(A) может оказаться недостаточно полной статистической характеристикой сообщений, поступающих от источника А.

В общем случае, когда условная вероятность Piq появления символа aiq зависит от состава предшествующих (q -1) символов, осреднение при определении математического ожидания должно производиться по всем возможным сочетаниям из q символов:

ПА) = -X ... X Р to., а* aiq) \og2Piq, (6.10)

где Р (я , д,2,aiq) - совместная вероятность появления последовательности символов atl, aiv ...; aiq - условная вероятность появления символа aiq после получения символов я , ...,а|д.,. В частности, если вероятность появления очередного символа а, зависит только от вероятности появления предыдущего символа aJ9 формула (6.10) принимает вид:

т т

*Ю=- X X р ai> iog2P(4v)=

/=1 j=\ т т

= -ЦРЦ) {afa> log2P(4*;) (6.11)

В простейшем случае, когда символы независимы,получаем

т т

НА) = X = ~Х Pi 1°82Р, (6.12)

1=1 1=1

Величины, стоящие в правых частях выражений (6.10)-(6.12), зависят только от вероятностных характеристик источника сообщений. Они определяют среднюю неопределенность очередного состояния источника и носят название информационной энтропии источника сообщений на один символ или, сокращенно, энтропии источника сообщений. Будем обозначать ее Я (Л).

До сих пор мы рассматривали случай достоверной передачи символов сообщения. В этом случае апостериорная (после получения символа) неопределенность состояния источника сообщений отсутствует и количество информации, доставляемое в среднем одним символом, равно информационной энтропии источника сообщений:

ИА) = Н(А). (6.13)

В дальнейшем, во избежание громоздкости записи условно будем использовать простейшую форму представления энтропии, соответствующую независимым символам источника сообщений:

H(A) = -fdPilog2Pit

имея в виду, что более общий случай отличается лишь формой осреднения.

Если в канале передачи информации возможны искажения символов (канал с помехами), то условие (6.13) уже не соблюдается. В этом случае текущее состояние источника сообщения после приема очередного символа а)

определяется не достоверно, а характеризуется некоторым законом распределения Р (ai\aj). Соответственно апостериорная (после приема символа aj) энтропия источника сообщений отлична от нуля и количество информации, приходящееся в среднем на один принятый символ, характеризуемое достигнутым уменьшением энтропии источника,

J(A) = H(A)-H(A)p)9 (6.14)

где Я (А|А') - апостериорная энтропия источника А после приема очередного символа искаженного помехами сообщения А'. Характер зависимости величины Я (А|А') от вероятностей искажения символов будет рассмотрен в § 7.2.

Покажем, что максимум информационной энтропии источника сообщений достигается в случае, когда Р, = 1/т, т.е. когда источник характеризуется равной вероятностью и независимостью выбора символов щ алфавита. Найдем условный экстремум величины

Я(А) = -ХЛ1оё2Л (6.15)

при условии

£р,= 1. (6.16)

Для этого воспользуемся методом неопределенного множителя Лагранжа [38], позволяющим свести задачу определения условного экстремума функции f(xu х2, ...,*m) = 0 при условии ф (хи хъ ..., хт) - О к определению безусловного экстремума функции

F(*b*2, ...,xmjX)=f(xux2, ...,*m) + tap(xbX2, ...,*m) (6.17)

Применяя этот метод для определения максимума выражения (6.15) при условии (6.16), сводим задачу к определению максимума функции вида:

т г т -

Р(РьР2,...,РмЛ) = -£Р/1оё2Р/ + >- ,

/=i Li=i J

т.е. к выполнению условий

rF(P/,P2,...,Pm,X) = -log2PP/ i-+b = 0

ЭР; Л1П2

ИЛИ

log2P/ = X - ln 12 = const,

откуда Pi = const = 1/m. Подставив это значение в (6.15), получим:

ЯщаЛЛ) = ~т - log2 1 = I6g2m . (6.18)

т т

Заметим, что одинаковая вероятность поступления любого из символов алфавита при передаче сообщения предполагает отсутствие корреляции между ними, ибо, по определению Р, представляет условную вероятность, учитывающую конкретные значения предшествующих символов. Естественно, что при наличии корреляции между символами значение Р,-зависит от конкретных значений предшествовавших символов сообщения и условие Pi = const не может выполняться. Корреляция между символами всегда приводит к снижению среднего количества информации, доставляемой одним символом, ибо получение предшествующих символов при наличии корреляции уменьшает неопределенность выбора очередного символа. Так, например, поступление гласной буквы при передаче текста исключает вероятность поступления таких букв, как ь, ъ, ы, а для остальных букв усиливает неравномерность вероятностей поступления, повышая ее для одних и понижая для других букв. Все это приводит к уменьшению средней информации, доставляемой очередным символом.

Таким образом, наиболее экономичным является алфавит, использующий некоррелированные равновероятные символы.Любой другой алфавит при том же его объеме т потребует большего числа символов на передачу того же объема информации. Если источник сообщения с объемом алфавита т характеризуется энтропией Я (А), то среднее количество информации, содержащейся в л символах, поступивших от этого источника, равно пН (А). Минимальное же число символов, необходимое для передачи того же объема информации при использовании алфавита с равновероятными некоррелированными символами, равно

Пшп = пН (АУЯ^А) = пН (A)/log2m .

Избыточность числа символов, используемых данным источником сообщений для передачи некоторого количества информации, относительно минимально необходимогЪ их числа, соответствующего использованию равновероятных независимых символов, характеризуется коэффициентом

Рн = in - n)ln = 1 - Я (А)Лоё2т, (6.19)

получившим название избыточности источника.

Было бы неправильным всегда рассматривать избыточность как признак несовершенства источника сообщений. Так, при передаче текста, когда свойства источника сообщений определяются словарем данного языка,

избыточность совершенно необходима для обеспечения удобства заучивания и произношения слов, разборчивости речи, мелодичности языка и т.п. Невозможно представить себе язык без избыточности, использующий слова из всех возможных сочетаний букв. Например, для русского алфавита, принимая т = 32, получаем максимально возможную энтропию

HrnJA) = log232 = 5 дв. ед./симв.

Это средняя информация на символ для абсолютно хаотического текста , когда любое сочетание букв включено в словарь языка. В тексте же, соответствующем нормальной русской речи, Н (А) = 1,5 дв. ед./симв. [17], т.е. в три раза меньше, что соответствует избыточности источника сообщений (текста) рн = 1 - 1,5/5 = 0,7. В общем случае передачи информации по каналам связи избыточность является необходимой платой за достоверность передачи информации в условиях наличия помех.

Отметим еще одно важное обстоятельство, вытекающее из формулы (6.12), касающееся среднего вклада маловероятных символов в передачу информации. Несмотря на то, что в каждом конкретном случае поступления таких символов имеет место наибольшее приращение информации, в среднем эти символы, именно благодаря малой вероятности их появления, вносят малый вклад в передачу информации, а при Р,- 0 этот вклад стремится к нулю. Действительно, применяя для раскрытия неопределенности правило Лопиталя, получаем:

iimP,log2P, = lim ffigffff =0.

Pio ° р.о d(\IPi)ldPi

Это позволяет при статистической характеристике передаваемой информации исключить из рассмотрения те сообщения, суммарная вероятность которых стремится к нулю, чем мы и будем пользоваться далее при доказательстве теорем Шеннона.

Следует отметить, что введенная количественная мера информации совершенно не учитывает полезность, ценностгь или важность сообщений. Так, сообщение об оценке, полученной в школе учеником, неопределенность априорной информации о которой может быть достаточно большой, при использовании этой меры может содержать большее количество информации, чем сообщение о состоянии здоровья ребенка. Именно абстрагирование от качественных характеристик сообщения позволило создать строгий и изящный математический аппарат для характеристики информации. Однако в некоторых областях применения (в частности, в теории массового обслуживания), где учет полезности и важности информации существен, эта особенность меры информации, введенной Шенноном, создает определенные затруднения в использовании аппарата теории ин-

формации. Этот недостаток обычно исправляют разделением сообщений на категории с введением соответствующих приоритетов или весовых коэффициентов, однако при этом теряется общность и математическая строгость теории (в силу субъективности соответствующих показателей).

В задачах связи абстрагирование от качественного содержания информации представляется в значительной мере оправданным тем, что и канал связи индеферентен к содержанию передаваемой информации. Поэтому именно в области связи применение теории информации в классическом ее виде оказалось наиболее плодотворным. Важность и ценность информации может учитываться при организации работы системы связи как системы массового обслуживания введением категорий и приоритетов сообщений, а в некоторых случаях - и разных требований к надежности их передачи (и соответственно разных режимов работы каналов). Однако при этом введенные информационные характеристики полностью сохраняют свой смысл, по крайней мере, в рамках сообщений одной категории, и аппарат теории информации поэтому полностью применим.

6.3. Энтропия источников непрерывных сообщений

Источники непрерывных сообщений характеризуются тем,что в каждый момент времени t сообщение x(t) может принимать бесконечное множество значений с бесконечно малой вероятностью каждого из них, и если бы сообщение могло передаваться абсолютно точно без искажений, оно несло бы бесконечное количество информации. Однако на практике при передаче информации всегда имеют место искажения, и количество информации, содержащееся в принятом непрерывном сообщении, определяется разностью значений энтропии источника сообщений до и после получения информации. Эта разность, в отличие от абсолютного значения энтропии непрерывного источника, оказывается конечной величиной.

Пусть возможные значения сигнала х (t) в момент t характеризуются плотностью вероятности w (t). Осуществим квантование возможных значений х (0 с шагом Ах (обратный переход к непрерывному распределению реализуется при Ах -> 0). Вероятность того, что значение х лежит в пределах /-го шага квантования Р, = w (х) Ах. Тогда в соответствии с (6.14) информация на один отсчет такого квантованного сигнала равна (отсчеты полагаем некоррелированными):

Яд*(*) = [w(*/) Ах] log2[w(х()Ах] =

= log2w(*,)]A* - log2Axw(xdAx =

= X w(*u iog2w(xi)Ax - \og2Ax,

так как

}Г w(*i)Ax=l .

Переходя к пределу при Ах -> 0, получаем, что энтропия на один отсчет непрерывного источника сообщений равна

Я0с) = ИтЯД*(х) =

Дг-*0

= - Iw(x)\og2w(x)dx-\imlog2Ax. (6.20) Первый член правой части (6.20)

А(х) = - \w(x)\og2w(x)dx (6.21)

называется дифференциальной энтропией непрерывного распределения (источника непрерывного сообщения). Величина A (х) имеет конечное значение. Она не зависит от шага квантования Ах, а зависит только от закона распределения непрерывной величины х. Второц член правой части (6.20), напротив, не зависит от характеристик источника сообщений, а определяется только шагом квантования Ах уровня сигнала, и именно этот член обращает значение Н (х) для непрерывного источника в бесконечность.

Поскольку абсолютно точный отсчет значений непрерывного сигнала х (0 принципиально невозможен, то возможные состояния источника сообщений после получения отсчета х' будут определяться некоторым непрерывным законом распределения и/(40 и апостериорная энтропия источника Н (х\х') будет также равна бесконечности. Количество информации, вносимой этим отсчетом, равное разности энтропии априорного и апостериорного распределений величины х равно разности соответствующих дифференциальных энтропии, так как второй член в (6.20), одинаковый для обоих случаев, при определении разности энтропии исключается.

Поэтому количество информации, приходящейся в среднем на один отсчет непрерывного сигнала, равно

j (40 = н(х)-н (40 = л (л) - л (40, (6.22)

где

Л (4x0 = -J j>fejO 1оё2И>(40 dxdx*; , (6.23)

w (х, х') - совместная плотность вероятности значения отчета х' и фактического значения сигнала х. Здесь Л (х) и А (40 представляет соответственно априорную (до получения отсчета *) и апостериорную дифференциальные энтропии источника непрерывных сообщений.

Дифференциальная энтропия (6.21) характеризует относительную степень неопределенности различных случайных процессов (распределение источников). В отличие от энтропии дискретного распределения (источника) она может изменяться и даже менять знак в зависимости от масштаба переменной х. Действительно, изменив масштаб в к раз, что соответствует переходу к переменной хх = кх, и учтя, что w (хО - w (x)/Jt, получим:

A (*i) = - J w(x{) log2w(xi) dxi = = -J(tog2)* = -jw(x) log2w(x)dx +

+ log2U Jw(x) dx = h(x) + log2k .

Однако разность значений дифференциальных энтропии двух распределений при одном и том же масштабе переменной х не зависит от выбора масштаба.

Можно показать [17], что при фиксированной дисперсии случайной величины £, дифференциальная энтропия имеет максимальное значение при нормальном распределении этой величины:

/ ч 1 Г (*~а)21

где а - математическое ожидание случайной величины а2 - дисперсия этой величины. Вычислив интеграл (6.21) для этого распределения, получим

Аи0Рм(*) = log2 л/2ле а . (6.24)

Из формулы (6.24) видно, что дифференциальная энтропия не зависит от математического ожидания а случайной величины х.

Глава 7

ПРОПУСКНАЯ СПОСОБНОСТЬ КАНАЛОВ СВЯЗИ И ТЕОРЕМЫ ОПТИМАЛЬНОГО КОДИРОВАНИЯ

7.1. Пропускная способность дискретного канала без помех. Теорема Шеннона для канала без помех

Среднее количество информации, передаваемой по каналу в единицу времени, называется скоростью передачи информации. Если по каналу передается vk символов в единицу времени, а среднее количество информации на один символ канала равно Н (Я), то скорость передачи информации по каналу

ёШ=У4Н(Б). (7.1)

Средняя скорость поступления информации от источника сообщений называется его производительностью. Если источник А сообщений выдает vi символов в единицу времени, то его производительность

*Ш = уЛ(А). (7.2)

Скорость передачи информации по каналу без помех, определяемая формулой (7.1), зависит как от технических характеристик канала (числа символов, алфавита т и скорости их передачи v*), так и от статистических свойств входного сообщения (его избыточности). Поэтому для сравнения возможных различных каналов нужно зафиксировать избыточность входного сообщения. Для этой цели удобно использовать безызбыточные входные сообщения, обладающие максимальной энтропией

tfma*(£) = l0g2m (7.3)

и обеспечивающие максимально возможную для данного канала скорость передачи информации

Ct=[] =Vtlog2m- (7 4)

Величина С* характеризующая максимально возможную скорость передачи информации по каналу с данными техническими характеристиками, называется его пропускной способностью.

Из формул (7.1) и (7.4) видно, что в общем случае при избыточности входного сообщения, отличной от нуля, скорость передачи информации по каналу меньше его пропускной способности С*. Однако, как показал Шеннон, принципиально (оставляя в стороне вопрос технической реализуемости) соответствующим выбором способа кодирования при любой избыточности источника сообщений можно обеспечить скорость передачи информации по каналу без помех, сколь угодно близкую к его пропускной способности, определяемой по формуле (7.4).

Таким образом, пропускная способность канала без помех характеризует не только предельную скорость передачи информации, достижимую при безызбыточном входном сообщении, но и верхнюю границу скорости передачи информации, принципиально достижимую при любых характеристиках источника сообщений. Отсюда следует, что условием согласования источника сообщений с каналом является не соответствие скоростей формирования символов, а соответствие их информационных характеристик: производительности источника и пропускной способности канала.

Для доказательства этого положения введем понятия типичных и нетипичных последовательностей символов и рассмотрим их свойства. Рассмотрим сначала простейший случай, когда алфавит источника сообщений состоит из двух символов <2i и а2 вероятности выбора которых соответственно равны Pi и Р2 = 1 - Pi, причем вероятность выбора очередного символа не зависит от значений предшествующих символов (символы независимы). Рассмотрим свойства длинных последовательностей таких символов. Вероятность того, что в последовательности из п символов будет г символов а\ и л - г символов а2, определяется биномиальным законом (2.7):

Рг, = СгпР\{\ - Р{Г = *! ч, Pri(l - РСГ. (7.5)

Здесь Сг = п\/г\(п- г)! - число различных последовательностей, содержащих г символов а\ и п - г символов а2. При увеличении общего числа символов п значения г и п - г в каждой реализации последовательности будут стремиться к математическим ожиданиям Р\п и (1 -Р\)п и именно такие последовательности будут типичными. Вероятность появления нетипичных последовательностей с другим соотношением символов а\Н а2 будет малой. Согласно закону больших числе [16] при п -> <*> вероятность появления типичной последовательности с соотношением символов, строго соответствующим их математическим ожиданиям, стремится к единице,

а вероятность появления нетипичных последовательностей с другим соотношением символов стремится к нулю. При этом все типичные последовательности с Р\п символами ах и (1 - Р\)п символами а2 имеют одинаковую вероятность появления, равную PiO - Pi)(W>i)\

Совершенно аналогичный результат получим для алфавита из т независимых символов яь а2,ят с вероятностями их появления Рь Р2, ... Р . В этом случае типичной последовательностью длительности п является последовательность, содержащая Р\п символов аи Ргп символов а2 и т.д.

Число различных типичных последовательностей длительности п равно

(Pi )!(P2n)!...(Pm/t)!

и все они имеют одинаковую вероятность появления, равную

P = PiPl P2*...P P*. (7-6)

Полученные результаты можно обобщить и на случай корреляции между символами сообщения, когда также могут быть выделены типичные последовательности с кратностью отдельных символов и их сочетаний, соответствующей статистическим свойствам источника сообщений (во всех случаях, как уже указывалось, предполагается стационарность последовательностей символов, выдаваемых источником). При этом все типичные последовательности по-прежнему равновероятны, а их суммарная вероятность стремится к единице при и - °°.

Рассмотренные свойства последовательностей символов большой длительности могут быть обобщены следующей теоремой асимптотической равновероятности [17]: любая реализация последовательностей символов длительностью п, выдаваемая стационарным источником сообщений, при достаточно большом п с вероятностью, сколь угодно близкой к единицей, совпадает с одной из равновероятных типичных последовательностей.

Число NraniA) типичных последовательностей достаточно большой длительности п, создаваемых дискретным источником сообщений А, может быть выражено через информационную энтропию источника Я (Л). Поскольку при п - источник с вероятностью, близкой к единице, выдает лишь типичные последовательности, имеющие равную вероятность 1/Мпш04), то информация, содержащаяся в такой последовательности, согласно (6.16) равна logA). С другой стороны суммарная информация,

Мпш(А) - -npalogyn п Qv

Из (7.9) следует, что при избыточности источника сообщений (ри*0) и п -> сю, NjuAAVNiA) -> 0. Таким образом, если источник сообщений обладает избыточностью, то с увеличением длительности последовательности символов все меньшая доля от всех возможных последовательностей, составляющая типичные последовательности, участвует в передаче информации. И только в источниках без избыточности при этом число типичных последовательностей совпадает с общим числом возможных последовательностей, и все они в равной мере используются для передачи информации.

Рассмотренные свойства типичных последовательностей позволяют доказать теорему Шеннона для дискретного канала без помех: если про-пускная способность дискретного канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условия

vKlog2m>v ff(A), (7.10)

то существует способ кодирования и декодирования сообщений источника с энтропией Я (А), обеспечивающий сколь угодно высокую надежность

содержащаяся в п символах источника с энтропией Я (А) при п - равна пН(А). Отсюда получаем, что при п -> °°.

лЯ(Л) = 1оё2Ли(А)

или

NUA) = 2nH(A). (7.7)

Согласно (6.19) для источника с объемом алфавита т и избыточностью р„ Я(А) = (1 - pH)log2w и, следовательно,

Ли(Л) = 2я(1. (7.8)

Определим долю, которую составляет число типичных последовательностей от общего числа всевозможных последовательностей длиной п с произвольным сочетанием символов. Общее число всевозможных последовательностей длиной п при объеме алфавита т равно