Детерминизм и случайность. Долгое время в исследовании физических процессов преобладали детерминистические принципы. Но как бы искусно 1И последовательно не использовались эти принципы, они не охватывают сложности реальных явлений. Многие процессы, для изучения которых казалось вполне достаточным применения классических методов математической физики, при более глубоком изучении потребовали вероятностного подхода, т. е. отказа от однозначного описания изменений физической системы. Так, наряду с классической физикой возникла статистическая физика, наряду с классической механикой - квантовая статистика. Радиотехника, изучающая макроскопические процессы, не заняла в указанном смысле особого положения. Непредсказуемый, случайный характер шумов и помех, сопутствующих работе радиотехнических устройств, статистическая структура источников сообщений потребовали внедрения в теоретическую радиотехнику вероятностных методов. Случайный процесс стал основной математической моделью сигналов-переносчиков информации и сопутствующих им помех.

Не удивительно, что отказ от детерминистических принципов повлек за собой необходимость использования нового математического аппарата. Однако, как это часто бывало в истории науки, новые направления уже при своем рождении находили готовый адекватный аналитический аппарат, ранее казавшийся лишь абстрактным математическим построениехМ, пригодным для описания очень узкого класса явлений. Такова была в начале текущего столетия роль теории вероятностей и математической статистики в формировании нового подхода к исследованиям физических процессов как альтернативы детерминизму.

Статистическая радиотехника. Анализ априорных вероятностных моделей и статистические Выводы в специфических радиотехнических аспектах составляют предмет статистической радиотехники. Поскольку нет термина, объединяющего вероятность и статистику, предпочтение отдано наименованию статистическая радиотехника , подчеркивающему аналогию и связь с понятием статистическая физика .

Продуктивность и реализуемость априорного анализа зависят прежде всего от того, насколько близки к действительности и просты для использования выбранные вероятностные модели. Статистические выводы всегда делаются в условиях априорной неопределенности на основании ограниченного объема накоплен-4

ных экспериментальных данных. Необходимо заранее указать алгоритм обработки )Выборочной информации, который позволил бы наилучшим (в некотором смысле) образом использовать ее для получения требуемых сведений о свойствах изучаемого явления.

Математический базис статистической радиотехники включает теорию вероятностей и теорию случайных процессов, математическую статистику н теорию решений. Трудно (и, по-видимому, даже нецелесообразно) провести границу между статистической радиотехникой н родственными областями науки. Отдельные результаты, а иногда и целые разделы могут быть отнесены не только к статистической радиотехнике, но и к теорнн информации (в широком смысле), статистической теории связи, теории управления.

Наиболее эффективное и широкое применение методы статистической радиотехники получили в радиолокации (в задачах обнаружения, сопровождения и дискриминации объектов в условиях помех) и в радиосвязи (коротковолновой, радиорелейной,тропосферной, космической). При помош;и этих методов решались актуальные задачи в радиофизике, гидролокации, радиоастрономии, сейсмологии, в технике радиоуправления, телеметрии, навигации, радиоизмерений, в теории надежности систем.

Анализ и синтез. При разработке информационной системы и отдельных ее элементов возникают задачи, (которые могут быть разделены на два основных класса: анализа и синтеза. В наиболее общем виде они формулируются следующим образо/м. Задача анализа: заданы характеристики системы и процесса, действующего на ее вход; необходимо найти характеристики процесса на выходе системы. Задача синтеза: заданы характеристика процесса на входе и требуемая характеристика процесса на выходе; необходимо найти такую систему, которая преобразовывала бы процесс с заданной характеристикой в процесс с требуемой характеристикой.

В статистической радиотехнике исследусхмые процессы - сигналы и помехи -- представляют реализации случайных процессов. Задача анализа при этом состоит в определении требуемых вероятностных характеристик процесса на выходе системы при условии, что структура и характеристика системы заданы и дано вероятностное описание процесса на входе (с той или иной подробностью, необходимой для решения конкретной задачи). Примером анализа является определение отношения мощности сигнала к мощности шума на выходе приемного устройства, часто используемое в качестве показателя помехозащищенности. Задачам анализа посвящена первая часть настоящей -книги. Для их решения используются методы теории вероятностей и теории случайных процессов.

Задача оптимального статистического синтеза состоит в определении наилучшего (в некотором смысле) образа действий, позволяющего по наблюдаемой реализации входного воздействия

принять решение о представляющих интерес характеристиках входного воздействия как случайного процесса. Иными словами, необходимо синтезировать оптимальную по некоторому критерию систему (оптимальный алгоритм обработки наблюдаемого входного процесса), процесс на выходе которой представлял бы решение или (и) числовую оценку, характеризующие неизвестные свойства наблюдаемого процесса. Независимо от формы представления процесс на выходе системы является функционалом наблюдаемой реализации случайного процесса. Задачам синтеза посвящена вторая .часть книги. Основным математическим средством их решения являются математическая статистика и теория решений.

Следует подчеркнуть, что статистический синтез представляет лишь определенную ступень познания, на которой, конечно, не удается полностью освободиться от приближенного рассмотрения объективно существующих явлений и уйти от неизбежных компромиссов, продиктованных выбором критерия качества и необходимостью каким-то образом преодолеть трудности, связанные с отсутствием априорных данных, с математическими тупиками, а также со сложностью реализации оптимальных алгоритмов.

Разделение книги на две части - анализ и синтез - отражающее различие в постановках задач статистической радиотехники, не должно нарушать представления об их диалектической связи. Такая связь прослеживается между теорией вероятностей и математической статистикой.

Часть первая АНАЛИЗ

Глава 1

СЛУЧАЙНЫЕ СОБЫТИЯ

1.1: определение вероятности

1.1.1. Математическая модель эксперимента. В научных исследо)ваниях, в технике и производстве часто не удается предсказать результаты экспериментов, испытаний, измерений или некоторых операций, многократно повторяемых при одинаковых условиях. Отказ от однозначного представления указанных результатов объясняется обычно не столько сложностью изучаемого явления, сколько незнанием всех причин, связанных с его возникновением или невозможностью задать необходимое число начальных данных.

Математическая модель эксперимента (испытания, наблюдения, измерения), которая является основой излагаемой далее теории, определяется фиксированным комплексо)м условий и возможностью многократного повторения эксперимента при этих условиях.

Результаты эксперимента могут быть детерминированы в том смысле, что условия эксперимента однозначно определяют его результат. Они могут быть неоднозначными в том смысле, что при неизменном комплексе условий эксперимента невозможно заранее предсказать его результат. Непредсказуемый результат эксперимента называют случайным событием. Теория вероятностей изучает закономерности случайных событий и способы их количественного описания.

Если наблюдать длинные серии результатов эксперимента, то обнаруживается следующая закономерность: отдельные результаты могут отличаться друг от друга, но средние значения, относящиеся к сериям результатов, остаются постоянными, проявляют статистическую устойчивость. Такая статистическая устойчивость является еще одной особенностью рассматриваемой математической модели эксперимента. Наконец, иредполагается, что априори (до осуществления эксперимента) известно множество возможных результатов эксперимента.

Рассмотрим некоторое случайное событие А - один из возможных результатов эксперимента. Пусть при п повторениях эксперимента событие А появляется Ша раз. Величина

Уп{А}=тл/п (1-)

называется частотой появления события А при п экспериментах^. Очевидно, что Vn зависит от п. При наблюдении за ней в любой длинной серии рассматриваемого эксперимента обнаруживается статистическая закопомерность - устойчивость частоты, т. е. приблизительно одни и те же значения величины Vn. При достаточно большом п эта частота, мало изменяющаяся при увеличении /г, может служить количественной мерой статистической закономерности появления события А.

Ясно, что частота появления события не может быть отрицательной или превосходить единицу, т. е.

Ovnl. (1.2)

Если под событием А понимать появление любого результата из множества априори возможных результатов, то тА = п и Vn=l. Бели А к В - несовместимые события, а гпа и гпв - числа появлений этих событий в серии п экспериментов, то число появления события А или В равно гпа + гпв и, следовательно,

va или б = Va + Vs. (1.3)

1.1.2. Алгебра событий. Как уже отмечалось, рассматриваемая модель эксперимента априори характеризуется множеством возможных результатов. Каждый элемент этого множества называется элементарным событием, а все множество, обозначаемое символом Q, - пространством элементарных событий. Подмножества множества Q называют событиями.

Вводятся две логические операции над событиями: объединение событий (логическая операция ИЛИ) и пересечение (совмещение) их (логическая операция И). Объединением (суммой) событий А и J3, обозначаемым символом А\]В, называется событие, состоящее в появлении А или В или того и другого события. Объединением совокупности событий Ах, An, обозначаемым

п

и fe, называется событие, состоящее в появлении, по крайней

мере, одного из событий Л^, Л=1, п.

Пересечением (произведением) событий Л и В, обозначаемым символом ЛрВ, называется событие, состоящее в совместном появлении событий Л и В (имеется в виду совместимость, в общем случае логическая, а не обязательно во времени и пространстве). Пересечением совокупности событий Л1, Лп, обозначаемым

п

П Л^, называется событие, состоящее в совместном появлении

всех событий Аи, й=1, п. 8

Событие, включающее все элементы (пространства Q, называется достоверным. Событие, не содержащее ни одного элемента пространства Й, называется невозможным (пустое множество, обозначаемое символом 0).

События А yl В называются несовместимыми, если их пересечение невозможно: А[]В = 0. Совокупность несовместимых событий образует полную группу, если объединение этих событий достоверно: Лг = Й, Aif]Aj = 0, 1Фи и /==1, ri.

Противоположным (дополнительным) событием А событию А называется событие, состоящее из йсех элементов пространства й, не принадлежащих Л. События А я А образуют полную группу событий, так как A\JA=Q, А[]А = 0.

Событие А влечет за собой В (ЛсгБ), если при появлении события А обязательно происходит событие В. Если А влечет за собой В и В влечет за собой Л, то события Л и В называются эквивалентными (Л = В).

Система подмножеств множества й называется алгеброй J, если из того, что Ais, i=l, п, следует уЛг^сЯ, f\Ais, и если

Ле.5#, то lej. Таким образом, алгебра есть класс множеств, замкнутых относительно конечного (для булевой алгебры) или счетного (для сигма-алгебры) количества опфаций объединения, пересечения и дополнения. В качестве системы событий в теории вероятностей рассматриваются системы множеств, которые представляют указанные алгебры.

1.1.3. Аксиомы теории вероятностей. Основанием теории вероятностей служат аксиомы, сформулированные А. Н. Колмогоровым. Пусть Q - пространство элементарных событий я - алгебра событий. Вероятность и ее свойства определяются следующими аксиомами:

1. Каждому событию As соответствует действительное число Р{Л}, называемое вероятностью события Л, такое, что 0 Р{Л}1.

2. Р{Й} = 1.

3. Если ЛПВ = 0, то Р{ЛиВ}=Р{Л}+Р{В}.

Нетрудно убедиться, что аксиомы теории вероятностей представляют абстрактные эквиваленты приведенных свойств частоты появления события при многократном повторении эксперимента в неизменных условиях. Аксиома 1 постулирует статистическую устойчивость частоты в длинной серии испытаний и отображает основное свойство частоты, выраженное неравенствами (1.2). Аксиома 2 постулирует достоверность появления какого-либо результата из множества возможных результатов эксперимента. Аксиоме 3 соответствует соотношение (1.3), относящееся к частоте появления события, которое представляет объединение двух несовместимых событий.

1.2. основные правила теории вероятностей

1.2.1. Правило сложения вероятностей для несовместимых событий. Если Ль An - несовместимые события, то вероятность появления одного из событий Л], или Л2, или или Л п равна сумме вероятностей этих событий:

= P{Ak}> Л,ПЛ,= 0, i, й== 1, п. (1.4)

Формула (1.4) непосредственно следует из аксиомы 3 (см. п. 1.1.3).

Если несовместимые события Л1, An составляют полную группу, то одно из них появляется обязательно и, следовательно,

п

Р{ и Л^} = 1. Учитывая (1.4), получаем для полной группы со-бытии

2;р{Л}-1. (1.5)

Полная группа может представлять счетное множество собы-

тий, причем Р{Лп}->0 при п->оо, так что 2 Р{ЛЛ = 1.

Если полная группа состоит из двух событий Л и Л, то из (1.5) следует

Р{Л} = 1-Р{л}. (1.6)

Пусть п случайных событий, составляющих полную группу, равновероятны, т. е. Р{Аи}=р, k=l, п. По формуле (1.5) находим вероятность р появления одного из п равновероятных событий, составляющих полную группу:

P=Un. (1.7)

В соответствии с (1.4) и (1.7) вероятность одного из т^п событий, входящих в полную группу п равновероятных событий.

-. (1.8)

П

1.2.2. Правило умножения. Два события А и В называют зависимыми если вероятность события Л зависит от того, произошло или нет другое событие В. Вероятность совместного наступления двух зависимых случайных событий А я В равна произведению вероятности одного из этих событий па условную вероятность /появления другого, вычисленную в предположении, что первое событие совершилось:

Р{ЛПВ}=Р{Л}Р{В|Л}=Р{В}Р{Л|В}. (1.9)

В (1.9) входят вероятности двух родов: безусловная вероятность события Л (события В) и условная вероятность события В 10

(события Л), в предположении, что произошло событие Л (событие В). Поэтому безусловные вероятности Р{Л}и Р{В} иногда называют априорными, а условные вероятности Р{В|Л} и р{Л|5} - апостериорными.

Когда события Л и В независимы, априорные и апостериорные вероятности становятся равными друг другу:

Р{В\А}=Р{В}, Р{Л|В} = Р{Л} (1Л0)

и из (1.9) следует

Р{ЛПВ}=Р{Л}Р{В}. (1Л1)

Равенство (1Л1) может служить определением независимости двух случайных событий Л и В и распространяется на произвольное число независимых (в совокупности) событий Л1, ЛпГ

(1.12)

ft=i

= ПР{Л}.

Если события Ль An зависимы, то

ДЛ,}=Р(Л1}Р{Л,Л1}Р{ЛзЛ1ПЛа...р{л, (1.13)

1.2.3. правило сложения для совместимых событий. Рассмотрим сначала совокупность Ви Вп независимых событий. Пусть Bk - событие, противоположное событию Bh. Тогда появление хотя бы одного (безразлично какого) из событий Bh исключает возможность совместного наступления всех

п п

событий Бь вп. Поэтому в соответствии с (1.6) р{ U В^}=1-р{ П bh}.

Так как Ви вп взаимно независимы, то по правилу умножения (1.12) п п

р{ и Bh}= П p{Bfe}. Кроме того, р{бЛ= 1-р{5Л. Следовательно,

и 4 = 1-П[1-р{й}]. (1.14)

Формула (1.14) позволяет вычислить вероятность наступления по меньшей мере одного из совместимых независимых событий Вь Вп по заданным вероятностям этих со-бытий.

Вьшолним умножение в правой части (1.14) и обозначим

5i=2p{f}. 2; 2 р{ваР{ад, 1=1 i=\ /=1

р{в.}...р№ \, i<i2<...<,ir<ri,

<Каждая комбинация индексов в суммах появляется один и только один раз, п\ п\

членов.) Последний член

поэтому Sr содержит 5.= ПР{ад,

г\ {п-г)\

Тогда формулу (1.14) можно переписать в виде

р(и =5з-52 + ... + (-1Г-5. (1.15)

В частном случае ири п = 2 из (1.15) следует

Р{В,т} = 3,-8, = Р{В,}+Р{В2]-Р{В,}Р{В21 (1.16)

Так как в сумму 5i = P{5i}+P{52} дважды включаются те случаи, когда события Bi 1И в2 появляются совместно, то из нее вычитается вероятность = = P{Bi}P{b2} совместиого появления независимых событий Bi и В2.

Для продавольного п формула (1.16) трактуется аналогично на основании так называемого принципа включения и исключения: включается все и исключается лишнее, включается ошибочно исключенное и т. д., т. е. полеременное включение и исключение. Используя этот принцип, нетрудно доказать, что формула (1.15) остается справедливой и для совокупности зависимых событий, если только в формулах для Sr заменить произведения вероятностей вероятностями совмещения событий:

п п

5r=S ...2 Рр,-ПВ.П...П5,-.}. ii<i2<...<ir<ri.

Первый член Si в (1.15) всегда равен сумме вероятностей, т. е. соответствует несов1Местимост1И событий, а остальные члены дают поправку за счет того, что события в действительности совместимы. Тогда, когда вероятностями совмещения событий можно пренебречь по сравнению с априорными вероятностями самих событий, вместо обо^бщенного правила сложения (1.15) можно с известным цриближением пользоваться обычньпм правилом (1.4) для совместимых событий.

1.2.4. Формула полной вероятности. Иногда необходимо определить вероятность события Л, появляющегося с одним из п взаимно несовместимых событий Б1, В пу составляющих полную группу, т. е.

А= и {А(]В,).

События Bhy k=l, п, часто называют гипотезами, связанными с наступлением события А, Так как при 1ф] (A[]Bi)[](A[]Bj)0, то, используя правило сложения, представим вероятность события А б виде суммы

Р{А} = р1[}{А(]В,)]= Р{А(]В,}. (1.17)

Согласно правилу умножения каждое слагаемое этой суммы Р{Af\Bk} = Р{Bk}P{A\Bk} и, следовательно,

Р{Л}= 2 Р{Ви}Р{А\Ви}. (1Л8)

Соотношение (1.18) называют формулой полной вероятности. Эт формула позволяет определить вероятность события Л, если известны априорные вероятности гипотез 5i, Вп и апостериорные вероятности события А при условии, что одна из гипотез подтвердилась.

1.2.5. Формула Байеса. Пусть, как в п. 1.2.4, совокупность событий (гипотез) 5i, Вп составляет полную группу. Используя правило умножения, находим

и, подставив вместо вероятности Р{Л} ее значение по формуле полной вероятности (1Л8), получим формулу Байеса

Р{Ви\А]= . (1.19)

2Р{в,}Р{Л|ли

Если известны априорные вероятности гипотез Bk, \k=\, п, и апостериорные вероятности события Л при условии 5, то по формуле Байеса можно найти апостериорную вероятность гипотезы Bk при условии, что событие Л осуществилось. Формулу Байеса поэтому называют иногда формулой обратной вероятности.

1.3. последовательность независимых испытании

1.3.1. Биномиальная формула. Многочисленные практические задачи укладываются в следующую схему последовательности независимых испытаний, называемую иногда схемой Бернулли. Пусть производится п независимых испытаний (повторений эксперимента при неизменных условиях). В результате каждого испытания с вероятностью р появляется событие Л. Вероятность противоположного события Л, т. е. непоявления события Л, равна 9=1-р. Необходимо определить вероятность Рп() того, что в данной последовательности п независимых испытаний событие Л появилось точно k раз, Qkn. Решение этой задачи, которое получается простым применением правил сложения и умножения, описывается следующей формулой:

K{k) = (yq-\ (1.20)

где

м \ п\ k)~k\ (n-k)\

- число сочетаний из п элементов по k. Нетрудно заметить, что Pn(k) равно коэффициенту при в разложении бинома (q + +рх) по степеням х. Поэтому формулу (1.20) часто называют биномиальной.