Приложение

Краткие сведения об определителях и матрицах

ПЛ. Определителем называется оператор

ацД12... а\п

ап\ а„2... ат

(П.1)

приводящий в соответствие элементам ац, образующим л строк и л столбцов, некоторое число D, выражаемое по определенным законам через эти элементы. Порядком определителя называется характеристика, определяемая числом содержащихся в нем строк. Закон вычисления определителя может быть представлен в виде:

О = £ (- 1)* Щк1 ащ.а^ (П.2)

где индексы ки къ ...До образуют все возможные перестановки из чисел 1,2,.... л, а число s представляет сумму значений всех индексов, определяющих элементы определителя, составляющие произведения в (П.2):

5 = £(!+*,). (П.З)

Общее число слагаемых в (П.2), определяемое числом возможных перестановок из п чисел, равно л! Однако непосредственное использование формулы (П.2) для вычисления определителей представляет значительные неудобства.

Для упорядочения процедуры вычисления определителя обычно пользуются выражением определителя через его миноры. Минором [1-го порядка определителя л-го порядка называется определитель, получаемый из исходного исключением каких-либо п-\х строк и п-\1 столбцов. Каждому минору [1-го порядка М может быть приведен в соответствие дополнительный минор М' порядка п-\1, составленный из элементов, находящихся на пересечении строк и столбцов, исключенных при образовании минора М.

Алгебраическим дополнением Ам минора М называется его дополнительный минор М\ взятый со знаком плюс или минус в зависимости от того четна или нечетна сумма sM номеров всех строк и столбцов определителя, входящих в минор М:

Аа,= (-1)*Л/, (П.4)

*м = U + h +... + % + k\ + кг + ... + *ц. (П.5)

В частном случае при р = 1 минор 1-го порядка совпадает с элементом определителя ад, а его алгебраическое дополнение

АЛ = (-1Г*М'Л, (П.5)

где М й - дополнительный минор, получающийся вычеркиванием из определителя D z-й строки и к-го столбца. Можно показать, что все члены, входящие в произведение минора М на его алгебраическое дополнение Ам, принадлежат алгебраическому выражению определителя (П.2). В частности, если взять в качестве миноров 1-го порядка элементы к-го столбца к= 1,2,л, то сумма их произведений на соответствующие алгебраические дополнения совпадает с выражением определителя, т.е.

/>=£ялАа, (П.6)

м

где алгебраические дополнения Ад в соответствие с (п.5) выражаются через определители (л 1)-го порядка. Повторяя последовательно эту операцию для раскрытия определителей порядков (л - 1), (л - 2)..., можно получить алгебраическое выражение определителя D.

Определители широко используются в линейной алгебре. Через них очень просто выражается решение системы линейных алгебраических уравнений. Решение системы п уравнений

яп*1 + axlx2 + ... + сьл, = Ьи

............ (П.7)

можно представить в виде

(П.8)

где D - определитель, составленный из коэффициентов а& уравнения (П.7); Ац - алгебраическое дополнение для элемента а,* определителя D.

П-2. Матрицей называется прямоугольная таблица чисел ац вида

аи ах2 ... а\пЛ

..... . . . (П.9)

где индексы ink определяют соответственно номера строки и столбца, на пересечении кото-рык стоит данный элемент матрицы. Для обозначения матриц будем пользоваться прописной буквой: [а*]=А.

В общем случае, когда число строк не равно числу столбцов (т Ф л), матрица называется прямоугольной размером тхп. В частном случае, когда т = п, матрица называется квадратной.

Элементы матрицы а&,к = 1,2, .. л, составляющие i-ю строку матрицы, можно представить в виде компонент л-мерного вектора, называемого вектор-строкой. Аналогично элементы, составляющие к-& столбец матрицы, можно представить в виде компонент т-мерного вектор-столбца. Диагональ квадратной матрицы лхл, проходящая из левого верхнего в правый нижний угол, т.е. состоящая из элементов al 1, а22,ат, называется главной диагональю. Диагональ квадратной-матрицы, проходящая из правого верхнего угла в левый нижний, т.е. составленная из элементов ац с суммой индексов i + k = n, называется побочной диагональю.

Квадратная матрица, у которой все элементы, расположенные вне главной диагонали, равны нулю, называется диагональной. Диагональная матрица с равными элементами главной диагонали d\\= dn-... = d n = d называется скалярной матрицей. Диагональная матрица, у которой все элементы главной диагонали равны единице, называется единичной.

Нулевой матрицей называется матрица, все элементы которой равны нулю. В теории матриц ей отводится такая же роль, как нулю в теории чисел. Матрица называется симметричной, если ее элементы удовлетворяют условию а^-аи. Транспонированной матрицей АТ называется матрица, полученная из матрицы А превращением ее строк в столбцы матрицы Ат с тем же номером. Если матрица квадратная симметричная, то А =АТ.

Суммой А + В двух матриц А = [ац] иВ = [Ь&] одинакового размера тхп называется матрица С того же размера, гждый элемент которой равен сумме собственных элементов матриц А и В:

сЛ = ай + ЬЛ. (П.Ю)

Из (П. 10) следует, что сложение матриц коммутативно.

Произведением рА матрицы А = [а&] на число ц называется матрица А'= [aik]y получающаяся умножением каждого элемента матрицы А на число \i:

aWb*. (Л-И)

Произведением АВ двух квадратных матриц А = [аЛ] и В = [Ьц] порядка л называется матрица С=[сл], элемент которой с& равен скалярному произведению / й вектор-строки матрицы-множимого на k-й вектор-столбец матрицы-множителя:

Cikabfok. (П. 12)

Из определения следует, что операция умножения матриц некоммутативна (роли матриц в этой операции несимметричны: у первой берутся строки, у второй - столбцы). Нетрудно убедиться, что если АВ = С, то ВА = СТ.

Из (П. 12) следует, что если одна из матрицы-сомножителей, например матрица А, скалярная, т.е.

ГО при v*i, [а при v = i,

л

т.е. умножение на скалярную матрицу сводится к умножению всех элементов матрицы-сомножителя на число, равное значению диагональных элементов скалярной матрицы. Таким образом, в этом случае операция умножения векторов вырождается в умножение вектора на скаляр (отсюда и название - скалярная матрица).

Роль единицы приумножении матриц играет единичная матрица Е:

АЕ = А. (П.13)

Операция умножения может быть распространена и на прямоугольные матрицы при условии, что число столбцов матрицы-множимого равна числу строк матрицы-множителя. При этом матрица-произведение будет иметь такое же число строк как матрица-множимое и такое же число столбцов как матрица-множитель. Для прямоугольных матриц А и В одинакового размера тхп может быть определена операция умножения на транспонированную матрицу АВТ или АТВ. При этом матрицы произведения будут квадратными размером тхп и лхл соответственно.

Матрица A ml В одинакового размера тхп называются ортогональными, если удовлетворяется условие

АВТ = 0, (П.14)

т.е. если соответствующие вектор-строки матриц А и В ортогональны.

Операции сложения и умножения матриц обладают свойством ассоциативности:

(А + В)С = АС + ВС. (П.15)

С помощью матриц можно представить в компактной форме линейные преобразования многомерных величин (векторов). Пусть л-мерная величина, характеризуемая вектором X с компонентами х\,х2,хп, подвергается линейному преобразованию вида

Уп = ап\Х\ + ап2х2 + ... + ОппХп,

(П.16)

где yj, у2.....уп - компоненты вектора Y, определяемого преобразованием (П.16). Представляя вектора X и Y в виде матриц-столбцов

а коэффициенты преобразования (П.16) в виде матрицы

ац а\2 ... а\п А = [аЛ] =......

получаем компактную запись линейного преобразования (П.16) в матричной форме:

Y=AX.

(П.17)

Если теперь вектор Y подвергнуть новому линейному преобразованию

Z = BY, (П.18)

определяемому матрицей преобразования

то результирующее преобразование, эквивалентное последовательному осуществление преобразований (П. 17) и (П. 18), может быть записано в виде:

где

z=cx,

(П.19)

(П.20)

Преобразование вида

г=дх+дх

(П.21)

эквивалентно преобразованию

Z = CX, (П.22)

где

С = Л + В. (П.23)

Таким образом, используя формальный аппарат алгебры матриц, можно найти матрицу результирующего преобразования по известным матрицам, определяющим отдельные этапы линейных преобразований, не осуществляя их непосредственно. Матрицы во всех их применениях позволяют компактно записать громоздкие преобразования, не избавляя при этом от необходимости в конечном счете эти преобразования осуществлять. Однако введение компактно записываемых операторов, вычисление которых формализовано,позволяет не отвлекаться на громоздкие представления отображаемых ими выражений, возложив раскрытие этих операторов при конкретных расчетах на ЭВМ.

Следует подчеркнуть, что матрицы и определители, несмотря на внешнее сходство их записи - совершенно разные математические объекты. Матрица представляет собой таблицу чисел, содержание которой и связь между ее элементами зависят от конкретных свойств описываемого математического объекта. Это могут быть коэффициенты линейного преобразования, набор векторов (например, набор линейно-независимых векторов), составляющие ошибок и т.п. Определитель же дает одно число, вычисляемое по определенному закону через его элементы.

Список литературы

1. Левин Б.Р. Теоретические основы статистической радиотехники. Книга первая. М, нСов. радио , 1966.

2. Левин Б.Р. Теоретические основы статистической радиотехники. Книга вторая. М., Сов. радио , 1968.

3. Тихонов В.И. Статистическая радиотехника. М., Сов. радио 1964.

4. Ван Трис Г. Теория обнаружения, оценок и модуляции. М., Сов. радио , 1972.

5. Ширман ЯД., Голиков В.Н. Основы теории обнаружения радиолокационных сигналов и измерения их параметров. М., Сов. радио , 1963.

6. Трвхтман А.М. Введение в обобщенную спектральную теорию сигналов. М., Сов. радио , 1972.

7. Котельников В.А. Теория потенциальной помехоустойчивости. М., Госэнергоиздат, 1956.

8. Вудворд Ф.М. Теория вероятностей и теория информации с применением в радиолокации. Пер. с англ. М., Сов. радио , 1955.

9. Миддлтон Д. Введение в статистическую теорию связи. Пер. с англ. Под ред. Б.Н. Левина. М, Сов. радио 1962.

10. Лезин Ю.С. Оптимальные фильтры и накопители импульсных сигналов, М, Сов. радио , 1963.

11. Фэлькович С.Е. Оценка параметров сигнала. М., Сов. радио , 1970.

12. Гуткин Л.С. Теория оптимальных методов радиоприема при флуктуанионных помехах. М, Сов. радио 1972.

13. Вайнштейн Л.А., Зубков В.Д. Выделение сигналов на фоне случайных помех. М., Сов. радио , 1960.

14. Виннцкий А.С. Модулированные фильтры и следящий прием ЧМ сигналов. М., Сов., радио , 1960.

15. Петрович Н.Т., Размяхнин М.К. Системы связи с шумоподобными сигналами. М., Сов. радио , 1969.

16. Вентцель Е.С. Теория вероятностей. М., Физматгиз, 1969.

17. Кловский Д.Д. Теория передачи сигналов. М., Сов. радио , 1973.

18. Солодов А.В. Теория информации н ее применение к задачам автоматического управления и контроля. М., Наука , 1967.

19. Хвркевич А.А. Очерки общей теории связи. М., Гостехиздат, 1955.

20. Яглом А.М., Яглом И.М. Вероятность и информация. М., Наука , 1971.

21. Гольдман С. Теория информации. Пер. с англ. М., ИЛ, 1957.

22. Теория информации и ее приложения. Под ред. А.А. Харкевича, М., Физматгиз, 1959.

23. Блох ЭЛ., Харкевич А.А. К вопросу о геометрическом доказательстве теоремы Шеннона. - Радиотехника , 1956, №11.

24. Шеннон К. Работы по теории информации и кибернетике. М., ИЛ, 1963.

25. Харкевич А.А. Борьба с помехами. М., Физматгиз, 1963.

26. Питерсон У., Уэлдои Э. Коды, исправляющие ошибки. Пер. с англ. Под ред. Р.Л. Доб-рушина. М., Мир , 1976.

27. Финк Л.М. Теория передачи дискретных сообщений. М., Сов. радио , 1970.

28. Зигангиров КЛ. Процедуры последовательного декодирования. Статистическая теория связи, вып. 2. М., Связь , 1974.

29. Возенкрафт Дж., Рейффен Б. Последовательное декодирование. Пер. с англ. Под ред. Р.Л. Добрушина. М., ИЛ, 1963.

30. Форни Д. Каскадные коды. Пер. с англ. под ред. СИ. Самойленко. М., Мир , 1070.

31. Фано Р.М. Эвристическое рассмотрение метода статистического декодирования. - Зарубежная радиоэлектроника , 1964, № 1.

32. Витерби А Границы ошибок для сверточных кодов и асимптотически оптимальный алгоритм декодирования. - В кн.: Некоторые вопросы кодирования. Под ред. Э.Л. Блоха и М.С. Пинскера. М., ИЛ, 1970.

33. Финк. Л.М. Теория передачи дискретных сообщений. М., Сов. радио , 1970.

34. Бронштейн И.Н., Семендяев К.А. Справочник по математике. М., Физматгиз, 1959.

35. Ильин В.А., Поздняк Э.Г. Основы математического анализа. Ч. 1. М., Наука , 1971.

36. Лоэв М. Теория вероятностей. Пер. с англ. под ред. Ю.В. Прохорова. М., ИЛ, 1962.

37. Арямянович И.Г., Бермян А.Ф. Краткий курс математического анализа для втузов. М., Наука , 1973.

38. В. Линдсей. Системы синхронизации в связи и управлении. Пер. с англ. Под ред. Ю.Н. Бакаева, М.В. Капранова. М., Сов. радио , 1978.

39. Курош А.Г. Курс высшей алгебры. М., Наука , 1965.

40. Гянтмахер Ф.Р. Теория матриц. М., Наука , 1967.

41. Карпелевич Ф.И., Садовский Л.Е. Элементы линейной алгебры и линейного программирования. Физматгиз, 1963.

Предметный указатель

Б

База сигнала 22 В

Величины случайные некоррелированные 33

- - ортогональные 33

д

Декодирование последовательное 197 3

Закон биномиальный 29

- распределения дифференциальный 30

- - интегральный 30

- нормальный 33 ---многомерный 42

И

Информация 127 Источник сообщения 127

К

Кодирование оптимальное статистическое 159 Кодовое расстояние 164,167 Коды корректирующие 163

- блочные 163 --линейные 172

- непрерывные 164 --сверточные 155,191 --несистематические 163,193 --систематические 163,192 --Хэмминга 176

- циклические 181 Количество информации 127 Критерий Байеса 55, 82

- идеального наблюдателя 60

- Неймана-Пирсона 68

- эффективности кодов 187

М

Моменты распределения 30

- начальные 30 --центральные 31 т-последовательность 104,123,186

Н

Ненадежность канала 144 О

Отношение правдоподобия 57, 86 П

Полином генераторный 182 -порождающий 181

Производительность источника сообщений 138

Пропускная способность дискретного канала без помех 139 ----с помехами 145

- - непрерывного канала 158 Процесс случайный 9

- - нормальный 44

- стационарный в широком смысле 39

- - строго стационарный 38

- - эргодический 41

Р

Равенство Парсеваля 17 С

Сигнал детерминированный 9

- дискретный 10 -непрерывный 10

- случайный 9

- узкополосный 52 -цифровой 10 -широкополосный 98,103 Синдром проверки кодов 176

Скорость передачи информации 138 Сообщение 8,127 Спектр сигнала 11

- - дискретный 11

- - комплексный 14

- непрерывный 12

- энергетический 47

Т

Тело неопределенности 101 Теорема Котельникова 19

- неопределенности 101

- сложения вероятностей 26

- умножения вероятностей 27

- Хинчина-Винера 47

- Шеннона для дискретного канала без помех 141

- - - канала с помехами 147

- непрерывного канала 173

Ф

Фильтр идеальный 114

- согласованный 119

Формула Байеса 29 Функции базисные 11,109

- собственные 109 Функция ковариационная 38

- корреляционная 38

- - нормированная 40

- неопределенности 101

- передаточная 109

- правдоподобия 86

- риска 82

Характеристика импульсная переходная 110 Ш

Шум белый 49 Э

Энтропия источника дискретных сообщений 131

- - непрерывных сообщений 135 ----дифференциальная 136

Оглавление

Предисловие................................................................................................................................ 3

ЧАСТЬ I. ОСНОВЫ СТАТИСТИЧЕСКОЙ РАДИОТЕХНИКИ..................................... 8

Глава 1. Общие сведения о сигналах......................................................................................... 8

1.1. Основные определения. Классификация сигналов..............................................*..... 8

1.2. Формы представления сигналов.................................................................................. 11

1.3. Дискретизация непрерывных сигналов. Теорема Котельникова............................ 19

Глава 2. Случайные событие, величина, функция и их вероятностные характеристики...... 25

2.1. Случайное событие и вероятность.............................................................................. 25

2.2. Случайные величины и их вероятностные характеристики..................................... 29

2.3. Нормальный закон распределения.............................................................................. 33

2.4. Случайные функции и их вероятностное описание.................................................. 36

2.5. Корреляционные характеристики случайных процессов. Стационарные и эргодические случайные процессы............................................................................. 37

2.6. Многомерный нормальный закон распределения. Нормальные случайные процессы........................................................................................................................ 42

2.7. Спектральное представление стационарных случайных процессов....................... 45

2.8. Случайные процесс типа белого шума....................................................................... 49

2.9. Узкополосные случайные сигналы............................................................................. 52

Глава 3. Статистическая теория обнаружения сигналов.................................................... 54

3.1. Классификация задач обнаружения сигналов............................................................ 54

3.2. Общая постановка бинарной задачи обнаружения. Критерий Байеса.................... 55

3.3. Синхронный прием символов двоичного цифрового кода при действии белого шума. Критерий идеального наблюдения.................................................................. 60

3.4. Радиолокационное обнаружение. Критерий Неймана - Пирсона........................... 68

3.5. Многоальтернативные задачи обнаружения.............................................................. 75

3.6. Минимаксный критерий обнаружения сигналов....................................................... 76

3.7. Особенности задачи селекции сигналов..................................................................... 79

Глава 4. Статистическая теория оценка параметров сигналов.......................................... 82

4.1. Байесовская оценка параметров сигнала. Функция риска........................................ 82

4.2. Оптимальная оценка параметров сигнала при действии нормального белого

шума...............................................................................................;............................... 86

4.3. Особенности оптимальной оценки параметров сигнала, зависящего от других случайных параметров, не подлежащих оценке........................................................ 91

4.4. Потенциальная точность измерения временной задержки и доплеровского

сдвига частоты сигнала................................................................................................ 94

4.5. Совместная оценка фазы н частоты сигнала. Теорема неопределенности............. 98

4.6. Широкополосные сигналы........................................................................................... 103

Глава 5. Фильтрация случайных сигналов................................................................................ 107

5.1. Общая характеристика задач фильтрации.................................................................. 107

5.2. Краткие сведения о линейных цепях и линейных преобразованиях сигналов....... 109

5.3. Оптимальная линейная фильтрация по критерию минимума искажений полезного сигнала.......................................................................................~................ 113

5.4. Оптимальная линейная фильтрация по критерию максимума отношения сигнал-шум (согласованные фильтры)....................................................................... \yj

5.5. Примеры согласованных фильтров............................................................................. 121

ЧАСТЬ II. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И ИДЕАЛЬНОЕ

КОДИРОВАНИЕ....................................................................................................

Глава 6. Количественное определение информации и информационные

характеристики источников сообщений................................................................ 127

6.1. Количественное определение информации, содержащейся в сообщении.............. 127

6.2. Информационные характеристики источников дискретных сообщений................ 130

6.3. Энтропия источников непрерывных сообщений....................................................... 135

Глава 7. Пропускная способность каналов связи и теоремы оптимального

кодирования................................................................................................................. 138

7.1. Пропускная способность дискретного канала без помех. Теорема Шеннона для канала без помех............................................................................................

7.2. Скорость передачи информации и пропускная способность дискретного

канала при наличии помех........................................................................................... 143

7.3. Основная теорема Шеннона для дискретного канала с помехами.......................... 146

7.4. Пропускная способность непрерывного канала при наличии аддитивного

шума............................................................................................................................... 152

ЧАСТЬ III. ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ............................................................. 155

Глава 8. Общие сведения о кодировании................................................................................. 155

8.1. Функциональная схема радиолинии передачи дискретных сообщений................. 155

8.2. Цифровые коды............................................................................................................. 157

8.3. Основные задачи теории кодирования....................................................................... 157

8.4. Понятие об экономном кодировании.......................................................................... 158

8.5. Общая характеристика задачи помехоустойчивого кодирования......................... 162

Глава 9. Блочные корректирующие коды............................................................................... 166

9.1. Основные характеристики и корректирующие свойства блочных кодов............... 166

9.2. Линейные корректирующие коды. Коды Хэмминга................................................. 172

9.3. Циклические коды........................................................................................................ 181

9.4. Критерии эффективности блочных корректирующих кодов................................... 187

Глава 10. Сверточные корректирующие коды....................................................................... 191

10.1. Особенности кодирования и декодирования сверточных кодов........................... 191

10.2. Сверточные коды с синдромной коррекцией........................................................... 195

10.3. Сверточные коды с использованием последовательного декодирования............ 197

Приложение. Краткие сведения об определителях и матрицах.......................................... 202

Список литературы..................................................................................................................... 208

Предметный указатель............................................................................................................... 210

Липкин Исаак Аронович СТАТИСТИЧЕСКАЯ РАДИОТЕХНИКА ТЕОРИЯ ИНФОРМАЦИИ И КОДИРОВАНИЯ

Под редакцией автора Компьютерная верстка АЛ Гурова

Подписано в печать 15.02.2002. Печать офсетная. Формат 60 х 84/16 Печ. л. 13,5. Тираж 1000 экз.

ЗАО Издательское предприятие Вузовская книга 125871, Москва, Волоколамское шоссе, д. 4 Тел. 158-02-35 E-mail: vbook@mai.ru