случайной величины, распределенной нормально с параметрами (а, а)

шл: -

Заменяя z=-\av-\- {х-а)/а, показатель экспоненты в подынтегральной функции приводим к полному квадрату. После интегрирования приходим к следующему выражению характеристической функции гауссовской случайной величины:

в^(у) = ехр (\av-oVl2). (3.74)

Кумулянтная функция гауссовской случайной величины

%(y) = iay->oV/2. (3.74а)

Таким образом, для нормального распределения [см. (3.71а)]

xi = a, Х2 = а^, х/1=0, й^З. (3.75)

Найдем общее выражение для центральных моментов нормального распределения, используя (3.69) и учитывая, что центральные моменты совпадают с начальными при нулевом среднем значении (а = 0):

fX2.= (-I)*-fexp:f

{2k-\)\\(5K (3.76)

3.3.4. Многомерная характеристическая функция. Характеристической функцией G(v) совокупности случайных величин \ = = (?ь ?п) называется среднее значение случайной величины

п

exp{i S Vklk), причем компопенты вектора v=(t;i, Vn) - дей-ствительные переменные. В соответствии с (3.15)

©1 (V) = ту {ехр (i V 1} = i щ (х) ехр (ivx) dx, (3.77)

где wi (х) - многомерная плотность вероятности совокупности случайных величин. Интеграл (3.77) сходится при любом действительном векторе v, так как \Qi (v)l. Следовательно, 0g (v) и (х) являются парой преобразований Фурье и

wi (х) = - i в| (V) ехр (- ivx) dv. (3.78)

По заданной характеристической функции в^л (vi) совокупности случайных величии i=(?i, ?п) нетрудно пайти характеристическую функцию совокупности li=(gi, k<in, случайных величин

e,W)= lim e,.(vn. (3.79)

Если - савокупность п независимых случайных величин, то плотность их совместного распределеиия факторизуется

п

W п (х?) Л щ (л) переменные интегрирования в (3.77) разде-ляются и тогда

0 (v7)=-n eg (и,), (3.80)

т. е. многомерная характеристическая функция является произведением характеристических функций каждой из случайных величин. Условие (3.80), как и условие (2.43), является необходимым и достаточным для независимости случайных величин gi,...

Пусть I и Tj - два случайных вектора. Для их независимости необходимо и достаточно выполнить условие

e.,(v, и) = в|(у)0(и). (3.80а)

Логарифм многомерной характеристической функции

%(у) = 1пв(у) (3.81)

называется многомерной кумулянтной функцией. Разлагая (3.81)

в кратный ряд Тейлора, получаем

Ы^г.....= 2 .....V . (3.81а)

где Xft,.....kj - кумулянты высших порядков.

Для совокупности независимых случайных величин из (3.80) следует

tn(v)= S Ш^кУ (3.82)

3.3.5. Вычисление моментов и кумулянтов многомерного распределения. Многомерную характеристическую функцию можно использовать для определения смешанных моментов распределения совокупности случайных величин. Если существует производная

... ] . . . ] . . . x* X

X Ш| (Xi,..., л„) ехр (i 2 и,;с,) dAjj... d;c . ( =1

3-87 65

Кумулянты многомерного распределения

......... -(- -*4

п

Простейшим кумулянтом двумерного распределения является ковариация случайных величин i и [см. (2.46)]

(3.84в)

где

Из (3.846) следует

Используя (3.78), получаем [31]

X в|.. (f 1, Уг) ехр [ - i (vi x + Vi Xj)] dt i = (Эд;,) (адгг)

Следствием (3.84в) является 100отношение

{oTCii) -оо oo

X - dx,dx,= l Tp)(..)X

X Z) W (1. 2) dx, dx,. (3.84Г)

3.3.6. Распределение вероятностей линейной комбинации случайных величин. Как было показано в п. 3.1.14, чтобы определять плотность совместного распределения линейной комбинации случайных величин, даже при лезависимости слагаемых необходимо вычислить кратный интеграл. Использование такого решения уже при умеренном числе слагаемых становится практически невозможным даже при современной вычислительной технике. Однако известно, что для характеристики линейных преобразований сигналов эффективно используется гармонический анализ (интеграл Фурье). Поэтому исследовать распределение вероятностей линейного преобразования значительно легче, если -вместо плотности вероятности рассматривать ее спектр (характеристичес-

кую функцию), поскольку при этом решение указанной задачи упрощается.

Рассмотрим совокупность случайных величин gi, In и предположим, что известна многомерная характеристическая функция (t/i, Vn) этой совокупности. Рассмотрим далее случайную величину Т1, которая представляет линейную комбинацию случайных величин gi, In

1 = S cnlk (3.85)

Характеристическая функция случайной величины г\

откуда следует

4iv)-®liciv,-ycl (3.86)

Таким образом, характеристическая функция линейной комбинации (3.85) случайных величин получается простой подстановкой Vi=CiV, 1=1, п в аргументах многомерной характеристической функции исходной совокупности случайных величин.

Плотность вероятности линейной комбинации (3.85) находим путем однократного обратного преобразования Фурье [см. (3.67)]. Конечно, такое упрощение задачи связано с предположением о том, что известна или может быть легко найдена многомерная характеристическая функция © (v). Такое предположение в некоторых случаях (практически интересных) имеет место.

Дальнейшее упрощение решения рассматриваемой задачи возможно, если случайные величины gi, In независимы. Тогда из (3.86) и (3.80) следует

W = П (3.87)

Кумулянтная функция линейной комбинации независимых случайных величин i, In

%{v)= i SfeM). (3.87a)

откуда следует

>Cm.Ti = 2 CkTim.f,. m=l,2... (3.876)

В частном случае, когда Cft=l, й=1, л, и все слагаемые имеют одинаковое распределение, т. е. 0g {v)=@(v), ijjg (и) =i)(t;), из

3* 67

(3.87), (3.87а) находим характеристическую и кумулянтную функции суммы независимых случайных величин:

I = (3.88)

= (3.88а)

откуда следует

* . 2 8. (3.886)

Характеристическая функция суммы двух независимых одинаково распределенных случайных величин

Ql.+lAv)=-&4vb (3.88b)

а характеристическая функция разности таких случайных величин

1г-1. {V) = в (t;)в (- d) = 0 {v)\\ (3.88г)

Из (3.88г) следует, что распределение разности незавиоимых, одинаково распределенных случайных величин симметричное.

Заметим, что формулы (3.87) и (3.88) легко обобщаются на векторные случайные слагаемые. Для этого достаточно скалярный аргумент v заменить векторным v соответствующей размерности.

3.3.7. Характеристическая функция совокупности гауссовских случайных величин. Характеристическая функция совокупности п зависимых гауссовских случайных величин i, gn

... ,0-ехр (/ 2 aVf,-- 2 S (3.89)

I кшшх /=.1 ;

где aft, oh - среднее и дисперсия случайной величины Ik, а fij - коэффициент корреляции случайных величин li и gj.

Формулу (3.89) легко получить, если использовать матричное представление

Og (v) = {2nГ' (det КГ i ехр {ivx -

- - (x - а)К - (х - а)} dx = ехр (iav - - vKv}, (3.90)

где v= (ti, Vn)\ a - вектор средних значений, К - ковариационная матрица, штрих указывает на транспонированную матрицу [см. (2.64)].

Кратный интеграл в (3.90) вычисляется путем линейного преобразования переменных интегрирования, приводящего квадратичную форму в показателе экспоненты к сумме квадратов (см. гл. 11 в [6]). 68

3.3.8. Распределение вероятностей линейной комбинации гауссовских случайных величин. Из (3.86) и (3.89) следует, что характеристическая функция линейной комбинации (3.85), в которой 1и In - гауосовские случайные величины,

en(y)==exp{iu 2 ftft--- 2 2 iPflfij}-

k=\ i=i /=1

Обозначая

2 fefe. 2 S CiCjOiOjrij, (3.91)

fe=l i=l /=1

перепишем это выражение

On {v) = ехр {iav - aV/2}. (3.92)

Сравнивая (3.92) с (3.74), замечаем, что линейная комбинация произвольно зависимых гауссовских случайных величин представляет гауссовскую случайную величину, подчиняющуюся нормальному распределению вероятностей, со средним значением и дисперсией, определяемыми согласно (3.91). При этом следует заметить, что формулы (3.91) относятся к линейным комбинациям любых случайных величин [см. (3.17) и (3.21)], а новым результатом применения метода характеристических функций является установление нормального распределения произвольной линейной комбинации любого числа случайных величин, подчиняющихся многомерному нормальному распределению. Свойство инвариантности нормального распределения по отношению к линейному преобразованию полностью характеризует этот класс распределений (подробнее см. в [7]).

3.4. ПРЕДЕЛЬНЫЕ РАСПРЕДЕЛЕНИЯ СУММ СЛУЧАЙНЫХ ВЕЛИЧИН

3.4.1. Сходимость последовательности случайных величин. Детерминированная числовая последовательность 5i, Sn сходится к величине 5, т. е. имеет единственный предел lim Sn==s, если

ДЛЯ любого е>0 существует такой номер \Nq , что при п>М^ выполняется неравенство \sn-5<8. В отличие от указанного определения предела детерминированной последовательности определение предела последовательности случайных величин зависит от критерия сходимости. Это объясняется тем, что последовательность случайных величин представляет множество числовых последовательностей, подчиняющихся вероятностному распределению.

Последовательность случайных величин gi, g п СХОДИТСЯ по распределению к случайной величине g, если последовательность функций распределения Fix), Fi(x) сходится к функции распределения Fi {х) во всех точках непрерывиости последней. Кратко сходимость по указанному критерию записывают в виде:

Л* I, Сходимость по распределению называют также слабой

сходимостью. Если функции (х), k=l, п, и Fi (х) дифференцируемы, то при слабой сходимости плотности wi (х) сходятся к (х) и, соответственно, характеристические функции es (V) - к Siiv). . .мШ

Последовательность случайных величин gi, In сходится по вероятности к случайной величине g, если для любого 1>0

lim P{Un-g>s} = 0 (3.93)

. П. в или кратко 9п - ё-

П->оо

Последовательность случайных величин i, In сходится в среднеквадратическом к случайной величине , если

Ип1та(1п-Ш=0 (3.94)

при кратко g.

n->oo

Из сходимости в среднеквадратическом следует сходимость по вероятности, а из сходимости по вероятности - сходимость по распределению.

Приведенные критерии сходимости относятся к последовательностям не только скалярных случайных величин, но и векторных. Так, для определения слабой сходимости последовательностей векторных случайных величин достаточно одномерные функции распределения заменить многомерными, а для определения сходимости по вероятности и в среднеквадратическом потребовать, чтобы соотношения (3.93) и (3.94) выполнялись для каждой компоненты вектора п.

3.4.2. Сходимость последовательности сумм случайных величин. При теоретических исследованиях и практических приложениях теории часто необходимо решать задачу определения функции распределения сумм конечного числа случайных величин (линейной комбинации случайных величин). В общем случае решение этой задачи даже при использовании метода характеристических функций сопряжено с известными трудностями (см. п. 3.1.14 и 3.3.6). Исключение составляет сумма конечного числа (даже зависимых) гауссовских случайных величин, которая представляет гауосовскую случайную величину, т. е. подчиняется нормальному закону распределения вероятностей (см. п. 3.3.8). Можно указать и еще несколько примеров, когда закон распределения суммы произвольного конечного числа одинаково распределенных независимых случайных величин совпадает с законами распределения слагаемых (см. задачи 3.14 и 3.15). Однако, как правило, закон распределения суммы случайных величин не повторяет закона распределения слагаемых. Задача становится еще сложнее, если функции распределения слагаемых суммы различны. 70

в тех случаях, когда решение задачи ири конечных параметрах громоздко ИЛИ практически епригодно, применяется асимптотическое решение, которое затем используется в допредельном случае, если сходимость достаточно быстрая. В рассматриваемой задаче асимтотический подход имеет место, когда число слагаемых в сумме неограниченно увеличивается. Для этого необходимо исследовать сходимость последовательности сумм случайных ве-

п

ЛИЧИН г]п= 2 Iky когда п-оо,

Прежде всего следует отметить, что содержательное исследование сходимости сумм случайных величин возможно лишь после соответствующего центрирования и иормирования сумм. Пусть, например, все слагаемые g, k=\, п, независимы и распределены по одному и тому же закону, причем mi{gft}=a, [Х2{14 =<°° Toгдa mi{r]n}=na, 1x2 {у\п} =по. Следовательно, при п-оо среднее и дисперсия искомого предельного распределения неограничены. Однако, если вместо случайных величин суммировать центрированные случайные величины g-а, то среднее суммы всегда будет равно нулю. Нормирование центрированной суммы возможно двумя способами:

г:г!= - Е Ни-а), (3.95)

у{п' = - 2 f<ln -a). (3.96)

При первом способе \)i2WK} ojn и, следовательно, [Х2{т1п}-0 при п->оо, т. е. последовательность сумм (3.95) сходится (по меньшей мере по вероятности) к константе (к нулю). При втором способе Х2{т1п} = 1 для любого п и, следовательно, последовательность (3.96) сходится при п-оо (по меньшей мере по распределению) к случайной величине ц с параметрами rni{x\)=Q, [г2{л} = 1.

Если распределения слагаемых сумм независимых случайных величин различны, то центрирование и нормирование приводят к следующим выражениям:

Лп = - S (Ift - й). = Щ Ы, (3.97)

Tii=- S (lft-a,),a, = mi{y,

0= iliAlk), (3.98)

При определенных условиях последовательности нормированных сумм центрированных иезависимых случайных величин сходятся к предельной величине, вероятностные характеристики которой не зависят от индивидуальных характеристик слагаемых.

Формулировка условий возникновения подобных устойчивых закономерностей и их вероятностных характеристик составляют содержание предельных теорем теории вероятностей - закона больших чисел и центральной предельной теоремы.

3.4.3. Закон больших чисел. Пусть gi, In - последовательность независимых, одинаково распределенных случайных величин с конечными дисперсиями \x2{lk} =о^<.оо fe=l, п. Тогда последовательность сумм (3.95) сходится по вероятности к нулю, что равносильно утверждению

2 IkamAluh (3.99)

т. е. среднее арифметическое независимых, одинаково распределенных случайных величин сходится при п-оо к среднему значению слагаемого суммы. Сходимость по вероятности среднего арифметического к среднему а следует непосредственно из неравенства Чебышева. Так как [см. (3.95)] mi{T]()n} =0, 1x2} = о^/п, то из (2.29) находим

п

lim Р{ - 2 lft-a>8}==0. (3.100)

Обозначим через @(v) характеристическую функцию случайной величины (Ih-а)\/п, а через (v) - характеристическую функцию суммы (3.95). Тогда в соответствии с (3.88)

In 02 {v) = n\ne{v) ==п\п{1-oVl(2ri) -f ...) =

= (oV/(2n) + o(l/n). (3.101)

При n->oo из (3.101) следует lim в2(;) = 1, т. е. предельное

распределение последовательности сумм (3.95) вырожденное - плотность такого распределения представляет дельта-функцию в начале координат.

Формула (3.99) является аналитическим выражением закона больших чисел.

Из (3.101) следует, что с точностью до членов порядка распределение среднего арифметического независимых одинаково распределенных слз^чайных величин (при конечной дисперсии) нормальное с плотностью

1 ( 1 ( - а)

(3.102)

Если случайные величины Ik в (3.97) не распределены одинаково, то для сходимости распределения суммы (3.97) к вырожденному (плотность представляет дельта-функцию в нуле) достаточно выполнить условие

lim п-(Нв) 2 mi{\lk-cik\+*} = О, О<б< 1. (3.103)

При 6=1 получаем более простой вариант (3.103):

lim o/ 2=0, (3.103а)

где

о'п^ 2 (З.ЮЗб)

3.4.4. Центральная предельная теорема теории вероятностей.

Пусть 1и gn - последовательность независимых, одинаково распределенных случайных величин, имеющих конечные средние mi{lk}=a и дисперсии ii2{lk} = o. Тогда последовательность сумм (3.96) сходится по распределению к стандартной гауссовской случайной величине, что равносильно утверждению

lim Р

2f exp(-:)<( =fW.

(3.104)

т. е. последовательность функций распределения центрированных и нормированных сумм (3.96) случайных величин при п-оо сходится к нормальной функции распределения с параметрами (0; 1).

Формула (3.104) является аналитическим выражением центральной предельной теоремы теории вероятностей. Доказательство этой теоремы основано на исследовании последовательности характеристических функций сумм (3.96) при п-оо. Обозначая @1 (v) характеристическую функцию центрированной случайной величины Ik-а, получаем согласно (3.71)

= ij-...

В соответствии с (3.88) логарифм характеристической функции

(3.105)

суммы (3.96)

Из (3.105) следует

lim (v) = ехр (- , (3.106)

т. е. последовательность характеристических функций сумм (3.96) при п-оо сходится к характеристической функции гауссовской случайной величины с нулевым средним и единичной дисперсией.

Если случайные величины Ik в (3.98) не распределены одинаково, то для слабой сходимости сумм (3.98) к стандартной гауссовской случайной величине достаточно выполнить условие: при б>0

limo-2+ 2 mi{g-a,2+6} = 0. (3.107)