Bài giảng Xác suất thống kê - Chương 2: Xác suất và quá trình ngẫu nhiên

Chương 2: Xác suất và quá trình ngẫu nhiên
1 Sự kiện, xác suất, tính độc lập thống kê
2 Biến ngẫu nhiên
3 Quá trình ngẫu nhiên
4 Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 0. 1/ 80
1. Sự kiện, xác suất, tính độc lập thống kê
1 Sự kiện, xác suất, tính độc lập thống kê
Khái niệm
Sự kiện
Xác suất
Sự kiện đồng thời, xác suất đồng thời
Xác suất có điều kiện
Tính độc lập thống kê
2 Biến ngẫu nhiên
3 Quá trình ngẫu nhiên
4 Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 2/ 80
1.1.Khái niệm
Xác suất là một lý thuyết nhánh của toán học nghiên cứu
về các hiện tượng ngẫu nhiên, cung cấp một công cụ hình
thức để suy luận trong các trường hợp thông tin không đầy
đủ.
Xác suất, giống như toán học, dựa trên một số các tiên đề,
dùng các phương pháp suy luận và các công cụ toán học
để suy ra các định lý
Thống kê là khoa học xuất phát từ thực tế, cho phép xây
dựng các mô hình của các hiện tượng tự nhiên, sử dụng
cách suy luận qui nạp: dựa trên một số lượng các dữ liệu
quan sát được, tìm các qui luật, các mô hình của các hiện
tượng
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 3/ 80
1.1.Khái niệm
Thực nghiệm (phép thử) ngẫu nhiên:
không thể dự đoán trước kết quả
cho các kết quả khac nhau khi tất cả các tham số, các điều
kiện như nhau
Các kết quả có thể của phép thử tạo ra một tập hợp (ký
hiệu bằng S).
Gieo con xúc xắc, kết quả thu được nằm trong tập
hợp{1,2,3,4,5,6}
Tung một đồng xu, tập kết quả là {Sấp, Ngửa}
Tuổi của người gặp đầu tiên trong ngày{1 . . .100}
Quan sát các gói tin chạy qua một thiết bị mạng trong
khoảng thời gian 15’: tập kết quả là:???
Một tập con A của tập S định nghĩa sự kiện "kết quả thu
được của phép thử nằm trong A" gọi tắt là sự kiện A.
Ví dụ: gieo con xúc xắc được số chẵn
Tung đồng xu được mặt sấp
Người đầu tiên gặp trong ngày còn trẻ (tuổi <30)
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 4/ 80
1.1.Khái niệm (Tiếp)
Với tập S cố định, có thể định nghĩa phép bù, phép hợp,
phép giao trên các tập con.
Có thể định nghĩa phép bù, phép hợp, phép giao trên các
sự kiện:
Sự kiện bù của sự kiện A là sự kiện: "kết quả thu được của
phép thử nằm trong tập S \ A ký hiệu A¯
Ví dụ Sự kiện bù của sự kiện gieo con xúc xắc được {3, 4} là
sự kiện gieo con xúc xắc được {1, 2, 5, 6}
Hợp của hai sự kiện A ∪ B là sự kiện "kết quả thu được của
phép thử nằm trong tập A ∪ B
Hợp của sự kiện "gặp người dưới 18 tuổi" và sự kiên "gặp
người dưới trên 16 dưới 60" là sự kiện "gặp người dưới 60
tuổi"
Giao của hai sự kiện A ∪ B là sự kiện "kết quả thu được của
phép thử nằm trong tập A ∩ B
Giao của hai sự kiện trên là sự kiện (gặp người từ 16 đến
18 tuổi)
Hai sự kiện loại trừ lẫn nhau A ∩ A¯ = ∅
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 5/ 80
1.2.Xác suất
Khái niệm
Là một độ đo của sự kiện, đo độ xác định của một sự kiện
trước khi sự kiện đó xảy ra
Xác định lượng hiểu biết về sự kiện trước khi sự kiện đó xảy
ra
Sự kiện nào chắc chắn sẽ xảy ra thì có xác suất bằng 1
Các sự kiện khác không chắc chắn xảy ra có xác suất
dương, nhỏ hơn 1
Cách đo
Cần định lượng khả năng xuất hiện của một sự kiện.
Thực hiện các thực nghiệm lặp lại (giả thiết là các tính chất
ảnh hưởng đến kết quả không phụ thuộc thời gian)
Sau N lần thử, sự kiện A xuất hiện k lần.
Tỷ số kN có thể dùng để đặc trưng cho khả năng xuất hiện
của A với N lần thử đó.
Sau rất nhiều lần thử, khả năng xuất hiện của A thể hiện
bằng giá trị trung bình của kN .
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 6/ 80
1.2.Xác suất (Tiếp)
Giá trị đó chính là xác suất xuất hiện của A, ký hiệu P(A).
Sử dụng các tính toán xác suất
Tính chất
0 ≤ P(A) ≤ 1: Xác suất là số dương nhỏ hơn 1.
P(S) = 1: xác suất của sự kiện luôn luôn xảy ra bằng 1.
P(∅) = 0.
Xác suất của hợp hai sự kiện rời nhau bằng tổng hai xác
suất:
P(A ∪ B) = P(A) + P(B) nếu A ∩ B = ∅
Tổng quát P(∪(Ai)) =
∑
Ai nếu Ai ∩ Aj = ∅ ∀ i , j
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 7/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Sự kiện đồng thời của hai sự kiện A,B là sự kiện "Cả A và
B đều xuất hiện".
Các sự kiện riêng rẽ: gieo xúc xắc được 6, tung đồng xu
sấp. Sự kiện đồng thời: Vừa tung đồng xu sấp, vừa gieo
xúc xắc được 6
Xác suất đồng thời của hai sự kiện là xác suất xuất hiện
đồng thời của hai sự kiện đó.
Xét hai phép thử A,B
A cho các sự kiện Ai ∈ A,0 ≤ i ≤ m.
B cho các sự kiện Bj ∈ B,0 ≤ j ≤ n.
Sự kiện đồng thời của Ai và Bj là sự kiện tạo từ tập các giá
trị (Ai ,Bj),0 ≤ i ≤ m,0 ≤ j ≤ n sao cho Ai ∈ A và Bj ∈ B,
Xác suất đồng thời của Ai và Bj là xác suất của sự kiện
đồng thời (Ai ,Bj), P(Ai ,Bj)
Tính chất
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 8/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời (Tiếp)
0 ≤ P(Ai ,Bj) ≤ 1.
Nếu Bj loại trừ lẫn nhau thì P(Ai) =
∑m
j=1 P(Ai ,Bj).
Nếu Ai loại trừ lẫn nhau thì P(Bj) =
∑n
i=1 P(Ai ,Bj).
Nếu Ai ,Bj loại trừ lẫn nhau thì
∑n
i=1
∑m
j=1 P(Ai ,Bj) = 1.
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 9/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Xét hai sự kiện A,B có xác suất đồng thời là P(A,B).
Khi B đã xuất hiện, xác suất xuất hiện của A gọi là xác
suất có điều kiện, với điều kiện B đã xuất hiện.
Ví dụ Sự kiện B: M đã học thi Sự kiện A: M thi qua Xác suất
có điều kiện: xác suất M thi qua với điều kiện M đã học thi
Định nghĩa:
P(A|B) = P(A,B)P(B)
Như vậy:
P(A,B) = P(A).P(B|A) = P(B).P(A|B)
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 10/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời (Tiếp)
Công thức Bayes: Nếu Ai ,1 ≤ i ≤ n là các sự kiện loại trừ
lẫn nhau, ∪ni=1Ai = S, B là sự kiện có xác suất lớn hơn 0
thì
P(Ai |B) = P(Ai ,B)P(B) =
P(B,Ai)
P(B|A)P(A) =
P(B|Ai)P(Ai)
n∑
j=1
(
P(B|Aj)P(Aj)
)
P(Ai |B) gọi là xác suất hậu nghiệm, còn P(B|Ai) gọi là xác
suất tiên nghiệm
ý nghĩa trong truyền tin
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 11/ 80
1.3.Sự kiện đồng thời, xác suất đồng thời
Nếu A và B là hai sự kiện xảy ra hoàn toàn độc lập với
nhau thì
P(A|B) = P(A)
và
P(B|A) = P(B)
Xác suất đồng thời của A và B sẽ là
P(A,B) = P(A).P(B)
Hai sự kiện A và B gọi là độc lập thống kê với nhau.
Tổng quát hơn, nếu Ai ,1 ≤ i ≤ n độc lập thống kê thì
P(A1,A2, . . . ,An) =
n∏
i=1
P(Ai)
Chương 2: Xác suất và quá trình ngẫu nhiên 1. Sự kiện, xác suất, tính độc lập thống kê 12/ 80
2. Biến ngẫu nhiên
1 Sự kiện, xác suất, tính độc lập thống kê
2 Biến ngẫu nhiên
Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật độ xác
suất
Biến ngẫu nhiên
Hàm phân bố xác suất
Hàm mật độ xác suất
Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Hàm phân bố xác suất có điều kiện
Biến ngẫu nhiên độc lập thống kê
Hàm của biến ngẫu nhiên
Các trị trung bình thống kê
Mô men, mô men trung tâm
Mô men hợp, mô men trung tâm hợp, hàm tương quan, hàm hiệp
biến
Biến ngẫu nhiên nhiều chiều
Hàm đặc tính
Tổng các biến ngẫu nhiên
Hàm đặc tính nhiều chiều
Một số phân bố xác suất thường gặp
Phân bố nhị thức
Phân bố đều
Phân bố Gaussian
3 Quá trình ngẫu nhiên
4 Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 13/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Cần định lượng hóa các kết quả thu được từ một phép thử
s ∈ S.
Thực hiện một ánh xạ từ tập hợp kết quả thu được lên tập
hợp số thực
X : S → <, s→ X (s)
.
Biến số X (s) nhận các giá trị thực, phản ánh kết quả của
phép thử s; gọi là một biến ngẫu nhiên, có thể dùng để đặc
trưng cho giá trị s của phép thử.
Có thể gọi tắt X thay cho X (s)
Ví dụ
Khi gieo một con xúc xắc, có thể dùng một biến ngẫu nhiên
X nhận 6 giá trị thực (chẳng hạn 1,2,3,4,5,6) tương ứng
với 6 mặt.
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 14/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Khi tung một đồng xu, có thể dùng một biến ngẫu nhiên X
nhận 2 giá trị thực 0,1 tương ứng với kết quả sấp ngửa.
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 15/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Định nghĩa
Xét một phép thử, kết quả thu được s biểu thị bằng biến
ngẫu nhiên X (s).
Mỗi sự kiện có một xác suất xuất hiện nào đó.
Cần một đặc trưng toán học cho xác suất của tất cả các sự
kiện: hàm phân bố xác suất :
F (x) = P({s : X (s) ≤ x}), −∞ < x <∞
Ví dụ
Xúc xắc, biến ngẫu nhiên X nhận 6 giá trị thực
{1,2,3,4,5,6} tương ứng với 6 mặt, xác suất đều nhau:
Tung xu, biến ngẫu nhiên X nhận 2 giá trị thực −1,1 tương
ứng với kết quả sấp ngửa, xác suất đều nhau:
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 16/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 17/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 18/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất
Phân biệt biến ngẫu nhiên liên tục và biến ngẫu nhiên rời
rạc
Hàm mật độ xác suất là đạo hàm của hàm phân bố xác
suất theo X
p(x) = dF (x)dx
Do đó
F (x) =
∫ x
−∞
p(u)du∫ ∞
−∞
p(u)du = 1
P(x1 < x ≤ x2) = F (x2)− F (x1) =
∫ x2
x1
p(u)du
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 19/ 80
2.1.Biến ngẫu nhiên, hàm phân bố xác suất, hàm mật
độ xác suất (Tiếp)
Nếu hàm phân bố không liên tục thì
p(x) =
n∑
1
P(X = xi)δ(x − xi)
Trong đó δ(x) là hàm xung đơn vị, δ(x) = 1 với x = 0,
δ(x) = 0 với x 6= 0
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 20/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Xét hai sự kiện biểu thị bởi hai biến ngẫu nhiên X1,X2. Hai
biến này có thể coi là một biến ngẫu nhiên 2 chiều (X1,X2)
biểu thị sự kiện đồng thời.
Hàm phân bố xác suất 2 chiều
F (x1, x2) = P(X1 ≤ x1,X2 ≤ x2) =
∫ x1
−∞
∫ x2
−∞
p(u1,u2)du1du2
Hàm mật độ xác suất 2 chiều p(x1, x2) = d
2
dx1dx2F (x1, x2)
Khi lấy tích phân theo biến này, thu được hàm mật độ xác
suất của biến kia∫ ∞
−∞
p(x1, x2)dx1 = p(x2);
∫ ∞
−∞
p(x1, x2)dx1 = p(x1)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 21/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
(Tiếp)
Hai hàm này thường gọi là hàm mật độ phân bố xác suất
biên
Lấy tích phân theo cả hai biến∫ ∞
x1=−∞
∫ ∞
x2=−∞
p(x1, x2)dx1dx2 = 1
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 22/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Xét hai biến ngẫu nhiên X1,X2 có hàm mật độ phân bố xác
suất đồng thời là p(x1, x2). Giả sử đã biết
x2 −∆x2 < X2 ≤ x2 và muốn xác định xác suất X1 ≤ x1,
trong đó ∆x2 > 0:
P(X1 ≤ x1|x2 −∆x2 < X2 ≤ x2)
Theo công thức của xác suất có điều kiện
P(X1 ≤ x1|x2 −∆x2 < X2 ≤ x2) =
P(X1 ≤ x1, x2 −∆x2 < X2 ≤ x2)
P(x2 −∆x2 < X2 ≤ x2)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 23/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
(Tiếp)
Thay các xác suất bằng các tích phân (giả sử tất cả các
hàm đang xét đều liên tục)∫ x1
−∞
∫ x2
x2−∆x2 p(u1,u2)du1du2∫ x2
x2−∆x2 p(u2)du2
=
F (x1, x2)− F (x1, x2 −∆x2)
F (x2)− F (x2 −∆x2)
Chia cho ∆x2 và lấy giới hạn ∆x2 → 0
P(X1 ≤ x1|X2 = x2) = dF (x1, x2)/dx2dF (x2)/dx2 =
d []
∫ x1
−∞
∫ x2
−∞ p(u1,u2)du1du2]/dx2
dF (x2)/dx2
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 24/ 80
Lấy đạo hàm theo x1
p(x1|x2) = p(x1, x2)p(x2)
p(x1|x2) là hàm phân bố xác suất có điều kiện của x1 với
điều kiện đã biết x2
Như vậy
p(x1, x2) = p(x1|x2)p(x2) = p(x2|x1)p(x1)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 25/ 80
2.2.Biến ngẫu nhiên, các hàm xác suất 2 (nhiều) chiều
Nếu các biến ngẫu nhiên trong phép thử chung độc lập
thống kê lẫn nhau, xác suất xuất hiện của một giá trị của
một biến không phụ thuộc vào biến khác, thì
F (x1, x2 . . . , xn) = F (x1)F (x2) . . .F (xn)
với hàm phân bố xác suất và
p(x1, x2 . . . , xn) = p(x1)p(x2) . . .p(xn)
với hàm mật độ xác suất.
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 26/ 80
2.3.Hàm của biến ngẫu nhiên
Bài toán
Cho một biến ngẫu nhiên X với hàm mật độ phân bố xác
suất p(x). Xác định hàm mật độ phân bố xác suất của biến
ngẫu nhiên Y = G(X ).
Ví dụ Y = aX + b với a,b là hai hằng số, a > 0. Cần xác
định pY (Y ) khi biết pX (x)
Gọi hàm phân bố xác suất của X ,Y là FX (x) và FY (y)
FY (y) = P(Y ≤ y) = P(aX + b ≤ y) = P(X ≤ y − ba ) =∫ y−b
a
−∞
pX (x)dx = FX (
y − b
a )
Lấy đạo hàm theo y:
pY (y) =
1
apX (
y − b
a )
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 27/ 80
2.3.Hàm của biến ngẫu nhiên (Tiếp)
Ví dụ 2 Y = aX 3 + b
FY (y) = P(Y ≤ y) = P(aX 3+b ≤ y) = P(X ≤ 3
√
y − b
a ) =
∫ 3q y−b
a )
−∞
pX (x)dx = FX (
3
√
y − b
a ))
Lấy đạo hàm theo y:
pY (y) =
1
3a[(y − b)/a]2/3pX ((
y − b
a )
1/3)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 28/ 80
2.3.Hàm của biến ngẫu nhiên (Tiếp)
Ví dụ 2 Y = aX 2 + b,a > 0
FY (y) = P(Y ≤ y) = P(aX 2+b ≤ y) = P(|X | ≤ 2
√
y − b
a ) =
FX (
2
√
y − b
a ))− FX (−
2
√
y − b/a))
Lấy đạo hàm theo y:
pY (y) =
pX [ 2
√
y−b
a ]
2a 2
√
y−b
a
+
pX [− 2
√
y−b
a ]
2a 2
√
y−b
a
Chú ý, − 2√y − b/a và 2√y − b/a chính là hai nghiệm thực
của phương trình y = g(x).
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 29/ 80
2.3.Hàm của biến ngẫu nhiên (Tiếp)
Có thể tổng quát hóa
pY (y) =
n∑
i=1
pX (xi)
|g′(xi)|
Trong đó xi là nghiệm của phương trình g(x) = y và là hàm
của y
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 30/ 80
Nhu cầu
Sử dụng trong việc đánh giá, biểu thị các kết quả thực
nghiệm
Đặc biệt: mô men cấp 1, cấp 2, tương quan, hàm hợp biến
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 31/ 80
2.4.Các trị trung bình thống kê
Xét một biến ngẫu nhiên X với hàm mật độ xác suất p(x).
Trị trung bình hay Kỳ vọng toán học của X được tính theo
công thức
E(X ) ≡ mX =
∫ ∞
−∞
xp(x)dx
Đây cũng là mô men cấp 1 của X . Mô men cấp n được
định nghĩa bằng
E(X n) =
∫ ∞
−∞
xnp(x)dx
Xét biến ngẫu nhiên Y = g(X ). Kỳ vọng toán học của Y là
E(Y ) = E(g(X )) =
∫ ∞
−∞
g(x)p(x)dx
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 32/ 80
2.4.Các trị trung bình thống kê (Tiếp)
Nếu Y = (X −mX )n thì
E(Y ) = E((X −mX )n) =
∫ ∞
−∞
(X −mX )np(x)dx
và gọi là mô men trung tâm cấp n của biến ngẫu nhiên X
Khi n = 2 giá trị này được gọi là độ lệch trung bình bình
phương (phương sai):
σ2x =
∫ ∞
−∞
(X −mX )2p(x)dx = E(X 2)−m2x
Chươn ... hiên 2. Biến ngẫu nhiên 44/ 80
2.5.Một số phân bố xác suất thường gặp
Hàm mật độ phân bố xác suất
p(x) =
{
1/b − a, a<x<b;
0, nếu không.
Hàm phân bố xác suất
p(x) =

(1/b − a)(x − a), a<x<b;
0, nếu x<a
1, nếu x>b
Các mô men
E(X ) = 1
2
(a + b)
E(X 2) = 1
3
(a2 + b2 + ab)
σ2 =
1
12
(a − b)2
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 45/ 80
2.5.Một số phân bố xác suất thường gặp (Tiếp)
Hàm đặc tính
ψ(jv) = e
jvb − ejva
jv(b − a)
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 46/ 80
2.5.Một số phân bố xác suất thường gặp
Phân bố chuẩn, các giá trị của biến dao động xung quanh
một giá trị nào đó, càng xa giá trị gốc, xác suất xuất hiện
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 47/ 80
2.5.Một số phân bố xác suất thường gặp (Tiếp)
càng nhỏ
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 48/ 80
2.5.Một số phân bố xác suất thường gặp (Tiếp)
Hàm mật độ xác suất p(x) = 1√
2piσ
e−(x−mx )2/2σ2
Hàm phân bố xác suất
F (x) =
∫ x
−∞ p(u)du =
1√
2pi σ
∫ x
−∞ e
−(u−mx )2/2
sigma2 du
Mô men trung tâm
E
[
(X −mx)k
]
≡ µk =
{
1.3... (k − 1)σk
(
k chẵn
)
0,
(
k lẻ
)
Mô men
E(X k) =
k∑
i=0
Cikmixµk−i
Hàm đặc tính
ψY (jv) =
n∏
i=1
ψXi (jv) =
n∏
i=1
ejvmi−v2δ2i /2 = ejvmY−v2δ2y/2
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 49/ 80
Tổng của biến ngẫu nhiên Gaussian
Tổng của n biến ngẫu nhiên gaussian, độc lập thống kê là
một biến gaussian
Y =
n∑
1
Xi
Xi là các biến ngẫu nhiên phân bố Gaussian, trị trung bình
mx , sai phương σ2
Hàm đặc tính của Y
ψY (jv) =
n∏
i=1
ψXi (jv) =
n∏
i=1
ejvmi−v2δ2i /2 = ejvmY−v2δ2y/2
Như vậy Y cũng là biến ngẫu nhiên phân bố gaussian với
my =
n∑
i=1
mi , δ2y =
n∑
i=1
δ2i
Chương 2: Xác suất và quá trình ngẫu nhiên 2. Biến ngẫu nhiên 50/ 80
3. Quá trình ngẫu nhiên
1 Sự kiện, xác suất, tính độc lập thống kê
2 Biến ngẫu nhiên
3 Quá trình ngẫu nhiên
Khái niệm
Biểu diễn QTNN
Các trị trung bình thống kê
Phổ mật độ công suất
Đáp ứng của một hệ thống tuyến tính bất biến theo thời
gian với một tín hiệu vào ngẫu nhiên
Bài toán
Kết quả
Định lý lấy mẫu cho quá trình ngẫu nhiên có băng tần
hạn chế
4 Tín hiệu ngẫu nhiên rời rạc theo thời gian
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 51/ 80
3.1.Khái niệm
Tín hiệu, thông tin tất định:
Luôn luôn có giá trị xác định, tính được bằng các công thức
toán học
Có thể dự báo giá trị trong tương lai
Đặc trưng bằng các hàm giá trị chính xác
Tín hiệu thông tin, dữ liệu ngẫu nhiên
Không biểu diễn được bằng các hàm toán học chặt chẽ
Biểu diễn sử dụng các công cụ xác suất
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 52/ 80
Quá trình ngẫu nhiên
Quá trình ngẫu nhiên trong thực tế là các hàm của thời
gian
Nhiệt độ, áp suất, các tham số khí tượng
Sự thay đổi của một điện trở theo nhiệt độ
Tín hiệu đầu ra của nguồn tin, tín hiệu audio truyền trên
kênh thoại
Trong truyền tin số, khái niệm quá trình ngẫu nhiên sử
dụng để
Mô hình hóa các tín hiệu, thông tin ngẫu nhiên
Mô hình hóa tín hiệu sinh ra bởi nguồn tin
Mô hình hóa kênh tin
Mô hình hóa các nguồn nhiễu
Thiết kế các bộ thu tối ưu xử lí các tín hiệu nhận được
Ví dụ
Tín hiệu điện
f (n) = Asin(ωn + φ)
với ω, φ là các biến ngẫu nhiên là một quá trình ngẫu nhiên
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 53/ 80
Quá trình ngẫu nhiên (Tiếp)
Cố định (ω, φ) cho một hàm số theo thời gian, một thể hiện
của quá trình ngẫu nhiên, còn gọi là một hàm mẫu
Quá trình ngẫu nhiên=tập hợp các hàm mẫu có thể
Một họ biến ngẫu nhiên X , đánh chỉ số bằng thời gian X (t)
Tập hợp các giá trị cụ thể của từng biến ngẫu nhiên tạo
thành một hàm theo thời gian Xm(t) gọi là một mẫu
Tập hợp tất cả các mẫu gọi là không gian mẫu
Một quá trình ngẫu nhiên là một ánh xạ từ không gian mẫu
vào một hàm theo thời gian
Với một mẫu bất kỳ, có một hàm theo thời gian Xt(m) gọi là
một thể hiện của quá trình ngẫu nhiên
Với một giá trị bất kỳ của thời gian, có một biến ngẫu nhiên
Xác định mẫu và thời gian, Xt(m) là một giá trị xác định (số)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 54/ 80
3.1.Khái niệm
Xét các giá trị của một quá trình ngẫu nhiên X (t) tại các
thời điểm t1 > t2, . . . > tn
Các giá trị này có thể biểu diễn bằng n biến ngẫu nhiên
Xti ,1 ≤ i ≤ n Với hàm mật độ xác suất đồng thời là
p(Xt1 ,Xt2 , . . . ,Xtn)
Xét các giá trị của X (t) tại các thời điểmti + t ,1 ≤ i ≤ n. Có
hàm mật độ xác suất đồng thời là
p(Xt1+t ,Xt2+t , . . . ,Xtn+t)
Nếu
p(Xt1 ,Xt2 , . . . ,Xtn) = p(Xt1+t ,Xt2+t , . . . ,Xtn+t)∀t ,n
thì quá trình X (t) gọi là quá trình ngẫu nhiên dừng chặt
Nếu không, quá trình gọi là không dừng
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 55/ 80
3.1.Khái niệm
Xét các giá trị của một quá trình ngẫu nhiên X (t) tại các
thời điểm t1 > t2, . . . > tn là n biến ngẫu nhiên Xti ,1 ≤ i ≤ n
với hàm mật độ xác suất đồng thời là
p(Xt1 ,Xt2 , . . . ,Xtn)
Mô men cấp n của mỗi biến Xti là
E
(
xnti
)
=
∞∫
−∞
xnti p (xti )dxti
Khi X(t) là dừng chặt, các mô men sẽ không phụ thuộc vào
thời gian, do đó các mô men cũng không phụ thuộc thời
gian
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 56/ 80
Hàm tự tương quan
Mô men chung của hai biến Xti tại hai thời điểm khác nhau
E (Xt1Xt2) =
∞∫
−∞
∞∫
−∞
xt1xt2p (xt1, xt2)dxt1xt2
gọi là hàm tự tương quan φ(t1, t2) của quá trình ngẫu nhiên
X (t)
Nếu X (t) dừng, khi đó φ(t1, t2) không phụ thuộc vào t1, t2,
mà chỉ phụ thuộc vào τ = t1 − t2: φ(τ)
Chú ý
φ(τ) = φ(−τ)
φ(0) = E(X 2t )
là công suất trung bình của X (t)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 57/ 80
Hàm tự tương quan (Tiếp)
Một số quá trình ngẫu nhiên không dừng vẫn có
φ(t1, t2) = φ(t1 − t2)
gọi là dừng theo nghĩa rộng
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 58/ 80
Hàm hiệp biến
µ (t1, t2) = E {[Xt1 −m(t1)] . [Xt2 −m(t2)]} = φ (t1, t2)−m (t1)m (t2)
Khi quá trình dừng
µ (t1, t2) = µ (t1 − t2) = µ (τ) = φ (τ)−m2
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 59/ 80
Trị trung bình cho quá trình ngẫu nhiên Gaussian
Quá trình ngẫu nhiên Gaussian có các giá trị là biến ngẫu
nhiên phân bố gaussian tại mọi thời điểm
Các biến Xti với hàm hiệp biến
µ
(
ti , tj
)
=
E
{
[Xti −m (ti)] .
[
Xtk −m
(
tj
)]}
Nếu X (t) dừng thì
µ
(
ti , tj
)
= µ
(
ti − tj
)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 60/ 80
Trị trung bình của các quá trình ngẫu nhiên đồng thời
Quá trình ngẫu nhiên đồng thời X(t),Y(t)
Đặt Xti ≡ X (ti),1 ≤ i ≤ n,Yt ′j ≡ Y (t ′j ),1 ≤ j ≤ m
Hai quá trình sẽ được đặc trưng bởi hàm mật độ phân bố
xác suất đồng thời
p(xt1 , xt2 . . . xtn , y(t
′
1), y(t ′2) . . . , y(t ′m))
Hàm tương quan chéo
φxy (t1, t2) = E (Xt1Yt2) =
∞∫
−∞
∞∫
−∞
xt1yt2p (xt1, yt2)dxt1dyt2
Hàm hiệp biến chéo
µxy (t1, t2) = φxy (t1, t2)−mx (t1)my (t2)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 61/ 80
Trị trung bình của các quá trình ngẫu nhiên đồng thời
(Tiếp)
Hai quá trình gọi là độc lập thống kê nếu
p(xt1 , xt2 . . . xtn) = p(xt1 , xt2 . . . xtn |y(t ′1), y(t ′2) . . . , y(t ′m))
Hai quá trình gọi là không tương quan nếu
φxy(t1, t2) = E(Xt1)E(Yt1)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 62/ 80
Quá trình ngẫu nhiên phức
Định nghĩa Z (t) = X (t) + jY (t)
Thống kê bậc n : Z (ti),1 ≤ i ≤ n
Hàm mật độ xác suất: p(xt1 , xt2 , . . . xtn , xt1 , xt2 , . . . xtn)
Hàm tự tương quan
φzz(t1, t2) =
1
2
E(Zt1Z∗t2) =
1
2
E((Xt1 + jYt1)(Xt2 − jYt2))
=
1
2
(φxx(t1, t2) + φyy(t1, t2) + j(φyx(t1, t2)− φxy(t1, t2)))
Nếu X,Y dừng độc lập và đồng thời
φzz(t1, t2) = φzz(t1 − t2) = φzz(τ)
Hàm liên hợp phức
φ ∗zz (τ) = φzz(−τ)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 63/ 80
3.2.Phổ mật độ công suất
Tín hiệu có thể có công suất trung bình hữu hạn hoặc vô
hạn
Nếu tín hiệu có công suất hữu hạn, biểu diễn tần số có thể
thu được bằng biến đổi Fourier.
Nếu tín hiệu có công suất vô hạn và tuần hoàn, dùng chuỗi
Fourier để biểu diễn.
Hệ số của các thành phần trong chuỗi Fourier phản ánh
phân bố công suất
Quá trình ngẫu nhiên dừng có công suất vô hạn
Có thể tính được phân bố công suất theo tần số
Φ (f ) =
∞∫
−∞
φ (τ)e−j2pifτdτ Và ngược lại
φ (τ) =
∞∫
−∞
Φ (f )ej2pifτdf
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 64/ 80
3.2.Phổ mật độ công suất (Tiếp)
Từ φ (0) =
∞∫
−∞
Φ (f )df = E (|X1 (t)|)2 ≥ 0
Φ (f ) gọi là hàm mật độ công suất của quá trình ngẫu nhiên
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 65/ 80
Phổ mật độ công suất chéo
Phổ mật độ công suất chéo
Φxy(f ) =
∫ ∞
∞
φxy(τ)e−j2pifτdτ
Liên hợp phức hai vế
Φ∗xy(f ) =
∫ ∞
∞
φ∗xy(τ)ej2pifτdτ =
∫ ∞
∞
φ∗xy(−τ)e−j2pifτdτ =∫ ∞
∞
φ∗xy(τ)e−j2pifτdτ = Φyx(f )
Khi X , Y là các quá trình ngẫu nhiên thực
Φ∗xy(f ) =
∫ ∞
∞
φxy(τ)e−j2pifτdτ = Φxy(−f )
Vậy
Φyx(f ) = Φxy(−f )
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 66/ 80
3.3.Đáp ứng của một hệ thống tuyến tính bất biến theo
thời gian với một tín hiệu vào ngẫu nhiên
Xét một hệ tuyến tính bất biến theo thời gian,
Hệ thống được đặc trưng bởi đặc tính xung, là đầu ra của
hệ thống khi đầu vào là một tín hiệu xung (δ(t))
Tín hiệu đầu ra này là một hàm số theo thời gian h(t)
Tín hiệu này cũng có thể được biểu diễn bằng hàm số theo
tần số H(f )
Tín hiệu đầu ra y(t)có thể tính theo tín hiệu đầu vào x(t)
y (t) = y(
∞∫
−∞
δ(τ)x(t − τ)dτ) =
∞∫
−∞
h (τ) x (t − τ)dτ
Đầu vào và đầu ra đều là các quá trình ngẫu nhiên
X (t),Y (t), x(t), y(t) là hai hàm mẫu của X (t),Y (t)
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 67/ 80
3.3.Đáp ứng của một hệ thống tuyến tính bất biến theo
thời gian với một tín hiệu vào ngẫu nhiên (Tiếp)
Giá trị trung bình của Y (t)
my = E [Y (t)] =
∞∫
−∞
h (τ)E [X (t − τ)]dτ =
mx
∞∫
−∞
h (τ)dτ = mxH (0)
H(0) là đáp ứng của hệ khi f = 0
Giá trị trung bình của tín hiệu đầu ra bằng hằng số nhân
với giá trị trung bình của đầu vào
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 68/ 80
3.3.Đáp ứng của một hệ thống tuyến tính bất biến theo
thời gian với một tín hiệu vào ngẫu nhiên
Hàm tự tương quan của đầu ra
φyy (t1, t2) =
1
2
E (Yt1Y ∗t2) =
1
2
∞∫
−∞
∞∫
−∞
h (β)h∗ (α)E [X (t1 − β)X ∗ (t2 − α)]dαdβ
=
∞∫
−∞
∞∫
−∞
h (β)h∗ (α)φxx (t1 − t2 + α− β)dαdβ
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 69/ 80
3.3.Đáp ứng của một hệ thống tuyến tính bất biến theo
thời gian với một tín hiệu vào ngẫu nhiên (Tiếp)
Nếu đầu vào dừng, đầu ra cũng dừng
φyy (τ) =
∞∫
−∞
∞∫
−∞
h (β)h∗ (α)φxx (τ + α− β)dαdβ
Áp dụng biến đổi Fourier cho cả hai vế có phổ mật độ công
suất
Φyy(f ) =
∞∫
−∞
φyy(τ)e−j2pifτdτ =
∞∫
−∞
∞∫
−∞
∞∫
−∞
h∗(α)h(β)φxx(τ + α− β)e−j2piτdτdαβ
= Φxx(f ) |H(f )|2
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 70/ 80
3.3.Đáp ứng của một hệ thống tuyến tính bất biến theo
thời gian với một tín hiệu vào ngẫu nhiên (Tiếp)
Biến đổi ngược
φyy(τ) =
∞∫
−∞
Φyy(f )ej2pifτdf =
∞∫
−∞
Φxx(f )|H(f )|2ej2pifτdf
Công suất trung bình tín hiệu đầu ra
φyy(0) =
∞∫
−∞
Φxx(f )|H(f )|2df
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 71/ 80
Tín hiệu có băng tần hạn chế
Nhắc lại tín hiệu băng tần hạn chế: S(f ) = 0∀|f | >W có
thể được rời rạc hóa vớitốc độ lấy mẫu tối thiểu 2W (tốc độ
Nyquist)
Khôi phục tín hiệu từ kết quả lấy mẫu
s(t) =
∞∑
n=−∞
s
( n
2W
) sin[2piW(t− n2W)]
2piW(t− n2W)
Mở rộng công thức trên cho quá trình ngẫu nhiên
Quá trình ngẫu nhiên băng tần hạn chế Φ(f ) = 0∀|f | >W
Quá trình ngẫu nhiên có thể được biểu diễn bằng
X (t) =
∞∑
n=−∞
X
( n
2W
) sin[2piW(t− n2W )]
2piW(t− n2W )
Có thể tính phương sai của chênh lệch
E{|X (t)−
∞∑
n=−∞
X
( n
2W
) sin[2piW(t− n2W)]
2piW(t− n2W)
|2} = 0
Quá trình ngẫu nhiên được biểu diễn tương đương bằng
các mẫu, với phương sai 0, khi số mẫu lớn hơn 2W
Chương 2: Xác suất và quá trình ngẫu nhiên 3. Quá trình ngẫu nhiên 72/ 80
4. Tín hiệu ngẫu nhiên rời rạc theo thời gian
1 Sự kiện, xác suất, tính độc lập thống kê
2 Biến ngẫu nhiên
3 Quá trình ngẫu nhiên
4 Tín hiệu ngẫu nhiên rời rạc theo thời gian
Đặc trưng của tín hiệu rời rạc
Đáp ứng của hệ thống tuyến tính rời rạc
Các quá trình dừng vòng
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 73/ 80
Tín hiệu ngẫu nhiên rời rạc
Quá trình ngẫu nhiên rời rạc X (n) gồm tập hợp các dãy
biến ngẫu nhiên {x(n)}
Mô men bậc n của X (n) E[Xmn ] =
∞∫
−∞
Xmn p(Xn)dXn
Dãy tự tương quan
φ(n, k) = 1
2
E(XnX ∗k ) =
∞∫
−∞
∞∫
−∞
XnX ∗k p(XnXk)dXndXk
Dãy tự hợp biến
µ(n, k) = φ(n, k)− E(Xn)E(X ∗k )
Với quá trình ngẫu nhiên dừng, ta có
φ(n, k) ≡ φ(n−k), µ(n, k) ≡ µ(n−k), µ(n−k) = φ(n−k)−m2x
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 74/ 80
Tín hiệu ngẫu nhiên rời rạc (Tiếp)
Phổ mật độ công suất
Φ(f ) =
∞∑
n=−∞
φ(n)e−j2pifn và φ(n) =
1/2∫
−1/2
Φ(f )ej2pifndf
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 75/ 80
Đáp ứng của hệ thống tuyến tính rời rạc
Hàm đáp ứng tần số
H(f ) =
∞∑
n=−∞
h(n)e−j2pifn
Tín hiệu đáp ứng
y(n) = y(
∞∑
k=−∞
δ(k)x(n − k)) =
∞∑
k=−∞
h(k)x(n − k)
Trị trung bình của tín hiệu ra
my = mxH(0)
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 76/ 80
Đáp ứng của hệ thống tuyến tính rời rạc (Tiếp)
Dãy tự tương quan của tín hiệu ra
φyy(k) =
∞∑
i=−∞
∞∑
j=−∞
h∗(i)h(j)φxx(k − j + i)
Phổ mật độ công suất tín hiệu ra
Φyy(f ) = Φxx(f )|H(f )|2
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 77/ 80
Quá trình dừng vòng
Các quá trình ngẫu nhiên dừng, có các giá trị thống kê
tuần hoàn.
Ví dụ
X (t) =
∞∑
n=−∞
ang(t − nT )
an là dãy các biến ngẫu nhiên rời rạc, có trị trung bình
ma = E[an]∀n
dãy tự tương quan φaa(k) = 12(a
∗
nan+k)
g(t) là tín hiệu xác định
Giá trị trung bình
E[X(t)] =
∞∑
n=−∞
E(an)g(t − nT ) = ma
∞∑
n=−∞
g(t − nT )
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 78/ 80
Quá trình dừng vòng (Tiếp)
Hàm tự tương quan
φxx(t + τ, t) =
1
2
E[X(t+τ)X∗(t)] =
∞∑
n=−∞
∞∑
m=−∞
φaa(m − n)g∗(t − nT )g(t + τ −mT )
phụ thuộc vào t , τ .
Hàm tự tương quan trung bình trong một chu kỳ chỉ phụ
thuộc τ
φ¯xx(τ) =
1
T
T/2∫
−T/2
φxx(t + τ, t)dt
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 79/ 80
Quá trình dừng vòng (Tiếp)
Phổ mật độ công suất trung bình
Φxx(f ) =
∞∫
−∞
φ¯xx(τ)e−j2pifτdτ
Chương 2: Xác suất và quá trình ngẫu nhiên 4. Tín hiệu ngẫu nhiên rời rạc theo thời gian 80/ 80