Tóm tắt Luận án Phân tích thông minh tín hiệu video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe

	BỘ	GIÁO	DỤC	VÀ	ĐÀO	TẠO	
ĐẠI	HỌC	ĐÀ	NẴNG	----------	
HOÀNG LÊ UYÊN THỤC 	
PHÂN	TÍCH	THÔNG	MINH	TÍN	HIỆU	VIDEO	
HỖ	TRỢ	CHO	HỆ	THỐNG	
GIÁM	SÁT	CHĂM	SÓC	SỨC	KHỎE	
	Chuyên	ngành:	KHOA	HỌC	MÁY	TÍNH	Mã	số:	62	48	01	01	 	
TÓM	TẮT	LUẬN	ÁN	TIẾN	SĨ	KỸ	THUẬT	
Đà	Nẵng	2017	
Công	trình	được	hoàn	thành	tại:	
TRƯỜNG	ĐẠI	HỌC	BÁCH	KHOA	-	ĐẠI	HỌC	ĐÀ	NẴNG	
 Người	hướng	dẫn	khoa	học:	
1)	GS.	TS.	Jenq-Neng	Hwang	
	2)	PGS.	TS.	Phạm	Văn	Tuấn	
 Phản	biện	1:		Phản	biện	2:	Phản	biện	3:		Luận	án	sẽ	được	bảo	vệ	trước	Hội	đồng	chấm	luận	án	cấp	Trường	họp	tại:	Đại	học	Đà	Nẵng	Vào	hồi	.....	giờ	.........	ngày	..........	tháng		năm	.	
Có	thể	tìm	hiểu	luận	án	tại:	-	Thư	viện	Quốc	gia	-	Trung	tâm	Thông	tin	–	Học	liệu,	Đại	học	Đà	Nẵng	
1 
MỞ ĐẦU 
1. Đặt vấn đề 
Già hóa dân số là một trong các xu hướng đang diễn ra trên tất cả các 
khu vực và quốc gia trên thế giới, trong đó có nước ta. Mặt trái của già 
hóa là các bệnh tật liên quan đến tuổi tác xuất hiện ngày càng nhiều. Do 
đó, một yêu cầu cấp bách đặt ra là cần phải tìm các biện pháp phát hiện 
sớm các chứng bệnh nói trên nhằm can thiệp y khoa kịp thời. 
Hiện nay, hướng nghiên cứu về hệ thống giám sát chăm sóc sức khỏe 
HMS (Healthcare Monitoring System) dùng kỹ thuật phân tích thông 
minh tín hiệu video IVA (Intelligent Video Analytics) đang nhận được 
rất nhiều sự quan tâm và đã đạt nhiều thành tựu đáng khích lệ. Tuy 
nhiên, IVA vẫn đang đối mặt với một số thách thức chính như vấn đề 
góc quay, che khuất, phân vùng đối tượng, mô tả hành động, v.v. 
Xuất phát từ tình hình trên, bài toán “Phân tích thông minh tín hiệu 
video hỗ trợ cho hệ thống giám sát chăm sóc sức khỏe” được chọn làm 
đề tài nghiên cứu của của luận án. 
2. Mục đích, đối tượng và phạm vi nghiên cứu 
+ Mục đích nghiên cứu: cải thiện hệ thống sử dụng kỹ thuật IVA (còn 
gọi là hệ thống IVA) để phù hợp với các ứng dụng: 
- Phát hiện té ngã và dự đoán nguy cơ té ngã do dáng đi bất thường. 
- Phát hiện hành động bất thường. 
+ Đối tượng nghiên cứu: 
- Các khối xử lý tín hiệu trong hệ thống IVA 
- Các ứng dụng của kỹ thuật IVA vào hỗ trợ hệ thống HMS. 
+ Phạm vi nghiên cứu: 
- Tiếp cận theo phương pháp truyền thống: hệ thống IVA có hai khâu là 
trích đặc trưng và nhận dạng. 
- Sử dụng một camera 2D gắn cố định, môi trường quay trong nhà, nền 
tĩnh, trong cảnh quay chỉ có một người. 
- Các kịch bản: (1) người tham gia đang thực hiện các hoạt động thông 
thường thì bị té, hoặc (2) đi bộ với các kiểu dáng đi bệnh lý khác nhau, 
2 
hoặc (3) thực hiện một hành động nào đó trong suốt cảnh quay. 
2. Phương pháp nghiên cứu 
Phương pháp kết hợp lý thuyết và thực nghiệm. 
3. Cấu trúc của luận án 
- Mở đầu 
- Chương 1 trình bày tổng quan về hệ thống HMS, kỹ thuật cảm biến và 
IVA trong HMS, các bước trích đặc trưng và nhận dạng trong IVA. 
- Chương 2 trình bày cấu trúc các hệ thống HMS trên nền IVA đề xuất, 
các tính toán cho các khâu trong hệ thống. 
- Chương 3 trình bày kết quả thực nghiệm đánh giá hệ thống HMS ứng 
dụng phát hiện té ngã và dự đoán nguy cơ té ngã do dáng đi bất thường. 
- Chương 4 trình bày kết quả thực nghiệm đánh giá hệ thống HMS trong 
ứng dụng phát hiện hành động bất thường. 
- Kết luận. 
4. Đóng góp chính của luận án 
Đóng góp về mặt khoa học: 
- Hệ thống hóa các nghiên cứu mới về kỹ thuật IVA, đặc biệt tập trung 
vào IVA ứng dụng hỗ trợ cho HMS (công trình [1], [2], [6]). 
- Đề xuất mới bộ mô tả đặc trưng 3D GRF (Geometric Relation 
Features) có khả năng đối phó với vấn đề góc quay và che khuất (công 
trình [3]). 
- Đề xuất mới phương pháp nhận dạng hành động gần tuần hoàn dùng 
mô hình HMM tuần hoàn (Cyclic HMM) (công trình [5]). 
Ngoài ra, trong quá trình thực hiện luận án, một số hệ thống được 
xây dựng gồm: 
- Hệ thống phát hiện té ngã thực tế (công trình[9]). 
- Hệ thống phát hiện dáng đi bất thường (công trình [10], [12]). 
- Hệ thống nhận dạng hành động (công trình [4], [7], [8]). 
- Hệ thống phát hiện hành động bất thường (công trình [11]). 
3 
Chương	1:	NGHIÊN	CỨU	TỔNG QUAN	
Nội dung của chương gồm: tổng quan về hệ thống HMS, kỹ thuật 
cảm biến và IVA sử dụng trong hệ thống HMS, đặc biệt tập trung vào 
IVA với hai bước xử lý là trích đặc trưng và nhận dạng. 
Kết quả nghiên cứu tổng quan đã được công bố ở công trình [1], [2], 
[6] trong Danh mục công trình của tác giả. 
1.1 Hệ thống giám sát chăm sóc sức khỏe HMS 
Là hệ thống quan sát, theo dõi bệnh nhân từ xa nhằm thu thập thông 
tin về tình trạng sức khỏe, phát hiện tai nạn hoặc các bất thường sức khỏe. 
1.1.1. Ứng dụng của hệ thống HMS 
1.1.2. Cấu trúc của hệ thống HMS 
Một hệ thống HMS tối thiểu có ba thành phần chính như trên Hình 
1.1. Dữ liệu thu nhận có thể dựa vào cảm biến hoặc camera (camera 
cũng là một loại cảm biến nhưng là cảm biến 2 chiều). 
Hình 1.1. Sơ đồ cấu trúc của hệ thống HMS điển hình. 
1.2. Kỹ thuật cảm biến 
1.2.1. Cấu trúc của nút mạng cảm biến 
1.2.2. Ứng dụng của kỹ thuật cảm biến 
1.2.3. Các vấn đề cần quan tâm khi ứng dụng kỹ thuật cảm biến vào 
hệ thống HMS 
Số lượng cảm biến lớn dẫn đến vận hành bảo dưỡng mạng phức tạp, 
việc gắn cảm biến gây khó khăn và phiền phức cho bệnh nhân, v.v. 
4 
1.3. Kỹ thuật IVA 
Tín hiệu video ghi hình đối tượng quan tâm được phân tích và đưa ra 
kết quả là những sự kiện gì đang xảy ra trong đoạn video đó. Mức độ 
“thông minh” được định lượng dựa vào tỷ lệ nhận dạng chính xác. 
1.3.1. Cấu trúc hệ thống sử dụng kỹ thuật IVA 
Trong phạm vi luận án, xét hệ thống IVA truyền thống gồm hai bước 
chính là trích đặc trưng và nhận dạng hành động như trên Hình 1.2. 
Hình 1.2. Sơ đồ cấu trúc của hệ thống sử dụng kỹ thuật IVA điển hình. 
1.3.2. Ứng dụng của kỹ thuật IVA 
1.3.3. Một số nghiên cứu gần đây về ứng dụng IVA vào hệ 
thống HMS 
1.3.3.1. Giám sát các hoạt động hàng ngày ADL (Activities of Daily 
Living) 
1.3.3.2. Phát hiện tai nạn té ngã 
1.3.3.3. Phân tích dáng đi 
1.3.3.4. Hỗ trợ phục hồi chức năng 
1.3.4. Các vấn đề cần quan tâm khi ứng dụng IVA vào hệ thống HMS 
Vấn đề góc quay, cảnh nền động, bóng đổ, che khuất, vẻ bề ngoài 
của đối tượng thay đổi, cách thức thực hiện hành động khác nhau, v.v. 
1.4. Quá trình trích đặc trưng trong hệ thống IVA 
Trích đặc trưng tương đương với biến đổi mỗi khung hình thành một 
vector đặc trưng. Vector đặc trưng cần phải chứa đựng các đặc tính hữu 
hiệu và nổi bật nhất của một hành động, bất kể hành động đó được thực 
hiện bởi ai, thực hiện như thế nào, vào lúc nào và ở góc quay nào. 
1.4.1. Phân vùng đối tượng 
5 
Đối với camera tĩnh, phương pháp phân đoạn đối tượng phổ biến nhất 
là trừ nền dùng mô hình hợp Gauss GMM1 (Gaussian Mixture Model), 
tạo ra ảnh mặt nạ chứa đối tượng màu trắng trên nền đen. 
1.4.2. Mô tả đặc trưng 
1.4.2.1. Đặc trưng số thực 
Thành phần của vector đặc trưng là số thực. Có thể mô tả đặc trưng 
dựa vào hình dáng (shape-based) hoặc dòng chuyển động (flow-based). 
1.4.2.2. Đặc trưng số nhị phân 
Dùng các giá trị 0 hoặc 1 để biểu diễn quan hệ hình học nhị phân 
giữa các điểm khác nhau trong cơ thể. 
Đặc trưng nhị phân điển hình2 là một tập các số 0, 1 để biểu thị một 
điểm nào đó trên cơ thể ở trước/sau, bên phải/bên trái, trên/dưới của một 
mặt phẳng cơ thể, tư thế gập/duỗi của một bộ phận cơ thể, v.v. 
1.4.3. Thảo luận về các bộ mô tả đặc trưng 
Nhìn chung, đặc trưng số thực cho kết quả nhận dạng tốt nhưng vì 
chủ yếu dựa trên thông tin 2D nên nhạy với nhiễu, với sự che khuất và 
phụ thuộc vào góc quay của camera. 
Đặc trưng số nhị phân được tính từ tọa độ 3D gồm cả chiều sâu nên 
khắc phục được các khuyết điểm của đặc trưng số thực, nhưng do chỉ 
dùng số 0 và 1 nên không đủ mềm dẻo để mô tả các hành động phức tạp. 
1.5. Quá trình nhận dạng hành động trong hệ thống IVA 
Bước này chính là xác định xem chuỗi vector đặc trưng trích được mô 
tả đúng nhất cho hành động nào trong số các hành động đã huấn luyện. 
1.5.1. Nhận dạng tĩnh 
Không quan tâm đến thông tin thời gian trong tín hiệu mà thực hiện 
dựa vào các khung trọng yếu. Tiêu biểu là phương pháp K-NN (K-
Nearest Neighbor) và SVM (Support Vector Machine). 
1.5.2. Nhận dạng động 
1 Stauffer và Grimson (1999) 
2 Meinard Muller và cộng sự (2005) 
6 
1.5.2.1. Phương pháp so khớp mẫu 
So sánh chuỗi vector đặc trưng trích từ đoạn video kiểm tra và từ 
đoạn video huấn luyện để xác định chúng có tương tự nhau hay không. 
Tiêu biểu là phương pháp DTW (Dynamic Time Warping). 
1.5.2.2. Phương pháp dùng mô hình không gian trạng thái 
Mỗi hành động được biểu diễn bằng một mô hình nhiều trạng thái, 
mỗi trạng thái tương đương với một tư thế. Để nhận dạng, tính xác suất 
mà mỗi mô hình có thể sinh ra chuỗi vector đặc trưng trích từ đoạn 
video kiểm tra, để đo khả năng mô hình đó sinh ra chuỗi vector đó. Tiêu 
biểu là mô hình HMM (Hidden Markov Model). 
1.5.3. Thảo luận về các phương pháp nhận dạng hành động 
Tỷ lệ nhận dạng theo phương pháp nhận dạng tĩnh bị phụ thuộc vào 
khung trọng yếu. 
Phương pháp so khớp mẫu đơn giản nhưng nhạy với nhiễu và chịu 
chi phối bởi thứ tự thời gian của các khung hình. 
Phương pháp dùng mô hình không gian trạng thái khắc phục được 
khuyết điểm của phương pháp so khớp mẫu nhưng tính toán phức tạp 
hơn, đòi hỏi số lượng dữ liệu lớn và hiện chưa có lý thuyết xác định cấu 
trúc cũng như giá trị tối ưu của các thông số mô hình. 
1.6. Định hướng vấn đề nghiên cứu 
1.6.1. Bài toán xây dựng hệ thống HMS trên nền IVA 
1.6.1.1. Bài toán phát hiện té ngã 
Yêu cầu phát hiện và cảnh báo té ngã từ đoạn video ghi hình đối 
tượng quan tâm sống một mình tại nhà và đang thực hiện các hoạt động 
thông thường thì bị ngã. Góc quay của camera là tùy ý. 
1.6.1.2. Bài toán dự đoán nguy cơ té ngã 
Yêu cầu phát hiện dáng đi bất thường từ đoạn video ghi hình đối 
tượng quan tâm sống một mình tại nhà và đi bộ theo đường thẳng với 
góc quay bên hông. Kết quả phát hiện dáng đi bất thường có thể hỗ trợ 
cho dự đoán nguy cơ té ngã, vì dáng đi bất thường là một trong các yếu tố 
nguy cơ gây ra té ngã. 
7 
1.6.1.3. Bài toán dự đoán chứng rối loạn nhận thức 
Yêu cầu phát hiện hành động bất thường từ đoạn video ghi hình đối 
tượng quan tâm sống một mình tại nhà và đang thực hiện một hành động 
nào đó với góc quay tùy ý. Kết quả được dùng để hỗ trợ dự đoán chứng 
rối loạn nhận thức nhẹ MCI (Mild Cognitive Impairment), vì nghiên 
cứu cho thấy chứng MCI có gây ra hành động bất thường. 
1.6.2. Các vấn đề thiết yếu về hệ thống HMS đề xuất 
1.6.2.1. Các khó khăn khi xây dựng hệ thống HMS 
- Khó khăn về kỹ thuật: như trình bày ở 1.3.4 
- Khó khăn phi kỹ thuật: cơ sở dữ liệu video, vấn đề về quyền riêng tư. 
1.6.2.2. Trích đặc trưng trong hệ thống HMS đề xuất 
Do môi trường quay trong nhà, camera gắn cố định và nền tĩnh nên 
dùng phương pháp trừ nền GMM để phân vùng đối tượng. 
Các bộ mô tả đặc trưng thay đổi tùy ứng dụng, nhằm khai thác được 
những đặc điểm nổi bật nhất và khác biệt nhất của từng loại hành động 
cần nhận dạng. 
1.6.2.3. Nhận dạng hành động trong hệ thống HMS đề xuất 
Từ các phân tích ở mục 1.5.3, mô hình HMM được chọn dùng trong 
các hệ thống HMS đề xuất, vì lý do: (1) không phụ thuộc tốc độ thực 
hiện hành động, (2) cho kết quả nhận dạng tốt, (3) có thể mở rộng HMM 
chuẩn nhằm phục vụ những mục đích đặc biệt. 
1.7. Kết luận chương 1 
Đóng góp chính của chương là phân tích, đánh giá ưu khuyết điểm 
của các nghiên cứu về IVA. Đây là cơ sở để định hướng các vấn đề 
nghiên cứu tiếp theo trong luận án. 
Chương	2:	HỆ THỐNG HMS TRÊN NỀN KỸ THUẬT IVA	
Chương này trình bày cấu trúc và tính toán trong các hệ thống HMS 
đề xuất, nhằm hướng đến ba ứng dụng như đã trình bày ở 1.6.1. 
Các kết quả nghiên cứu về hệ thống HMS đề xuất đã được công bố ở 
các công trình [9]-[12] trong Danh mục công trình của tác giả. 
8 
2.1. Phân vùng đối tượng theo phương pháp trừ nền GMM 
Nguyên lý phân vùng đối tượng là so sánh khung hình hiện tại với 
mô hình nền, qua đó phân chia khung hình thành vùng chứa đối tượng 
chuyển động và vùng nền. Mô hình nền được xây dựng dựa trên mô 
hình GMM cho từng điểm ảnh và liên tục được cập nhật theo thời gian. 
Sau đó, áp dụng các phép hình thái toán học để làm mịn đường biên 
và lấp đầy các lỗ nhỏ bên trong vùng chứa đối tượng nhằm tạo nên một 
ảnh mặt nạ hoàn hảo dùng cho các bước xử lý tiếp theo. 
Hình 2.1 là một ví dụ về phân đoạn đối tượng bằng trừ nền GMM. 
Hình 2.1. Kết quả phân đoạn đối tượng bằng trừ nền GMM. 
2.2. Mô tả đặc trưng trong hệ thống HMS phát hiện té ngã 
2.2.1. Đặc điểm té ngã 
2.2.2. Tính toán vector đặc trưng té ngã 
Sự khác biệt rõ rệt giữa hành động “té ngã” và “không té” thể hiện ở 
hình dạng và tốc độ chuyển động. Do đó đặc trưng kết hợp hình dạng 
với tốc độ3 được chọn dùng trong luận án và được tính qua 4 bước sau: 
Bước 1: Xác định ellipse bao quanh đối tượng trong ảnh mặt nạ. 
Bước 2: Tính các đặc trưng hình dạng dựa vào hình ellipse để biết tư thế 
của đối tượng, gồm: 
- Góc đứng tức thời của khung hiện tại, 
- Độ thay đổi góc đứng trong 15 khung liên tiếp, 
- Độ lệch tâm tức thời, 
- Độ thay đổi trọng tâm đối tượng trong 15 khung liên tiếp. 
3 Ngo và cộng sự (2012) 
9 
Bước 3: Tính đặc trưng tốc độ chuyển động để biết tốc độ chuyển động 
nhanh hay chậm của đối tượng, dựa vào ảnh lịch sử chuyển động MHI 
(Motion History Image) được xây dựng từ 15 khung liên tiếp. 
Bước 4: Kết hợp đặc trưng hình dạng với đặc trưng tốc độ. 
2.3. Mô tả đặc trưng trong hệ thống HMS phát hiện dáng đi 
bất thường 
2.3.1. Đặc điểm dáng đi 
2.3.2. Tính toán vector đặc trưng dáng đi 
Do có sự khác biệt giữa hình dạng các ảnh mặt nạ trích từ các loại 
dáng đi bệnh lý khác nhau nên bộ mô tả đặc trưng hình dạng dựa vào 
moment Hu4 được chọn để mô tả dáng đi. 
Vì kết quả tính các giá trị của moment Hu rất bé nên áp dụng phép 
logarit để chuyển các vector đặc trưng ở rất gần nhau trong không gian 
gốc sang không gian mới, ở đó chúng cách nhau đủ xa để dễ xử lý hơn. 
2.4. Mô tả đặc trưng trong hệ thống HMS phát hiện hành động 
bất thường 
Hệ thống phát hiện hành động bất thường đề xuất dựa trên hệ thống 
nhận dạng hành động như trên Hình 2.2. 
Hình 2.2. Cấu trúc hệ thống phát hiện hành động bất thường. 
2.4.1. Cơ sở xây dựng bộ mô tả đặc trưng hành động 3D GRF 
Bộ mô tả đặc trưng 3D GRF dựa trên ý tưởng của đặc trưng nhị phân 
4 Huang và cộng sự (2010) 
10 
là mô tả quan hệ hình học giữa các điểm quan tâm trên cơ thể, nhưng 
dùng số thực có dấu thay cho số 0/1, nhằm khai thác các ưu điểm và hạn 
chế khuyết điểm của đặc trưng nhị phân như đã phân tích ở 1.4.3. 
2.4.2. Xác định dữ liệu vào của bộ mô tả đặc trưng 3D GRF 
Dữ liệu vào là tọa độ 3D của các điểm trên cơ thể (Hình 2.3), được 
ước lượng dựa vào vật đánh dấu (marker) hoặc tín hiệu video. 
 (a) (b) (c) 
Hình 2.3. Mô hình cơ thể 
(a) Ảnh gốc, (b) Mô hình 13 điểm, (c) Mô hình 3D 
Phương pháp dựa vào marker chính xác nhưng chi phí cao và phức 
tạp. Phương pháp dựa vào tín hiệu video có giá thành rẻ hơn và thực 
hiện đơn giản hơn. Qua tìm hiểu, phương pháp5 đư ... héo 1:10, kết quả là 
99/100 dáng đi Parkinson và 100/100 dáng đi bình thường được nhận 
dạng đúng, dẫn đến tỷ lệ nhận dạng chính xác rất tốt - Acc = 99.5%. 
3.4.2. Kiểm tra, đánh giá hệ thống phát hiện dáng đi bệnh lý 
3.4.2.1. Thí nghiệm phát hiện dáng đi bệnh lý 
Thí nghiệm tương tự như thí nghiệm phát hiện dáng đi Parkinson ở 
3.4.1.1, chỉ khác cơ sở dữ liệu là cơ sở dữ liệu dáng đi bất thường gồm 6 
loại dáng đi bệnh lý khác nhau đã trình bày ở 3.1.2. 
3.4.2.2. Kết quả thí nghiệm phát hiện dáng đi bệnh lý 
18 
Thí nghiệm đầu tiên được thực hiện với vector đặc trưng dùng 
moment Hu không qua logarit đối với dáng đi Ataxic và Hemiplegic cho 
kết quả nhận dạng đúng rất thấp (<50%). 
Thí nghiệm thứ hai thực hiện với vector đặc trưng dựa trên moment 
Hu đã qua phép tính logarit đối với cả 6 loại dáng đi. Kết quả là có 
49/56 đoạn Ataxic, 80/85 đoạn Hemiplegic, 92/93 đoạn Limping, 92/97 
đoạn Neuropathic, 99/100 đoạn Parkinson được nhận dạng là “bất 
thường” và 85/100 đoạn đi bình thường được nhận dạng là “bình 
thường”. Từ đây xây dựng được ma trận nhầm lẫn (tính bằng %), sau đó 
tính được các chỉ số thống kê RC=95.59%, PR=86.43%, Acc=90.30%. 
Qua thí nghiệm có thể rút ra các nhận xét về ưu điểm của hệ thống: 
- Tỷ lệ phát hiện dáng đi bất thường khá cao nên hỗ trợ tốt cho việc dự 
đoán nguy cơ té ngã do dáng đi bất thường gây ra. 
- Thời gian quan sát người đi bộ rất ngắn (độ dài đoạn video từ 10-42s). 
- Có thể ứng dụng hệ thống vào nhận dạng bệnh thông qua dáng đi. 
- Hệ thống đề xuất đơn giản hơn các hệ thống phân tích dáng đi khác. 
Các hạn chế của hệ thống gồm: 
- Hệ thống chỉ áp dụng cho góc quay bên hông. 
- Tỷ lệ dương tính giả còn cao (15% dáng đi bộ bị nhầm thành bệnh lý). 
- Tỷ lệ nhận dạng đúng dáng đi Ataxic còn thấp (87.5%). 
- Cơ sở dữ liệu chưa có sự tham gia của bệnh nhân thật. 
3.5. Kết luận chương 3 
Tóm lại, các thí nghiệm ở trên cho thấy các hệ thống HMS đề xuất 
đã cơ bản đáp ứng được mục tiêu đề ra: hệ thống phát hiện té ngã đạt 
hiệu quả phát hiện té ngã tốt với thời gian trễ rất thấp, hệ thống phát 
hiện dáng đi bất thường đạt hiệu quả nhận dạng cao nên có thể hỗ trợ tốt 
cho việc dự đoán nguy cơ té ngã. 
Chương	4:	PHÁT HIỆN HÀNH ĐỘNG BẤT THƯỜNG	
Chương này trình bày thí nghiệm kiểm tra, đánh giá hệ thống HMS 
phát hiện hành động bất thường đã trình bày trong chương 2. 
19 
Các thí nghiệm nhằm: (1) đánh giá đặc trưng 3D GRF, (2) xét ảnh 
hưởng của các yếu tố khác nhau đến tỷ lệ nhận dạng, (3) kiểm tra mô 
hình CHMM và (4) kiểm tra hệ thống phát hiện hành động bất thường. 
Kết quả nghiên cứu thực nghiệm về hệ thống HMS phát hiện hành 
động bất thường đã được công bố qua các công trình [3]-[5], [7]-[8], 
[11] trong Danh mục công trình của tác giả. 
4.1. Giới thiệu các cơ sở dữ liệu và tiêu chí đánh giá hệ thống 
4.1.1. Cơ sở dữ liệu HumanEVA 
HumanEVA được quay bởi hệ thống MOCAP, cung cấp dữ liệu là 
tọa độ 3D của các điểm gắn marker. Từ cơ sở dữ liệu HumanEVA trích 
được 152 đoạn video chứa một chu kỳ hành động, gồm 22 đoạn “đánh 
bốc”, 35 đoạn “vẫy tay”, 54 đoạn “chạy chậm” và 41 đoạn “đi bộ”. 
4.1.2. Cơ sở dữ liệu ước lượng tư thế 3D 
Toàn bộ cơ sở dữ liệu có 80 đoạn video hành động, có 20 đoạn cho 
mỗi loại hành động như “vẫy tay”, “đá”, “ném” và “đánh bốc”, mỗi 
đoạn video chỉ chứa một chu kỳ hành động hoàn chỉnh. 
4.1.3. Cơ sở dữ liệu IXMAS 
IXMAS được xây dựng bởi Viện INRIA, có tổng cộng 11 hành động 
như đã nêu ở 2.4.4. Có 12 đối tượng tham gia ghi hình, thực hiện 3 lần 
cho một hành động nên có tổng cộng 36 đoạn video cho một hành động. 
4.1.4. Tiêu chí đánh giá hệ thống 
Hệ thống phát hiện hành động bất thường đề xuất gồm 2 khối chính 
như Hình 2.3. Khối nhận dạng hành động được đánh giá dựa vào tỷ lệ 
nhận dạng đúng trung bình, được tính là trung bình cộng của tỷ lệ nhận 
dạng đúng của mỗi hành động. Khối phát hiện bất thường được đánh giá 
dựa vào các tiêu chí RC, PR và Acc. 
4.2. Đánh giá bộ mô tả đặc trưng 3D GRF 
4.2.1. Thí nghiệm về bộ mô tả đặc trưng 3D GRF 
Thí nghiệm được thực hiện theo quy trình ở Hình 3.2, cơ sở dữ liệu 
HumanEVA, bộ mô tả đặc trưng lần lượt là 3D GRF và tọa độ 3D của 
13 điểm, mô hình nhận dạng là HMM-Kmeans N = 5 và M = 64. 
4.2.2. Kết quả thí nghiệm về bộ mô tả đặc trưng 3D GRF 
20 
- Thí nghiệm 4.2.2a dùng tọa độ 3D của 13 điểm, mẫu huấn luyện lấy từ 
cả 3 người, tỷ lệ nhận dạng 76.75%. 
- Thí nghiệm 4.2.2b dùng đặc trưng mới 3D GRF, mẫu huấn luyện lấy từ 
cả 3 người, tỷ lệ nhận dạng 92.83%. 
- Thí nghiệm 4.2.2c dùng tọa độ 3D của 13 điểm, mẫu huấn luyện và 
kiểm tra lấy từ cùng một người, tỷ lệ nhận dạng 74.17%. 
- Thí nghiệm 4.2.2d dùng đặc trưng mới 3D GRF, mẫu huấn luyện và 
kiểm tra lấy từ cùng một người, tỷ lệ nhận dạng 97.5%. 
4.2.3. Nhận xét bộ mô tả đặc trưng 3D GRF 
4.2.3.1. Sự cải thiện tỷ lệ nhận dạng trung bình 
Hiệu quả nhận dạng được cải thiện nhiều khi chuyển từ tọa độ 3D 
sang đặc trưng 3D GRF (so sánh kết quả thí nghiệm 4.2.2b và 4.2.2a). 
4.2.3.2. Khả năng trích xuất đặc tính cá nhân 
Đặc trưng 3D GRF trích được các đặc tính riêng của mỗi cá nhân 
trong khi thực hiện hành động (so sánh kết quả 4.2.2d và 4.2.2c). 
4.2.3.3. Sự suy giảm tỷ lệ nhận dạng một số hành động 
Việc giảm số chiều vector đặc trưng từ 39 xuống 10 làm mất mát 
thông tin, dẫn đến các hành động chứa những cử động tương tự nhau có 
thể bị nhận dạng nhầm sang nhau, ví dụ “đánh bốc” và “chạy chậm”. 
4.3. Các yếu tố ảnh hưởng đến hiệu quả nhận dạng của mô hình HMM 
Thí nghiệm thực hiện theo Hình 3.2, cơ sở dữ liệu là ở 4.1.2, bộ mô 
tả đặc trưng là 3D GRF, mô hình nhận dạng là HMM-Kmeans. 
4.3.1. Ảnh hưởng của các tham số mô hình HMM 
Ngoài M và N, một tham số nữa là ε rất nhỏ được đưa thêm vào sau 
khi huấn luyện, nhằm giải quyết trường hợp thiếu dữ liệu huấn luyện. 
Phương pháp đánh giá là LOOCV (Leave-One-Out Cross Validation). 
4.3.1.1. Ảnh hưởng của tham số M 
Bảng 4.1. Tỷ lệ nhận dạng hành động (%) với các giá trị M khác nhau 
M 8 16 32 64 128 
Tỷ lệ (%) 91.9063 93.9075 94.9063 95.6250 95.4063 
4.3.1.2. Ảnh hưởng của tham số N 
21 
Bảng 4.2. Tỷ lệ nhận dạng hành động (%) với các giá trị N khác nhau 
N 2 3 4 5 6 7 
Vẫy tay 90.25 90.75 85.25 92.25 83.25 85.25 
Đá 100 100 100 100 100 99.75 
Ném 95.5 96 90.45 96 94 97 
Đánh bốc 95 95 92.5 95 95 95 
Trung bình 95.1875 95.4375 92.00 95.8125 93.0625 94.25 
4.3.1.3. Ảnh hưởng của tham số ε 
Bảng 4.3. Tỷ lệ nhận dạng hành động (%) với các giá trị ε khác nhau 
Từ các kết quả trên chọn tập tham số phù hợp nhất của mô hình là 
{M, N, ε} = {64, 5, 10-4} ứng với tỷ lệ nhận dạng trung bình 95.875%. 
4.3.2. Ảnh hưởng của số lượng người tham gia huấn luyện mô hình 
- Trong các thí nghiệm 4.3.2a, 4.3.2b, 4.3.2c, mẫu huấn luyện lần lượt 
lấy từ 1, 2 và 3 người, mẫu kiểm tra thuộc về người khác. Các tỷ lệ nhận 
dạng trung bình lần lượt tăng dần lên là 72.92%, 82.92% và 86.25%. 
- Thí nghiệm 4.3.2d dùng mẫu huấn luyện lấy từ cả 4 người, tỷ lệ nhận 
dạng trung bình là 95.75%. 
- Thí nghiệm 4.3.2e dùng mẫu huấn luyện và kiểm tra lấy từ cùng một 
người, tỷ lệ nhận dạng trung bình 98.75%. 
Như vậy, có thể tăng tỷ lệ nhận dạng bằng cách tăng số lượng người 
tham gia huấn luyện mô hình. 
4.4. Nhận dạng hành động gần tuần hoàn dùng mô hình CHMM 
4.4.1. Xây dựng cơ sở dữ liệu hành động gần tuần hoàn 
Để có hành động gần tuần hoàn, ta nối các đoạn video hành động 
trong cơ sở dữ liệu giới thiệu ở 4.1.2 lại với nhau sao cho các đoạn 
video mới chứa 2-5 chu kỳ hành động lặp lại. Mô hình sử dụng là 
CHMM như Hình 2.3 với {M, N, ε} = {64, 5, 10-4}. 
4.4.2 Kết quả thí nghiệm 
Kết quả cho thấy CHMM có thể ứng dụng cho hành động gần tuần hoàn. 
22 
Bảng 4.4. Tỷ lệ nhận dạng hành động (%) của hệ thống dùng CHMM 
 Tỷ lệ nhận dạng (%) 
Vẫy tay Đá Ném Đánh bốc 
Vẫy tay 80 0 20 0 
Đá 0 100 0 0 
Ném 20 0 80 0 
Đánh bốc 0 0 9.375 90.625 
4.5. Kiểm tra, đánh giá hệ thống phát hiện hành động bất thường 
4.5.1. Kiểm tra, đánh giá khối nhận dạng hành động 
4.5.1.1. Thí nghiệm nhận dạng hành động với cơ sở dữ liệu IXMAS 
Thí nghiệm thực hiện theo Hình 3.2, đặc trưng là 3D GRF 15 chiều, 
mô hình nhận dạng là CHMM với {M, N, ε} = {64, 5, 10-4}. 
4.5.1.2. Kết quả thí nghiệm nhận dạng hành động với cơ sở dữ liệu 
IXMAS 
Việc đánh giá được thực hiện theo phương thức đánh giá chéo 1:5 và 
cho kết quả tỷ lệ nhận dạng trung bình của hệ thống là 91.7%. 
4.5.1.3. So sánh hệ thống nhận dạng hành động đề xuất với các hệ 
thống nhận dạng hành động khác 
Bảng 4.5. So sánh các hệ thống nhận dạng hành động. 
Bộ mô tả đặc trưng Phương pháp nhận dạng Tỷ lệ nhận dạng (%) 
3D GRF DTW 68.2 
Tọa độ 3D tuyệt đối CHMM 74.2 
Tọa độ 3D tương đối CHMM 78.6 
Mẫu 3D HMM 80.5 
SSM-HOG SVM 71.2 
STIP SVM 85.5 
3D GRF CHMM 91.7 
Qua đây có thể khẳng định hiệu quả của việc kết hợp đặc trưng 3D 
GRF với mô hình CHMM trong nhận dạng hành động. 
4.5.2. Kiểm tra, đánh giá khối phát hiện hành động bất thường 
Về nguyên tắc, mẫu hành động bất thường liên quan đến chứng MCI 
phải được định nghĩa bởi chuyên gia tâm thần kinh. Trong giai đoạn đầu 
23 
tiên này, vì chưa phối hợp với chuyên gia y tế thu thập các mẫu hành 
động bất thường thật nên hai mẫu hành động bất thường giả lập được 
xem xét là mẫu “ thiếu vắng hành động đi bộ” và mẫu “dư thừa hành 
động bạo lực”, với hai kịch bản như sau: 
- Bệnh nhân không “đi bộ” trong khi hàng ngày luôn luôn có hoạt động 
“đi bộ” vào mỗi buổi sáng: 
Kết quả phát hiện mẫu “thiếu vắng hành động đi bộ” được xác định 
qua thí nghiệm là RC = 97.5%, PR = 100% và Acc = 98.75%. 
- Bệnh nhân thực hiện hành động bạo lực như “đấm” hoặc “đá” trong 
khi hàng ngày không bao giờ thực hiện hành động này: 
Kết quả phát hiện mẫu “dư thừa hành động bạo lực” được xác định 
qua thí nghiệm là RC = 100%, PR = 97.4% và Acc = 98.67%. 
Kết quả cho thấy khả năng ứng dụng hệ thống đề xuất vào hỗ trợ dự 
đoán chứng MCI nếu có sự phối hợp chặt chẽ với chuyên gia y tế. 
4.6. Kết luận chương 4 
Tóm lại, các thí nghiệm được thực hiện ở chương 4 cho thấy hệ 
thống HMS đề xuất đã cơ bản đáp ứng được mục tiêu đề ra, cụ thể là: 
- Đặc trưng 3D GRF có thể trích được các đặc tính hữu hiệu và nổi bật 
của từng hành động, hạn chế được ảnh hưởng của góc quay và che khuất. 
Tuy nhiên, đặc trưng GRF bị phụ thuộc vào tọa độ 3D ước lượng. 
- Các tham số phù hợp của mô hình HMM/CHMM đã được xác định 
bằng thực nghiệm. 
- Hệ thống nhận dạng hành động kết hợp 3D GRF với CHMM đạt hiệu 
quả nhận dạng cao nhất trong số các hệ thống được so sánh. 
- Tỷ lệ phát hiện hành động bất thường gần như tuyệt đối, cho thấy khả 
năng ứng dụng thực tế của hệ thống để hỗ trợ cho việc phát hiện 
chứng MCI. 
24 
KẾT LUẬN 
1. Các kết quả của luận án 
- Nghiên cứu tổng quan về hệ thống HMS và hệ thống IVA. 
- Đề xuất bộ mô tả đặc trưng 3D GRF. 
- Đề xuất mô hình CHMM cho nhận dạng hành động gần tuần hoàn. 
- Thiết kế và triển khai hệ thống phát hiện tai nạn té ngã thực tế. 
- Xây dựng hệ thống phát hiện dáng đi bệnh lý từ moment Hu và CHMM. 
- Xây dựng hệ thống nhận dạng hành động từ GRF và HMM/CHMM. 
- Xây dựng hệ thống phát hiện hành động bất thường dựa vào hệ thống 
nhận dạng hành động. 
2. Đánh giá kết quả 
- Phần nghiên cứu tổng quan vẽ nên bức tranh khá toàn diện về lĩnh vực 
nghiên cứu, giúp định hướng các nghiên cứu trong luận án. 
- Bộ mô tả đặc trưng 3D GRF trích được các thông tin hữu ích của hành 
động, hạn chế được ảnh hưởng của góc quay và sự che khuất. 
- Mô hình HMM cùng với các bộ mô tả đặc trưng phù hợp đã giúp nhận 
dạng khá thành công các loại hành động khác nhau với tỷ lệ cao. 
- Tỷ lệ phát hiện các bất thường sức khỏe cao (phát hiện té ngã >97%, 
phát hiện dáng đi bất thường >90%, phát hiện hành động bất thường 
>98%). Thời gian xử lý thấp (từ 1~5 giây với phát hiện té ngã). 
- Cơ sở dữ liệu sử dụng chưa có sự tham gia của người cao tuổi.	
- Kịch bản té ngã và hành động bất thường còn đơn giản và chưa thực tế. 
3. Hướng phát triển 
- Sử dụng camera 3D để cải thiện việc mô hình hóa cơ thể 3D. 
- Kết hợp nhận dạng hành động với thông tin ngữ cảnh W5+ (who, 
what, when, where, why, how) để hiểu ý nghĩa của hành động. 
- Phối hợp chuyên gia y tế mở rộng cơ sở dữ liệu, thu thập thêm dữ liệu 
thực, phát triển kịch bản thực tế và đa dạng hơn. Thực hiện lặp lại quy 
trình: “thu thập dữ liệu, kiểm tra, huấn luyện lại, cập nhật hệ thống” 
- Tiếp cận hệ thống HMS dựa trên nền IVA theo phương pháp học sâu. 
25 
DANH MỤC CÔNG TRÌNH KHOA HỌC 
1. Le Thi My Hanh, Hoang Le Uyen Thuc, and Pham Van Tuan, “A Survey on 
Advanced Video Based Health Care Monitoring Systems,” 2012 Int. Conf. 
BioSciences and Bio Electronics, pp. 1-8, 2012. 
2. Hoàng Lê Uyên Thục, Phạm Văn Tuấn, and Jenq-Neng Hwang, “Recent advances 
on video-based human walking gait analysis,” Tạp chí Khoa học Công nghệ 
ĐHĐN, số 8[57], trang 253-261, 2012. 
3. Hoang Le Uyen Thuc, Pham Van Tuan, and Jenq-Neng Hwang, “An Effective 3D 
Geometric Relational Feature Descriptor for Human Action Recognition,” IEEE 
RIVF, pp. 270-275, 2012. 
4. Hoang Le Uyen Thuc, Shian-Ru Ke, Jenq-Neng Hwang, Jang-Hee Yoo, and 
Kyong-Ho Choi, “Human Action Recognition Based on 3D Body Modeling from 
Monocular Videos,” 18th Korea-Japan Joint Workshop on Frontiers of Computer 
Vision, pp. 6-13, 2012. 
5. Hoang Le Uyen Thuc, Shian-Ru Ke, Jenq-Neng Hwang, Pham Van Tuan, and 
Truong Ngoc Chau, “Quasi-periodic Action Recognition from Monocular Videos 
via 3D Human Models and Cyclic HMMs,” Int. Conf. ATC, pp. 110-113, 2012. 
6. Shian-Ru Ke, Hoang Le Uyen Thuc, Yong-Jin Lee, Jenq-Neng Hwang, Jang-Hee 
Yoo, and Kyoung-Ho Choi, “A Review on Video-Based Human Activity 
Recognition,” MDPI Computers, vol. 2(2), pp. 88-131, 2013 (ESCI). 
7. Shian-Ru Ke, Hoang Le Uyen Thuc, Jenq-Neng Hwang, Jang-Hee Yoo, and 
Kyong-Ho Choi, “Human Action Recognition based on 3D Human Modeling and 
Cyclic HMMs,” ETRI journal, vol. 36(4), pp. 662-672, 2014 (SCI, Scopus). 
8. Hoàng Lê Uyên Thục, Phạm Văn Tuấn, và Shian-Ru Ke, “So sánh phương pháp 
nhận dạng hành động con người trong đoạn video quay bằng một camera dùng 
DTW và HMM”, Tạp chí Khoa học Công nghệ ĐHĐN, Số 1(74), Quyển 2, trang 
64-68, 2014. 
9. Hoang Le Uyen Thuc and Pham Van Tuan, “An Effective Video Based System for 
Human Fall Detection,” Int. J. Advanced Research in Computer Engineering & 
Technology, vol. 3(8), pp. 2820-2826, 2014. 
10. Hoàng Lê Uyên Thục và Phạm Văn Tuấn, “Nhận dạng mẫu hình ảnh sử dụng mô-
men Hu,” Hội thảo CITA 2016, trang 38-43, 2016. 
11. Hoang Le Uyen Thuc, Shian-Ru Ke, and Pham Van Tuan, “Video-based Action 
Recognition to Assist Mild Cognitive Impairment Prediction,” Int. J. Computer 
Science and Information Security, vol. 14(10), pp. 24-33, 2016. 
12. Hoang Le Uyen Thuc, Pham Van Tuan, and Jenq-Neng Hwang, “An Effective 
Video-based Model for Fall Monitoring of the Elderly,” IEEE Int. Conf. Systems 
Science and Engineering (ICSSE), 2017 (accepted).