Nhận dạng Tiếng Việt nói trên thiết bị di động

JOURNAL OF SCIENCE OF HNUE DOI: 10.18173/2354-1075.2015-0065
Educational Sci., 2015, Vol. 60, No. 7A, pp. 180-188
This paper is available online at 
NHẬN DẠNG TIẾNG VIỆT NÓI TRÊN THIẾT BỊ DI ĐỘNG
Nguyễn Hải Dương1, Nguyễn Hồng Quang2
1Khoa Công nghệ Thông tin, Trường Đại học Xây dựng Hà Nội
2Viện Công nghệ Thông tin và Truyền thông, Trường Đại học Bách khoa Hà Nội
Tóm tắt. Trong những năm vừa qua, công nghệ nhận dạng tiếng nói đã có những bước phát
triển vượt bậc. Các hệ thống nhận dạng tiếng nói có độ chính xác ngày càng cao và đang
được đưa vào ứng dụng trong thực tế. Trong tình hình chung đó, lĩnh vực này với tiếng Việt
cũng đã có những kết quả nghiên cứu bước đầu. Tuy nhiên trong các kết quả đã công bố,
các hệ thống nhận dạng hầu như được xây dựng và triển khai trên Server. Những hệ thống
như vậy sẽ bị hạn chế tính năng trên thiết bị di động khi các thiết bị này không có khả năng
kết nối trao đổi dữ liệu tốt với Server. Bài báo này mô tả phương pháp xây dựng hệ thống
nhận dạng tiếng Việt nói trên thiết bị di động Android, sử dụng bộ công cụ CMUSphinx.
Kết quả cho thấy hệ thống đã nhận dạng tốt dãy chữ số tiếng Việt phát âm liên tục.
Từ khóa: Nhận dạng tiếng nói, Tiếng Việt nói, Thiết bị di động, Mô hình Markov ẩn, bộ
công cụ CMUSphinx.
1. Mở đầu
Trên thế giới, lĩnh vực nhận dạng và xử lí tiếng nói bắt đầu được nghiên cứu vào những năm
1960 và đặc biệt phát triển mạnh trong hai thập kỉ gần đây. Đã có rất nhiều hệ thống nhận dạng
tiếng nói được triển khai trên thực tế như: Via Voice của IBM, Dragon Naturally Speaking, Siri
của Apple, VoiceSearch của Google, Cortana của Microsoft. . . Những sản phẩm này có ý nghĩa
rất lớn trong việc giao tiếp người - máy, mở ra một cách thức làm việc mới cho con người bằng
mệnh lệnh trực tiếp cho máy tính thông qua lời nói. Ở Việt Nam, nghiên cứu về nhận dạng tiếng
nói đã được triển khai khá mạnh trong những năm gần đây [1 - 4]. Tuy nhiên những hệ thống này
hầu hết được triển khai trên Server và đòi hỏi nguồn tài nguyên tính toán mạnh. Trong khi đó hiện
nay số lượng các thiết bị di động thông minh (smart phone) sử dụng tại Việt Nam đang gia tăng
rất nhanh chóng. Các thiết bị này có một nhược điểm rất lớn là dung lượng bộ nhớ và nhất là năng
lượng dự trữ trong pin đều rất hạn chế. Một hạn chế nữa với các thiết bị di động ở Việt Nam là môi
trường kết nối internet còn chưa thật sự hiệu quả, băng thông và tốc độ trao đổi dữ liệu trên mạng
còn chậm. Chính vì vậy nhu cầu cài đặt trực tiếp hệ thống nhận dạng tiếng Việt nói lên thiết bị di
động đã trở nên rất cần thiết.
Bài báo này mô tả phương pháp thực hiện xây dựng hệ thống nhận dạng tiếng Việt nói dựa
Ngày nhận bài: 15/7/2015. Ngày nhận đăng: 25/11/2015.
Liên hệ: Nguyễn Hải Dương, e-mail: duongnhyt@gmail.com
180
Nhận dạng tiếng Việt nói trên thiết bị di động
trên bộ công cụ CMUSphinx, cài đặt trên thiết bị di động và giải pháp cải tiến nâng cao độ chính
xác của hệ thống nhận dạng. Nội dung của bài báo gồm các phần sau:
Phần 2 mô tả nội dung nghiên cứu, bao gồm trình bày tổng quan về nhận dạng tiếng nói và
tiếng Việt nói, mô tả bộ công cụ nhận dạng tiếng nói CMUSphinx và các kết quả nghiên cứu triển
khai hệ thống CMUSphinx trên thiết bị di động cho tiếng Việt nói.
Phần 3 đưa ra kết luận và hướng nghiên cứu tiếp theo.
2. Nội dung nghiên cứu
2.1. Nhận dạng tiếng nói và tiếng Việt nói
2.1.1. Âm thanh tiếng nói và nhận dạng tiếng nói
Trên thực tế, âm thanh là sóng cơ học có biên độ nhỏ mà thính giác của con người có thể
nhận biết được. Tiếng nói là một dạng sóng âm thanh liên tục bao gồm những trạng thái khá ổn
định kết hợp với các trạng thái thay đổi khác.
Các đặc tính âm học của một dạng sóng tiếng nói được ghi lại từ một thiết bị có thể thay đổi
rất nhiều tùy thuộc vào nhiều yếu tố như môi trường xung quanh thiết bị khi ghi âm, loa, phong
cách nói của người được ghi âm và rất nhiều điều tương tự khác.
Nhận dạng tiếng nói là một quá trình nhận dạng mẫu, với mục đích là phân lớp (classify)
thông tin đầu vào là tín hiệu tiếng nói thành một dãy tuần tự các mẫu đã được học trước đó và lưu
trữ trong bộ nhớ. Các mẫu là các đơn vị nhận dạng, chúng có thể là các từ, hoặc các âm vị. Khó
khăn cơ bản của nhận dạng tiếng nói là tiếng nói luôn biến thiên theo thời gian và có sự khác biệt
lớn giữa tiếng nói của những người nói khác nhau (Hình 1), tốc độ nói, ngữ cảnh và môi trường
âm học khác nhau. Xác định những thông tin biến thiên nào của tiếng nói là có ích đối với nhận
dạng tiếng nói là rất quan trọng. Đây là một nhiệm vụ rất khó khăn mà ngay cả với các kĩ thuật xác
suất thống kê mạnh cũng khó khăn trong việc tổng quát hoá từ các mẫu tiếng nói những biến thiên
quan trọng cần thiết trong nhận dạng tiếng nói.
Hình 1. Sự khác biệt trong giọng nói của con người
Các nghiên cứu về nhận dạng tiếng nói dựa trên ba nguyên tắc cơ bản:
Tín hiệu tiếng nói được biểu diễn chính xác bởi các giá trị phổ trong một khung thời gian
ngắn (short-term amplitude spectrum). Nhờ vậy ta có thể trích ra các đặc điểm tiếng nói từ những
khoảng thời gian ngắn và dùng các đặc điểm này làm dữ liệu để nhận dạng tiếng nói.
Nội dung của tiếng nói được biểu diễn dưới dạng chữ viết, là một dãy các kí hiệu ngữ âm.
181
Nguyễn Hải Dương, Nguyễn Hồng Quang
Do đó ý nghĩa của một phát âm được bảo toàn khi chúng ta phiên âm phát âm thành dãy các kí
hiệu ngữ âm.
Nhận dạng tiếng nói là một quá trình nhận thức. Thông tin về ngữ nghĩa (semantics) và suy
đoán (pragmatics) có giá trị trong quá trình nhận dạng tiếng nói.
Phương pháp nhận dạng tiếng nói phổ biến hiện nay là kĩ thuật so khớp mẫu. Ý tưởng cơ
bản của phương pháp này là dựa vào những mẫu mà hệ thống đã thu nhận được từ trước (các đoạn
âm thanh mẫu đã được lưu trong cơ sở dữ liệu, chẳng hạn). Với mỗi tín hiệu vào là phát âm của
một từ trong từ điển, hệ thống tiến hành tính toán sự khác nhau về âm thanh giữa tín hiệu thu vào
và từng mẫu đã được lưu trữ. Sau cùng là lựa chọn mẫu nào so khớp nhất với dữ liệu thu được.
2.1.2. Mô hình Markov ẩn (Hidden Markov Models-HMM)
Mô hình Markov ẩn (HMM) [5] là một phương pháp thống kê mạnh mẽ để mô hình hóa tín
hiệu tiếng nói, và là một mô hình thực sự hiệu quả cho các hệ thống nhận dạng tiếng nói hiện nay.
Một mô hình Markov ẩn biểu diễn cho một đơn vị của ngôn ngữ, như là từ hay là âm vị. Mô hình
này gồm một số hữu hạn các trạng thái và sự chuyển đổi trạng thái, sự chuyển đổi đó được thực
hiện thông qua xác suất chuyển đổi, việc này được thực hiện thông qua hàm phân bố Gauss.
Các tín hiệu trong thế giới thực nói chung, và tiếng nói nói riêng, đó là các dạng tín hiệu
tương tự, thông thường ở dạng hết sức phức tạp và thiếu độ chính xác cần thiết đối với máy tính.
Do đó, các tín hiệu này cần được biến đổi thành các tín hiệu số (số hóa), là một dạng thông tin
mà máy tính có thể xử lí. Nhận dạng tiếng nói tự động (Automatic Speech Recognition - ASR) có
nghĩa là chuyển đổi tự động tiếng nói thành chữ viết hoặc thành một trong các chức năng của thiết
bị.
Hình 2. Kiến trúc hệ thống nhận dạng tiếng nói
Một hệ nhận dạng tiếng nói bao gồm các thành phần mô tả ở hình 3. Bước đầu tiên là rút
trích đặc trưng tiếng nói: biến đổi tín hiệu âm thanh thành chuỗi các vector đặc trưng, ngoài ra quá
trình này còn dò tìm được đâu là chuỗi thu và đâu là độ ồn nền và lọc nhiễu. Bước thứ hai thực
182
Nhận dạng tiếng Việt nói trên thiết bị di động
hiện phân lớp và nhận dạng: nhận dạng dựa trên mô hình ngôn ngữ và mô hình âm thanh đã được
định nghĩa trên hệ thống. Bước giải mã sẽ đưa ra chuỗi văn bản đã nhận dạng được hoặc thực hiện
tác vụ ứng với nội dung mà hệ thống nhận dạng.
2.1.3. Ngôn ngữ tiếng Việt
Tiếng Việt là ngôn ngữ của người Việt Nam, có những đặc điểm hết sức riêng biệt với các
ngôn ngữ của các quốc gia khác trên thế giới. Không chỉ một từ bao hàm nhiều nghĩa, mà còn khá
phức tạp khi phân tách ra các thành phần cấu tạo của câu.
Thành phần cơ bản trong tiếng Việt là âm tiết. Một âm tiết điển hình được cấu tạo từ một
nhân âm tiết (thông thường nhất là một nguyên âm) và giới hạn trước/sau không bắt buộc (điển
hình là các phụ âm). Âm tiết có tính toàn vẹn được phát âm bằng một đợt căng của bộ máy phát
âm. Các đợt căng của cơ nối tiếp nhau làm thành một chuỗi âm tiết và có thể hình dung bằng một
chuỗi đường cong hình sin.
Âm vị là phân đoạn nhỏ nhất của âm thanh để cấu tạo nên sự phân biệt giữa các cách phát
âm. Do đó, âm vị là một nhóm các âm thanh với sự khác biệt tương đối nhỏ cùng đảm nhận một
chức năng ý nghĩa tùy theo người nói và phương ngữ.
2.1.4. Nhận dạng và xử lí tiếng Việt với mô hình Markov ẩn
Mô hình Markov ẩn (Hidden Markov Model - HMM) là mô hình dựa trên thống kê để mô
hình hóa các loại tín hiệu theo thời gian. Mô hình này được sử dụng rất thành công trong những
ứng dụng về nhận dạng. Mô hình này có khả năng mô hình hóa tiếng nói theo thời gian dựa trên
cấu trúc được ràng buộc bằng toán học chặt chẽ. Do đó, công nghệ nhận dạng tiếng nói sử dụng
HMM đạt hiệu quả cao hơn các phương pháp khác.
Mô hình Markov ẩn gồm các trạng thái và một ma trận chuyển trạng thái, nên nó có khả
năng biểu diễn đúng nhất sự liên tục của tiếng nói theo thời gian. Sự diễn tiến này thể hiện theo
ma trận trọng số chuyển trạng thái, cho biết mối liên hệ giữa các âm vị tạo nên từ và giữa các từ
với nhau. Mô hình đưa ra kết quả nhận dạng bằng phương pháp thống kê, do đó, xác suất tìm đúng
từ là rất lớn và đáng tin cậy.
Mô hình Markov ẩn có một số nhược điểm xuất phát từ các giả thiết của mô hình như sau:
- Giả thiết về bậc: trong mô hình Markov ẩn ta giả thiết rằng các xác suất chỉ phụ thuộc vào
trạng thái hiện thời mà độc lập với quá khứ. Điều này không đúng trong các ứng dụng tiếng nói. Hậu
quả là mô hình Markov ẩn khó khăn trong mô hình hoá hiện tượng đồng phát âm (coarticulation)
do các xác suất phát xạ quan sát bị ảnh hưởng bởi các trạng trái trong quá khứ.
- Giả thiết về tính độc lập: giả thiết này cho rằng không có mối liên hệ giữa các khung tín
hiệu lân cận nhau, điều này không đúng trong giọng nói. HMM chỉ làm việc với một khung tín
hiệu tại một thời điểm. Để lấy thêm thông tin các khung tín hiệu xung quanh, HMM phải lấy thêm
đặc tính phổ của các khung tín hiệu lân cận làm dữ liệu huấn luyện.
Nhận dạng tiếng Việt với mô hình Markov ẩn
Có thể nhận thấy, việc triển khai mô hình Markov ẩn đối với nhận dạng tiếng Việt nói là
hoàn toàn có thể. Bởi lẽ mô hình này đại diện cho các trạng thái giữa các âm vị tạo nên từ trong
câu. Tuy nhiên, đối với một hệ thống nhận dạng tiếng nói, công việc tiền xử lí ban đầu đối với hệ
thống là việc chuẩn bị dữ liệu, trải qua các bước như sau:
183
Nguyễn Hải Dương, Nguyễn Hồng Quang
Định nghĩa ngữ pháp: tùy từng bộ công cụ dùng cho hệ thống nhận dạng sẽ có quy tắc định
nghĩa ngữ pháp riêng. Ví dụ với bộ công cụ SphinxTrain [7], ngữ pháp được định nghĩa như sau:
grammar digits;
public = ( 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 0 );
Định nghĩa từ điển: từ điển được định nghĩa trong một tệp văn bản bao gồm các từ mà hệ
thống có thể nhận dạng được và các phiên âm của các từ này thành các đơn vị nhận dạng của hệ
thống. Đối với các hệ thống nhận dạng có số từ vựng lớn, các đơn vị nhận dạng này thường là âm
vị. Ví dụ về một tệp định nghĩa từ điển như sau:
0 kh oo ng
1 m ooj t
2 h a i
3 b a
Thu âm dữ liệu làm dữ liệu chuẩn đào tạo: việc thu âm dữ liệu là thao tác cực kì quan trọng,
nó sẽ là cơ sở để hệ thống có thể nhận dạng ra tiếng nói ứng với dữ liệu đầu vào. Do đó, sự thành
công của hệ thống dựa trên sự chặt chẽ của dữ liệu đào tạo. Một vấn đề cần lưu ý khi huấn luyện
dữ liệu đó là: dữ liệu càng phong phú càng tốt. Theo nghiên cứu người ta thấy rằng, thu âm giọng
nói của khoảng 200 người trở lên thì có thể coi như một hệ thống độc lập người nói. Vì thế, muốn
hệ thống nhận dạng được giọng nói của nhiều người khác nhau, thì chúng ta cần thu âm giọng của
nhiều người cho việc huấn luyện dữ liệu.
Thiết lập tham số mô hình HMM cho từng âm vị: một mô hình Markov ẩn sẽ được xây
dựng bằng cách nối các mô hình Markov ẩn của các âm vị vào với nhau. Sau đó thuật toán huấn
luyện forward-backward sẽ được áp dụng với mô hình Markov ẩn này. Việc huấn luyện sẽ kết thúc
khi tất cả các phát âm trong tập dữ liệu huấn luyện được xử lí. Trong CMUSphinx [8], module
SphinxTrain sẽ có nhiệm vụ khởi tạo các tham số này, sau đó việc huấn luyện từng âm vị sẽ được
thực hiện.
Nhận dạng: sử dụng từ điển ngữ âm được định nghĩa, mô hình âm học và mô hình ngôn ngữ
thu được thông qua quá trình huấn luyện, hệ thống sẽ nhận dạng ra nội dung của câu nói.
2.2. Bộ công cụ nhận dạng tiếng nói CMUSphinx
2.2.1. Giới thiệu CMUSphinx
CMUSphinx là bộ công cụ nhận dạng tiếng nói do trường đại học Canergie Mellon phát
triển (trang chủ:  CMUSphinx có khả năng nhận dạng các câu
nói liên tục. Đáng chú ý nhất trong bộ công cụ này là mô đun nhận dạng tiếng nói Sphinx4, được
viết hoàn toàn bằng ngôn ngữ lập trình Java. Ngoài ra bộ công cụ này cũng cho phép sử dụng tối
ưu các nguồn tài nguyên tính toán. Vì vậy bộ công cụ này đang được sử dụng mạnh mẽ để tích hợp
nhận dạng tiếng nói vào các thiết bị di động.
Ngoài Sphinx4, CMU Sphinx bao gồm một số gói cho các tác vụ và các ứng dụng
khác nhau:
Pocketsphinx - thư viện nhận dạng tiếng nói được viết bằng C.
Sphinxbase - thư viện hỗ trợ cho Pocketsphinx.
CMUclmtk - Công cụ tạo mô hình ngôn ngữ.
184
Nhận dạng tiếng Việt nói trên thiết bị di động
Sphinxtrain - Công cụ huấn luyện dữ liệu nhận dạng tiếng nói.
Sau quá trình nghiên cứu các kĩ thuật nhận dạng tiếng nói và các công cụ nhận dạng tiếng
nói hiện nay, cũng như tìm hiểu về các môi trường xây dựng ứng dụng trên các thiết bị di động,
chúng tôi đã lựa chọn bộ công cụ CMUSphinx để thực hiện xây dựng bộ ứng dụng nhận dạng tiếng
Việt nói trên thiết bị di động cài đặt hệ điều hành Google Android.
2.2.2. Các bước xây dựng bộ nhận dạng Tiếng Việt nói bằng CMUSphinx
Các bước thực hiện bao gồm:
Download bộ mã nguồn mở cần thiết về biên dịch.
Định nghĩa ngữ pháp theo chuẩn JSGF.
Định nghĩa từ điển theo định dạng của CMUSphinx.
Thu âm và xây dựng cơ sở dữ liệu tiếng Việt nói, sử dụng huấn luyện hệ thống nhận dạng
tiếng Việt nói; cần mô tả chi tiết đến từng mẫu dữ liệu sao cho ăn khớp một cách chính xác với các
bản thu âm.
Thực hiện việc huấn luyện dữ liệu nhận dạng tiếng Việt nói; căn chỉnh các thông số huấn
luyện dữ liệu nhận dạng sao cho đầu ra đạt kết quả tốt nhất.
Căn chỉnh các tham số của mô đun nhận dạng để chống nhiễu, tăng độ chính xác khi
nhận dạng.
Xây dựng ứng dụng bao gói cả mô đun và dữ liệu nhận dạng tiếng Việt nói; áp dụng cài đặt
lên thiết bị di động và thử nghiệm; sau đó kiểm nghiệm ứng dụng và thực hiện lại các bước trên để
hiệu chỉnh độ chính xác của hệ thống nhận dạng tiếng nói.
2.2.3. Cải tiến mới cho CMUSPhinx
Trong quá trình sử dụng CMUSphinx để xây dựng hệ thống nhận dạng tiếng Việt nói, chúng
tôi đã phải nghiên cứu các tham số và hiệu chỉnh nó sao cho phù hợp nhất với việc nhận dạng tiếng
Việt nói, từ việc chuẩn bị kịch bản thu âm được tính toán trước để đảm bảo các yêu cầu cho việc
rút trích đặc trưng tiếng nói, hay điều chỉnh các thông số trong quá trình huấn luyện dữ liệu nhận
dạng để có đầu ra tốt nhất, cho đến việc hiệu chỉnh các tham số bên trong hệ thống để khử nhiễu
từ môi trường, chỉnh tần số sóng âm thu được từ micro sao cho phù hợp với các thiết bị di động,
v.v. . . Những hiệu chỉnh này là kết quả của quá trình thực nghiệm nhiều lần và đánh giá kết quả
thu được.
Chúng tôi đã thu âm cho khoảng gần 100 người với độ cần bằng về giới tính đạt tỉ lệ tương
đương 50%, với đủ các phương ngữ và giọng nói đến từ các vùng miền khác nhau trên toàn quốc,
đa dạng về tốc độ nói nhanh chậm khác nhau. Đối tượng tham gia vào công tác thu âm chủ yếu là
sinh viên và giảng viên thuộc các trường đại học và các viện nghiên cứu. Mỗi người được thu âm
80 mẫu theo một kịch bản được tính toán và chuẩn bị từ trước đó. Như đã nói ở trên, kịch bản này
được chuẩn bị sao cho đạt được các yêu cầu khác nhau để đảm bảo cho việc rút trích đặc trưng đạt
kết quả tốt nhất, ví dụ như độ cân bằng về âm tiết, âm vị đạt tỉ lệ gần tương đương nhau, hay các
âm tiết, âm vị có phát âm gần giống nhau (ví dụ 1 và 4) được thu âm liền nhau nhằm tạo sự khác
biệt lớn nhất trong việc tạo bộ dữ liệu nhận dạng tiếng nói sau này.
Việc thu âm cũng được thực hiện tại các môi trường khác nhau nhằm tạo ra một biên giới
của sóng âm giữa độ ồn của môi trường với giọng nói của người thu âm, như trong phòng kín,
185
Nguyễn Hải Dương, Nguyễn Hồng Quang
ngoài trời, tại nơi đông người qua lại, ngoài đường, dưới hầm chui . . . Các thiết bị thu âm cũng
được sử dụng một cách rất đa đạng, từ thu âm trực tiếp bằng micro trên laptop, PC, đến thu âm
bằng micro của các thiết bị di động. Các thông số để thực hiện việc thu âm cũng được tính toán
trước, ví dụ như tần số sóng âm, tốc độ thu âm... sao cho phù hợp nhất cho việc nhận dạng tiếng
nói trên thiết bị di động.
Sau khi chuẩn bị bộ dữ liệu thu âm một cách tốt nhất, chúng tôi đã thực hiện việc huấn
luyện dữ liệu nhận dạng tiếng nói khoảng 30 lần, qua mỗi lần huấn luyện dữ liệu, chúng tôi lại
thực hiện lại việc kiểm tra bộ dữ liệu nhận dạng tiếng nói đầu ra, về độ chính xác, độ tin cậy trong
quá trình nhận dạng ở các môi trường khác nhau, đánh giá số liệu thu được, sau đó lại hiệu chỉnh
các tham số theo ước đoán, rồi thực hiện huấn luyện dữ liệu và kiểm thử.
Ngoài ra, các tham số trong việc nhận dạng tiếng nói của hệ thống cũng được nghiên cứu
kĩ lưỡng và hiệu chỉnh nhiều lần cho từng bộ dữ liệu huấn luyện nhận dạng đã có. Từ đó tính toán
và hiệu chỉnh nhiều lần rồi kiểm nghiệm lại để cho ra kết quả phù hợp nhất có thể.
Hiệu chỉnh các tham số quan trọng:
Do khuôn khổ giới hạn về thời gian và không gian hiển thị, chúng tôi không thể đưa ra toàn
bộ các thống kê/số liệu của các tham số/bộ tham số mà chúng tôi đã hiệu chỉnh. Trong khuôn khổ
bài báo này, chúng tôi trích dẫn ra đây một số ví dụ về các tham số/bộ tham số quan trọng mà
chúng tôi đã hiệu chỉnh được trong quá trình thực hiện.
Chỉnh sửa các tham số chuẩn đầu vào file âm thanh sử dụng để huấn luyện: chúng tôi đã
thực hiện thu âm, huấn luyện, kiểm thử, chuyển đổi file âm thanh theo nhiều định dạng. . . nhiều
lần và nhận ra tham số phù hợp nhất cho việc huấn luyện dữ liệu nhận dạng tiếng Việt nói trên thiết
bị di động là định dạng WAV PCM với tần số lấy mẫu 8Khz, mỗi mẫu được mã hóa 16 bit. Do đó
chúng tôi cần chỉnh sửa các tham số trong hệ thống Sphinx (trong file sphinx_train.cfg) như sau:
Định nghĩa phần đuôi mở rộng file âm thanh:
$CFG_WAVFILE_EXTENSION = ’wav’; #
Định nghĩa loại file âm thanh: CFG_WAVFILE_TYPE = ’mswav’;
Đặt tần số lẫy mẫu 8Khz: -samprate 8000.0
Đặt số lượng băng lọc: -nfilt 31
Đặt tần số dưới của tín hiệu tiếng nói: -lowerf 200.00
Đặt tần số trên của tín hiệu tiếng nói: -upperf 3500.00
Sử dụng hai tham số lowerf và upperf trên đây sử dụng cho việc giảm nhiễu trong quá trình
nhận dạng: -dither yes
Đặt số thành phần hỗn hợp Gauss sử dụng để mô hình hình các trạng thái của mô hình
Markov ẩn:
$CFG_FINAL_NUM_DENSITIES = 8; #(mặc định = 256) = 8 để phù hợp với thiết bị
di động
Số trạng thái ràng buộc của mô hình Markov ẩn: $CFG_N_TIED_STATES = 200; (giá trị
mặc định = 1000). Giá trị này được chọn để phù hợp với tổng thời gian ghi âm được của file dữ
liệu ghi âm đầu vào và tổng số dữ liệu được định nghĩa trong từ điển trước đó. Mô hình nhận dạng
càng lớn thì giá trị này càng lớn, nhưng phải phù hợp vì nếu giá trị này quá lớn so với mô hình
nhận dạng đang xây dựng thì sẽ gây khó khăn trong quá trình nhận dạng về sau, tức là gây sai hỏng
186
Nhận dạng tiếng Việt nói trên thiết bị di động
trong kết quả nhận dạng. Do đó phải căn chỉnh nhiều lần và kiểm thử kết quả để nhận ra giá trị phù
hợp nhất cho tham số này.
Cấu hình tham số để chạy song song các quá trình xử lí nhằm tăng tốc cho quá trình
huấn luyện:
$CFG_QUEUE_TYPE = "Queue";
$CFG_NPART = 4; # Số luồng xử lí Forward-Backward
$DEC_CFG_NPART = 4; # Số luồng xử lí giải mã
Các tham số đường dẫn đến các file dữ liệu âm thanh đầu vào/đầu ra/giải mã của việc huấn
luyện cũng phải được chỉnh sửa 1 cách tỉ mỉ và chính xác. Bên trong các file này cũng có các tham
số nhằm ánh xạ chính xác phần dữ liệu âm tiết/âm vị trong âm thanh với phần dữ liệu được mã hóa
trong từ điển.
Ngoài ra, một vài tham số trong các hàm của hệ thống nhận dạng cũng được chỉnh sửa giá
trị truyền vào sao cho phù hợp và đưa ra được kết quả nhận dạng chính xác nhất có thể.
Các tham số trên đây (cũng như các tham số khác) đã được nghiên cứu, chỉnh sửa, kiểm
thử rất nhiều lần để tìm ra giá trị thích hợp nhất. Các giá trị đưa ra trên đây là kết quả hiện tại mà
chúng tôi nghiên cứu được với kết quả nhận dạng chấp nhận được tại thời điểm này, và sẽ tiếp tục
được nghiên cứu chỉnh sửa kĩ lưỡng hơn trong thời gian tới.
2.3. Kết quả nghiên cứu
2.3.1. Môi trường thử nghiệm
Dựa trên những nghiên cứu trình bày ở các phần trên, chúng tôi đã xây dựng được ứng dụng
nhận dạng chuỗi số tiếng Việt phát âm liên tục trên các điện thoại thông minh cài đặt hệ điều hành
Android. Hệ thống đã được thử nghiệm trên các thiết bị Samsung Galaxy Mini S5570, Samsung
Galaxy Young S5360 & LG Optimus One P500, Lenovo s560, Lenovo A3000, và một số thiết bị
khác được cài đặt hệ điều hành Google Android. Ứng dụng chạy ổn định và kết quả nhận dạng khá
đúng trong môi trường ít tiếng ồn.
2.3.2. Đánh giá kết quả đạt được
Do tiếng nói bị ảnh hưởng bởi rất nhiều yếu tố như: tốc độ nói (nhanh, chậm..), âm điệu (âm
trầm, âm bổng. . . ), giọng của người nói (nam hay nữ), ngữ điệu (lên cao, xuống thấp), trạng thái
của người nói (giận dữ, vui vẻ. . . ), sự phát âm chuẩn/không chuẩn của người nói (nói ngọng, nói
méo tiếng..), sự ảnh hưởng nhiễu từ môi trường (độ ồn của môi trường xung quanh. . . ) nên các kết
quả nhận dạng được đánh giá ở nhiều mức khác nhau. Với môi trường ít nhiễu, độ ồn thấp, người
nói có tiếng nói bình thường của người Việt (không ngọng, không méo tiếng. . . ) và tốc độ nói vừa
phải, hệ thống cho kết quả nhận dạng chính xác đến 90% những số mà người dùng đọc vào. Với
các môi trường khác bị ảnh hưởng của các yếu tố gây cản trở cho việc nhận dạng (độ ồn cao, người
nói nhanh/chậm, có ngữ điệu, hay nói ngọng, nói méo tiếng. . . ) thì độ chính xác giảm dần theo
mức độ ảnh hưởng của môi trường.
187
Nguyễn Hải Dương, Nguyễn Hồng Quang
3. Kết luận
Việc xây dựng được một ứng dụng nhận dạng tiếng Việt nói trên thiết bị di động cài đặt hệ
điều hành Google Android là kết quả cho những nghiên cứu đã đưa ra ở trên. Kết quả của bài báo
đã chứng minh cho việc có thể sử dụng kĩ thuật nhận dạng tiếng nói cho tiếng Việt trong việc giao
tiếp Người - Máy bằng tiếng Việt nói và đặt biệt là có thể chạy được trên các thiết bị di động - các
thiết bị có cấu hình thấp nhưng lại có tính ưu việt cao trong cuộc sống thường ngày.
Một đặc điểm riêng biệt của thiết bị di động là tính cá nhân hóa, tức là mỗi thiết bị thường
được sử dụng bởi một người duy nhất. Vì vậy khả năng nhận dạng người nói và tối ưu hệ thống
nhận dạng tiếng nói cho từng người nói là một nhu cầu cấp thiết hiện nay. Những nghiên cứu này
đang được chúng tôi tiếp tục thực hiện trong thời gian sắp tới.
TÀI LIỆU THAM KHẢO
[1] T. T. Vu, D. T.Nguyen, M. C. Luong, J-P. Hosom, 2005. Vietnamese large vocabulary
continuous speech recognition. In Interspeech 2005, Lisbon, Portugal.
[2] V. B. Le, D. D. Tran, E. Castelli, L. Besacier, J-F. Serignat, 2005. First steps in building
a large vocabulary continuous speech recognition system for Vietnamese, RIVF 2005, Can
Tho, Vietnam.
[3] Q. Vu, K. Demuynck, D. V. Compernolle, 2006. Vietnamese Automatic Speech Recognition:
the FlaVoR Approach. ISCSLP 2006, Kent Ridge, Singapore.
[4] GS.TSKH Bạch Hưng Khang, 2008. Tổng hợp và Nhận dạng tiếng Việt. Phòng nhận dạng và
công nghệ tri thức, Viện Công nghệ thông tin, Hà Nội.
[5] Nguyen Hong Quang, P. Nocera, E. Castelli, Trinh Van Loan, 2008. A Novel Approach in
Continuous Speech Recognition for Vietnamese, an Isolating Tonal Language. Proceedings
of the INTERSPEECH, Brisbane, Australia, pp 1149-1152.
[6] Nguyen Hong Quang, TRINH Van Loan, LE The Dat, 2010. Automatic Speech Recognition
for Vietnamese using HTK system RIVF 2010 - IEEE RIVF International Conference on
Computing and Communication Technologies (RIVF 2010), Hanoi, Vietnam.
[7] Building language models. CMUSPhinx Document, 07/2015.
[8] Building the acoustic model.CMUSPhinx Document, 07/2015.
ABSTRACT
Vietnamese speech recognition on mobile phone
In recent years, great progress has been made to develop automatic speech recognition
technology. Speech recognition systems with increasingly improved accuracy are being used. Work
with the Vietnamese language also had initial success. However, speech recognition systems have
not yet been built or deployed on a server. The same system will have limited features on mobile
devices but thus far the device is not capable of exchanging data with a Server. In this paper,
a way to use a Vietnamese automatic speech recognition system in Android mobile devices is
proposed making use of a CMUSphinx toolkit. The results show that the system recognizes very
well Vietnamese digits with continuous pronunciation.
Keywords: Speech Recognition, Vietnamese speech, Mobile devices, Hidden Markov
Model, CMUSphinx Toolkits.
188