60
TRƯƠNG NGỌC SƠN
PHẠM NGỌC SƠN
LÊ MINH

HUẤN LUYỆN
MẠNG NƠ-RON HỌC SÂU
(Sách chuyên khảo)

NHAØ XUAÁT BAÛN
ÑAÏI HOÏC QUOÁC GIA TP. HOÀ CHÍ MINH

PGS.TS. TRƢƠNG NGỌC SƠN
TS. PHẠM NGỌC SƠN
ThS. LÊ MINH

HUẤN LUYỆN
MẠNG NƠ-RON HỌC SÂU
(Sách chuyên khảo)

NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA
THÀNH PHỐ HỒ CHÍ MINH – 2022

2

LỜI NÓI ĐẦU
Máy học và trí tuệ nhân tạo đang phát triển mạnh và ngày càng
đƣợc ứng dụng nhiều vào cuộc sống nhằm góp phần tạo ra các công nghệ
có thể thay thế sức lao động của con ngƣời. Sự phát triển của trí tuệ nhân
tạo không chỉ tạo ra các hệ thống tự động hỗ trợ con ngƣời mà nó còn
hƣớng đến thay thế các công việc mà trƣớc đây chỉ có con ngƣời mới
thực hiện đƣợc. Trí tuệ nhân tạo đề cập đến một loại ứng dụng có khả
năng thực hiện các công việc một cách thông minh nhƣ con ngƣời vì bộ
não con ngƣời đóng vai trò quyết định trong các hoạt động. Chính vì thế,
khi nói đến trí tuệ nhân tạo, chúng ta hƣớng đến việc thiết kế một mạng
nơ-ron nhân tạo sao cho nó hoạt động tƣơng tự nhƣ bộ não con ngƣời bởi
vì nơ-ron là đơn vị tạo nên bộ não ngƣời. Ngày nay các lĩnh vực của trí
tuệ nhân tạo không ngừng phát triển nhƣ mạng học sâu, xử lý ngôn ngữ
tự nhiên,… Những mô hình này đều dựa trên các mạng nơ-ron nhân tạo
nhiều lớp. Hiểu về cấu trúc và phƣơng pháp huấn luyện các mạng nơ-ron
nhân tạo, mạng học sâu là nền tảng cho việc nghiên cứu và phát triển các
ứng dụng của mạng học sâu trong nhiều lĩnh vực khác nhau. Quyển sách
này trình bày mô hình toán của các phƣơng pháp huấn luyện đƣợc sử
dụng trong mạng học sâu. Hơn nữa, quyển sách trình bày các nghiên cứu
xuất phát từ mô hình toán, sau đó hƣớng đến triển khai các mô hình sử
dụng ngôn ngữ Python. Các chƣơng trình đƣợc nghiên cứu và viết sát
theo mô hình toán mà không sử dụng các thƣ viện viết sẵn giúp ngƣời
đọc hiểu đƣợc mô hình toán của quá trình huấn luyện và phƣơng pháp lập
trình. Trong các ứng dụng nâng cao, chúng ta đi sử dụng các thƣ viện hỗ
trợ sau khi đã hiểu tƣờng tận về các phƣơng pháp huấn luyện, ý nghĩa các
thông số mô hình.
Quyển sách Huấn luyện mạng nơ-ron học sâu đƣợc biên soạn
bao gồm các lý thuyết về huấn luyện mạng nơ-ron dựa trên giải thuật
Gradient Descent và các phƣơng pháp cải tiến của giải thuật Gradient
Descent. Các mô hình toán của quá trình huấn luyện đƣợc thực thi trên
ngôn ngữ Python và thƣ viện numpy. Trong phần cuối của quyển sách,
chúng ta sẽ phát triển một số ứng dụng thực tế áp dụng các mô hình
mạng học sâu. Quyển sách đƣợc biên soạn nhằm phục vụ ch
...

...
g: Creating Neural Netork with Python,
Springer Science, 2018

13.

Antonio Gulli, Sujit Pal, Deep Learning with Keras, Packt
Publishing, 2017

14.

Willi Richert, Luis Pedro Coelho, Building Machine Learning
Systems with Python, Packt Publishing Ltd., 2013

150

15.

Santanu Pattanayak, Pro Deep Learning with Tensorflow: A
Mathematical Approach to Advanced Artificial Intelligence in
Python, Apress, 2017

16.

Son Ngoc Truong, “A Low-cost Artificial Neural Network Model
for Raspberry Pi”, Engineering, Technology &amp Applied Science
Research, vol. 10, no. 2, pp. 5466-5469,Apr. 2020 (ESCI)

17.

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya
Sutskever, Ruslan Salakhutdinov, “out: A Simple Way to
Prevent Neural Networks from Overfitting”, Journal of Machine
Learning Research 15 (2014) 1929-1958

18.

Taylor Simons and Dah-Jye Lee, “A Review of Binarized Neural
Networks”, Electronics vol. 8, no. 661, 2019

19.

Courbariaux, M. Bengio, Y. BinaryNet: Training Deep Neural
Networks with Weights and Activations Constrained to +1 or -1.
arXiv 2016, arXiv:1602.02830

151

Huấn luyện Mạng Nơ-ron học sâu (Sách chuyên khảo)
Trương Ngọc Sơn, Phạm Ngọc Sơn, Lê Minh
Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
NHÀ XUẤT BẢN ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
Trụ sở:
Phòng 501, Nhà Điều hành ĐHQG-HCM,
phường Linh Trung, thành phố Thủ Đức,
Thành phố Hồ Chí Minh.
ĐT: 028 62726361
E-mail: [email protected]

Văn phòng đại diện:
Tòa nhà K-Trường Đại học Khoa học Xã hội &amp Nhân
văn, số 10-12 Đinh Tiên Hoàng, phường Bến Nghé,
Quận 1,Thành phố Hồ Chí Minh
ĐT: 028 62726390
Website: www.vnuhcmpress.edu.vn

Chịu trách nhiệm xuất bản và nội dung
TS ĐỖ VĂN BIÊN
Biên tập
LÊ THỊ THU THẢO
Sửa bản in
QUANG NHẬT
Trình bày bìa
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỒ HỒ CHÍ MINH
Đối tác liên kết
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỒ HỒ CHÍ MINH
Xuất bản lần thứ 1. Số lượng in: 250 cuốn, khổ 16 x 24cm. Số
XNĐKXB: 2303-2022/CXBIPH/23-29/ĐHQGTPHCM. QĐXB số: 195/QĐNXB cấp ngày 12/7/2022. In tại: Công ty TNHH In và Bao bì Hưng Phú Địa
chỉ: 162A/1, KP1A, phường An Phú, TP Thuận An, Bình Dương. Nộp lưu
chiểu: Năm 2022. ISBN: 978-604-73-9195-0.
Bản quyền tác phẩm đã được bảo hộ bởi Luật Xuất bản và Luật Sở hữu
trí tuệ Việt Nam. Nghiêm cấm mọi hình thức xuất bản, sao chụp, phát tán nội
dung khi chưa có sự đồng ý của tác giả và Nhà xuất bản.
ĐỂ CÓ SÁCH HAY, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN!

NXB ĐHQG-HCM

ISBN: 978-604-73-9195-0

9 786047 391950