TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KỸ THUẬT DỮ LIỆU


NGUYỄN MINH KHOA – 19133029

Đề tài:

TÌM HIỂU KNOWLEDGE DISTILLATION
VÀ ỨNG DỤNG

KHOÁ LUẬN TỐT NGHIỆP
KỸ SƯ NGÀNH KỸ THUẬT DỮ LIỆU

GIÁO VIÊN HƯỚNG DẪN
ThS. QUÁCH ĐÌNH HOÀNG

KHOÁ 2019-2023

ĐH SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CNTT
********

XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
********

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên 1: Nguyễn Minh Khoa

MSSV: 19133029

Ngành: Kỹ thuật dữ liệu
Tên đề tài: Tìm hiểu Knowledge Distillation và ứng dụng
Họ và tên Giáo viên hướng dẫn:
NHẬN XÉT:
1. Về nội dung đề tài và khối lượng thực hiện:
........................................................................
........................................................................
........................................................................
2. Ưu điểm:
........................................................................
........................................................................
........................................................................
3. Khuyết điểm:
........................................................................
........................................................................
........................................................................
4. Đề nghị cho bảo vệ hay không:
5. Đánh giá loại:
6. Điểm:
Tp. Hồ Chí Minh, ngày ... tháng ... năm 2023
Giáo viên hướng dẫn
(Ký &amp ghi rõ họ tên)

ĐH SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CNTT
********

XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
********

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
Họ và tên Sinh viên 1: Nguyễn Minh Khoa

MSSV: 19133029

Ngành: Kỹ thuật dữ liệu
Tên đề tài: Tìm hiểu Knowledge Distillation và ứng dụng
Họ và tên Giáo viên phản biện:
NHẬN XÉT:
1. Về nội dung đề tài và khối lượng thực hiện:
........................................................................
........................................................................
........................................................................
2. Ưu điểm:
........................................................................
........................................................................
........................................................................
3. Khuyết điểm:
........................................................................
....................................................
...

...
knowledge distillation rất
hiểu quả trong việc nén mô hình nhưng vẫn đảm bảo được độ chính xác cao.
38

3. Kết luận
3.1. Kết quả đạt được
Sau quá trình tìm hiểu Knowledge Distillation và ứng dụng trên bộ CIFAR-10. Kết
quả đạt được của mô hinh Student khi áp dụng Distillation Loss sẽ cho độ chinh xác cao
hơn so với khi không sử dụng, và cao xấp xỉ mô hình Teacher. Từ đó có thể thấy phuong
pháp Knowledge Distillation hoạt động khá hiệu quả trong việc thu gọn mô hình nhưng
vẫn đảm bảo độ chính xác cao.
Về mặt lý thuyết:
-

Hiểu rõ về Deep Learning, Neural Network, bài toán phân loại ảnh

-

Hiểu rõ về các tính chất, đặc trưng của Knowledge Distillation.

Về mặt ứng dụng:
-

Áp dụng được Knowledge Distillation vào bài toán phân loại ảnh giúp tăng độ
chính xác của mô hình có kích thước nhỏ.

3.2. Hướng phát triển
Dựa trên cơ sở và kiến thức có sẵn, trong tương lai tôi sẽ áp dụng Knowledge
Distillation vào các bài toán phức tạp hơn, đặc biệt là mảng Computer Vision

39

TÀI LIỆU THAM KHẢO
[1] Geoffrey Hinton el al., “Distilling the Knowledge in a Neural Network”, arXiv preprint
arXiv:1503.02531, 2015.
[2] Lin Wang and Kuk-Jin Yoon, “Knowledge Distillation and Student-Teacher Learning for Visual
Intelligence: A Review and New Outlooks”, IEEE Transactions on Pattern Analysis and Machine
Intelligence, 2021.
[3] Jianping Gou et al., “Knowledge Distillation: A Survey, International Journal of Computer Vision”,
2021.
[4] Geoffrey Hinton, Oriol Vinyals and Jeff Dean. “Distilling the Knowledge in a Neural Network” (Deep
Learning and Representation Learning Workshop, 2014
[5] Pengguang Chen, Shu Liu, Hengshuang Zhao, Jiaya Jia. “Distilling Knowledge via Knowledge
Review”, 2021
[6] H. Li, “Exploring knowledge distillation of Deep neural nets for efficient hardware solutions,” CS230
Report, 2018
[7] Romero, A., Ballas, N., Kahou, S. E., Chassang, A., Gatta, C., &amp Bengio, Y. Fitnets: “Hints for thin
deep nets”. arXiv preprint arXiv:1412.6550, 2014
[8] DenseNet on CIFAR10 [Online]. Available: https://towardsdatascience.com/densenet-on-cifar10d5651294a1a8
[9] ResNets for CIFAR-10 [Online]. Available: https://towardsdatascience.com/resnets-for-cifar-10e63e900524e0
[10] Image Data Augmentation for Computer Vision (2023 Guide) [Online]. Available:
https://viso.ai/computer-vision/image-data-augmentation-for-computer-vision/
[11] Knowledge distillation recipes [Online]. Available:
https://keras.io/examples/keras_recipes/better_knowledge_distillation/

40