BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

-  -

BÁO CÁO
KHÓA LUẬN TỐT NGHIỆP

KHÓA: 2019
NGÀNH: CÔNG NGHỆ THÔNG TIN

TP. HỒ CHÍ MINH, THÁNG 6 NĂM 2023

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
******************

NHIỆM VỤ THỰC HIỆN
Họ và tên Sinh viên: Nguyễn Đức Trí

MSSV: 19110302

Ngành: Công nghệ Thông tin
Khoa: Đào tạo chất lượng cao
Tên đề tài: Ứng dụng học sâu trong xây dựng chatbot
Họ và tên Giáo viên hướng dẫn: TS. Trần Nhật Quang
Nội dung:
Lý thuyết:
-

Tìm hiểu và phân tích các mô hình GPT, Whisper, Tacotron2 và WaveGlow.

-

Tìm hiểu các kỹ thuật tiền xử lý dữ liệu văn bản và âm thanh.

-

Tìm hiểu thư viện PyTorch.

-

Tìm hiểu các thư viện Django và Angular để đưa mô hình lên ứng dụng.

Thực nghiệm: Xây dựng, huấn luyện và đưa các mô hình lên ứng dụng.
Thời gian thực hiện: 20/02/2023 – 29/05/2023
Tp. Hồ Chí Minh, ngày tháng năm
TRƯỞNG KHOA

GIẢNG VIÊN HƯỚNG DẪN

(ký và ghi rõ họ tên)

(ký và ghi rõ họ tên)

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
******************

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên: Nguyễn Đức Trí

MSSV: 19110302

Ngành: Công nghệ Thông tin
Khoa: Đào tạo chất lượng cao
Tên đề tài: Ứng dụng học sâu trong xây dựng chatbot
Họ và tên Giáo viên hướng dẫn: TS. Trần Nhật Quang

Nhận xét:
1. Về nội dung về tài và khối lượng thực hiện:
………………………………………………………………………………………
………………………………………………………………………………………
2. Ưu điểm:
………………………………………………………………………………………
………………………………………………………………………………………
3. Khuyết điểm:
………………………………………………………………………………………
………………………………………………………………………………………
4. Đề nghị cho bảo vệ hay không? …………………………………………………
5. Đánh giá loại: ……………………………………………………………………
6. Điểm: ……………………………………………………………………………
Tp. Hồ Chí Minh, ngày tháng năm
Giáo viên hướng dẫn
(Ký &amp ghi rõ họ tên)

Trần Nhật Quang

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
******************

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
Họ và tên Sinh viên: Nguyễn Đức Trí

MSSV: 19110302

Ngành: Công nghệ Thông tin
Khoa: Đào tạo chất lượng cao
Tên đề tài: Ứng dụng học sâu trong xây dựng chatbot
Họ và tên Giáo viên phản biện: ThS. Nguyễn Trần Thi Văn

Nhận xét:
1. Về nội dung về tài và khối lượng thực hiện:
………………………………………………………………………………………
………………………………………………………………………………………
2. Ưu điểm:
………………………………………………………………………………………
………………………………………………………………………………………
3. Khuyết điểm:
……………………………………………………………………
...

...
ining.
Source: https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/languageunsupervised/language_understanding_paper.pdf.
[15] Alec Radford, Jong Wook Kim, Tao Xu, Greg Brockman, Christine McLeavey,
Ilya Sutskever (2022). Robust Speech Recognition via Large-Scale Weak Supervision.
arXiv: https://arxiv.org/pdf/2212.04356.pdf.
[16] Jonathan Shen, Ruoming Pang, Ron J. Weiss, Mike Schuster, Navdeep Jaitly,
Zongheng Yang, Zhifeng Chen, Yu Zhang, Yuxuan Wang, RJ Skerry-Ryan, Rif A.
Saurous, Yannis Agiomyrgiannakis, Yonghui Wu (2018). Natural TTS Synthesis by
Conditioning Wavenet on Mel Spectrogram Prediction.
arXiv: https://arxiv.org/pdf/1712.05884.pdf.
[17] Jan Chorowski, Dzmitry Bahdanau, Dmitriy Serdyuk, Kyunghyun Cho, Yoshua
Bengio (2015). Attention – Based Model for Speech Recognition.
arXiv: https://arxiv.org/pdf/1506.07503.pdf.
[18] Eric Battenberg, RJ Skerry-Ryan, Soroosh Mariooryad, Daisy Stanton, David Kao,
Matt Shannon, Tom Bagby (2020). Location – Relative Attention Mechanism for Robust
Long – Form Speech Synthesis. arXiv: https://arxiv.org/pdf/1910.10288.pdf.
[19] Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol
Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu (2016).
WaveNet: A Generative Model for Raw Audio.
arXiv: https://arxiv.org/pdf/1609.03499.pdf.
[20]: Diederik P. Kingma, Prafulla Dhariwal. (2018). Glow: Generative Flow with
Invertible 1x1 Convolutions. arXiv: https://arxiv.org/pdf/1807.03039.pdf.
[21]: Ryan Prenger, Rafael Valle, Bryan Catanzaro (2018). WaveGlow: A Flow – Based
Generative Network for Speech Synthesis. arXiv: https://arxiv.org/pdf/1811.00002.pdf.

116

PHỤ LỤC

PHỤ LỤC
Phụ lục 1: Dataset cho chatbot chức năng trả lời:
https://www.kaggle.com/datasets/grafstor/simple-dialogs-for-chatbot
Phụ lục 2: Dataset cho chuyển âm thanh thành văn bản: https://www.openslr.org/12
Phụ lục 3: Dataset cho chuyển văn bản thành âm thanh: https://keithito.com/LJSpeech-Dataset/
Phụ lục 4: Github mô hình GPT: https://github.com/Alan-404/GPT-model.git
Phụ lục 5: Github mô hình Whisper: https://github.com/Alan-404/Whisper-Model.git
Phụ lục 6: Github mô hình Tacotron2: https://github.com/Alan-404/Tacotron2Model.git
Phụ lục 7: Github mô hình WaveGlow: https://github.com/Alan-404/WaveGlowModel.git
Phụ lục 8: Github Web Service (Back – End): https://github.com/Alan-404/BotServer.git
Phụ lục 9: Github Web Service (Front – End): https://github.com/Alan-404/BotClient.git

117