Đồ án tốt nghiệp - Xây dựng ứng dụng tạo phụ đề tự động sử dụng deep learning

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KỸ THUẬT DỮ LIỆU

ĐỖ LÊ TIẾN ĐẠT – 17133012
Đề tài:

XÂY DỰNG ỨNG DỤNG TẠO PHỤ ĐỀ TỰ ĐỘNG
SỬ DỤNG DEEP LEARNING

KHÓA LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU

GIÁO VIÊN HƯỚNG DẪN
TS. TRẦN NHẬT QUANG

KHÓA 2023 - 2024

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KỸ THUẬT DỮ LIỆU

ĐỖ LÊ TIẾN ĐẠT – 17133012
Đề tài:

XÂY DỰNG ỨNG DỤNG TẠO PHỤ ĐỀ TỰ ĐỘNG
SỬ DỤNG DEEP LEARNING

KHÓA LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU

GIÁO VIÊN HƯỚNG DẪN
TS. TRẦN NHẬT QUANG

KHÓA 2023 - 2024

ĐH SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CNTT
*******

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên: Đỗ Lê Tiến Đạt

MSSV: 17133012

Ngành: Kỹ Thuật Dữ Liệu
Tên đề tài: Xây dựng ứng dụng tạo phụ đề tự động sử dụng Deep Learning
Họ và tên Giáo viên hướng dẫn: TS. Trần Nhật Quang
NHẬN XÉT
1. Về nội dung đề tài &amp khối lượng thực hiện:

2. Ưu điểm:

3. Khuyết điểm

4. Đề nghị cho bảo vệ hay không?
5. Đánh giá loại:
6. Điểm:
Tp. Hồ Chí Minh, ngày tháng năm 2024
Giáo viên hướng dẫn
(Ký &amp ghi rõ họ tên)

i

ĐH SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CNTT
*******

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
Họ và tên Sinh viên: Đỗ Lê Tiến Đạt

MSSV: 17133012

Ngành: Kỹ Thuật Dữ Liệu
Tên đề tài: Xây dựng ứng dụng tạo phụ đề tự động sử dụng Deep Learning
Họ và tên Giáo viên phản biện: PGS.TS. Hoàng Văn Dũng
NHẬN XÉT
1. Về nội dung đề tài &amp khối lượng thực hiện:

2. Ưu điểm:

3. Khuyết điểm

4. Đề nghị cho bảo vệ hay không?
5. Đánh giá loại:
6. Điểm:
Tp. Hồ Chí Minh, ngày tháng năm 2024
Giáo viên hướng dẫn
(Ký &amp ghi rõ họ tên)

ii

Lời cảm ơn
Tôi xin chân thành cảm ơn quý thầy cô trong trường Đại học Sư phạm kỹ thuật TP. Hồ
Chí Minh đã tận tình dạy bảo cho tôi các kiến thức cơ sở trong những năm học tập vừa
qua và cũng như tạo điều kiện cho tôi thực hiện đề tài này.
Đặc biệt tôi xin bày tỏ lòng biết ơn đối với thầy Trần Nhật Quang. Thầy đã tận tình
hướng dẫn và chỉ bảo cho chúng tôi thực hiện đề tài.
Trong quá trình nghiên cứu, tôi cũng nhận được sự giúp đỡ nhiệt tình và các đóng góp
từ các thầy khác đặc biệt là thầy Trần Nhật Quang.
Cuối cùng, tôi xin cảm ơn đến các tác giả của những bài báo khoa học mà tôi đã tham
khảo. Các bài báo này giúp cho tôi tiếp thu thêm được nhiều kiến thức mới và quan
trọng là hiểu rõ hơn về đề tài đang nghiên cứu.

...

...
lý tiếng nói Speech Processing. Viblo. https://viblo.asia/p/kien-thuc-nen-tang-xu-ly-tiengnoi-speech-processing-jvElaAL6lkw
[5] Trung Thành Nguyễn. (2020, April 29). Feature Extraction - MFCC cho xử lý
tiếng nói. Viblo. https://viblo.asia/p/feature-extraction-mfcc-cho-xu-ly-tiengnoi-4dbZN2xmZYM#_12-pre-emphasis-4
[6] SuNT. (2021, May 20). Giới thiệu chung về các bài toán Sound/Audio sử dụng
Deep Learning. SuNTs Blog | AI in
Practical. https://tiensu.github.io/blog/67_audio_deep_learning_part_1/
[7] SuNT. (2021, May 22). Xử lý dữ liệu Audio trong Python. Tìm hiểu về Mel
Spectrogram. SuNTs Blog | AI in
Practical. https://tiensu.github.io/blog/68_audio_deep_learning_part_2/
[8] Hui, J. (2019, September 15). Speech Recognition — GMM, HMM.
Medium. https://jonathan-hui.medium.com/speech-recognition-gmm-hmm8bb5eff8b196
[9] Ljnktjnk. (2022, July 5). CÁC MÔ HÌNH TRONG BÀI TOÁN SPEECH TO
TEXT. Viblo. https://viblo.asia/p/cac-mo-hinh-trong-bai-toan-speech-to-texts2t-4P8562dO5Y3#_hmm-gmm-acoustic-model-2
[10]

Michael Nguyen. (2020, December 1). Building an end-to-end speech

recognition model in PyTorch. News, Tutorials, AI
Research. https://www.assemblyai.com/blog/end-to-end-speech-recognitionpytorch/
75

[11]

Eric Lam, E. (2021, July 13). Understanding CTC loss for speech

recognition. Medium. https://voidful.medium.com/understanding-ctc-loss-forspeech-recognition-a16a3ef4da92
[12]

VinBigData. (2021, December 7). Đánh giá chất lượng mô hình OCR

với tỷ lệ lỗi ký tự CER và tỷ lệ lỗi từ WER. https://product.vinbigdata.org/danhgia-chat-luong-mo-hinh-ocr-voi-ty-le-loi-ky-tu-cer-va-ty-le-loi-tu-wer/
[13]

Alexei Baevski, Henry Zhou, Abdelrahman Mohamed, Michael Auli.

(2020, October 22). wav2vec 2.0: A Framework for Self-Supervised Learning of
Speech Representations. arXiv.org e-Print
archive. https://arxiv.org/pdf/2006.11477
[14]

Patrick von Platen. (2021, March 12). Fine-tune Wav2Vec2 for English

ASR in hugging face with Huggingface Transformers. Hugging Face – The AI
community building the future. https://huggingface.co/blog/fine-tunewav2vec2-english
[15]

Đạt Đỗ. (2024). datdo/wav2vec2-base-timit-demo-google-colab ·

Hugging face. Hugging Face – The AI community building the
future. https://huggingface.co/datdo/wav2vec2-base-timit-demo-google-colab
[16]

Flexudy/t5-small-wav2vec2-grammar-fixer · Hugging face. (n.d.).

Hugging Face – The AI community building the
future. https://huggingface.co/flexudy/t5-small-wav2vec2-grammar-fixer

76