Đồ án tốt nghiệp - Tìm hiểu kiến trúc Transformer và ứng dụng cho bài toán trả lời câu hỏi

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
????✦????

TRẦN QUỐC TUẤN

19133064

NGUYỄN LÂM SƠN

19133050

Đề tài:

TÌM HIỂU KIẾN TRÚC TRANSFORMER VÀ
ỨNG DỤNG CHO BÀI TOÁN TRẢ LỜI CÂU HỎI
KHÓA LUẬN TỐT NGHIỆP
GIÁO VIÊN HƯỚNG DẪN
Ths. QUÁCH ĐÌNH HOÀNG

KHÓA 2019 - 2023

LỜI CAM ĐOAN
Đồ án được chúng tôi thực hiện với mục đích học tập và nghiên cứu để nâng cao
kiến thức và trình độ chuyên môn nên chúng tôi đã làm luận văn này một cách nghiêm
túc và hoàn toàn trung thực.
Trong luận văn, chúng tôi chỉ sử dụng một số tài liệu tham khảo của một số tác
giả. Chúng tôi đã chú thích và nêu ra trong phần tài liệu tham khảo ở cuối phần luận
văn.
Chúng tôi xin cam đoan và chịu trách nhiệm về nội dung và sự trung thực trong
luận văn tốt nghiệp của mình.

LỜI CẢM ƠN
Chúng tôi xin gửi lời cảm ơn đến các quý thầy cô khoa công nghệ thông tin,
Trường đại học Sư phạm kỹ thuật thành phố Hồ Chí Minh (HCMC University of
Technology and Education) đã tạo cơ hội cho chúng tôi được học tập, rèn luyện và tích
lũy kiến thức, kỹ năng để thực hiện khóa luận.
Đặc biệt, chúng tôi xin được gửi lời cảm ơn đến giảng viên hướng dẫn thầy Quách
Đình Hoàng đã tận tình chỉ dẫn, theo dõi và đưa ra những lời khuyên bổ ích giúp chúng
tôi giải quyết được các vấn đề gặp phải trong quá trình nghiên cứu và hoàn thành đề tài
một cách tốt nhất.
Tuy nhiên, vì kiến thức của bản thân còn hạn chế và thiếu kinh nghiệm thực tiễn
nên nội dung khóa luận khó tránh khỏi có vài thiếu sót, chúng tôi rất mong nhận được
sự góp ý, chỉ bảo thêm của quý thầy cô.
Chúng tôi xin chân thành cảm ơn!

ĐH SƯ PHẠMCỘNG
KỸ THUẬT
HOÀ TP.HCM
KHOA
CNTT
Độc
*******

XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên 1 : Trần Quốc Tuấn
MSSV 1: 19133064
Họ và tên Sinh viên 2 : Nguyên Lâm Sơn
MSSV 2: 19133050
Ngành: Kỹ thuật dữ liệu
Tên đề tài: Tìm hiểu kiến trúc Transformer và ứng dụng cho bài toán trả lời câu hỏi
Họ và tên Giáo viên hướng dẫn: Quách Đình Hoàng
NHẬN XÉT
1. Về nội dung đề tài &amp khối lượng thực hiện:

2. Ưu điểm:

3. Khuyết điểm

4. Đề nghị cho bảo vệ hay không ?
5. Đánh giá loại :
6. Điểm :
Tp. Hồ Chí Minh, ngày

tháng

Giáo viên hướng dẫn
(Ký &amp ghi rõ họ tên)

năm 2023

ĐH SƯ PHẠMCỘNG
KỸ THUẬT
HOÀ TP.HCM
KHOA
CNTT
Độc
*******

XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
Họ và tên Sinh viên 1 : Trần Quốc Tuấn
MSSV 1: 19133
...

...
-guide-totransformers-step-by-step-explanation-f74876522bc0.
[9] . M. Saeed, A Gentle Introduction to Positional Encoding in Transformer Models,
Part 1, 20 09 2022. [Online]. Available: https://machinelearningmastery.com/agentle-introduction-to-positional-encoding-in-transformer-models-part-1/.
[10] M. Phi, Illustrated Guide to Transformers Neural Network: A step by step
explanation, 28 04 2020. [Online]. Available:
https://www.youtube.com/watch?v=4Bdc55j80l8&ampfbclid=IwAR1yYvR7eXckBEp
pTktTcgxBp6X3u_FdQPX9G2JVW7-X-eyVprwr6btfA_E.
[11] Q. Pham, Tìm hiểu mô hình Transformer, 20 03 2020. [Online]. Available:
https://pbcquoc.github.io/transformer.
[12] S. Cristina , How to Implement Scaled Dot-Product Attention from Scratch in
TensorFlow and Keras, 26 09 2022. [Online]. Available:
https://machinelearningmastery.com/how-to-implement-scaled-dot-productattention-from-scratch-in-tensorflow-and-keras/.
[10] N. C. Thắng, Chương 2. Precision, Recall và F Score, 16 06 2020. [Online].
Available: https://www.miai.vn/2020/06/16/oanh-gia-model-ai-theo-cach-mi-anlien-chuong-2-precision-recall-va-f-score/.
52

[14] N. Q. Dat, PhoBERT: Pre-trained language models for Vietnamese, VinAI
Research, 2020. [Online]. Available:
https://github.com/VinAIResearch/PhoBERT.
[15] IIIustrated Guilde to Transformer, 13 03 2021. [Online]. Available:
https://trituenhantao.io/tin-tuc/minh-hoa-transformer/. [Accessed 27 05 2023].
[16] N. Kiet, N. Vu, N. Anh and N. Ngan, A Vietnamese Dataset for Evaluating
Machine Reading Comprehension, 12 2020. [Online]. Available:
https://aclanthology.org/2020.coling-main.233.
[17] J. Devlin, M.-W. Chang, K. Lee and K. Toutanova, BERT: Pre-training of Deep
Bidirectional Transformers for, 24 05 2019. [Online]. Available:
https://arxiv.org/pdf/1810.04805.pdf.
[18] M. NAMVARPOUR , How does Layer Normalization work?, 2021. [Online].
Available: https://www.kaggle.com/code/halflingwizard/how-does-layernormalization-work.
[19] N. Q. Dat and N. T. Anh, PhoBERT: Pre-trained language models for
Vietnamese, VinAI Research, 10 05 2020. [Online]. Available:
https://arxiv.org/pdf/2003.00744.pdf.
[20] Đ. Đ. Hùng, Tìm hiểu về kiến trúc transformer, 16 07 2021. [Online]. Available:
https://viblo.asia/p/tim-hieu-ve-kien-truc-transformer-Az45byM6lxY.
[21] A. Zhang et al., Encoder-Decoder Seq2Seq for Machine Translation, in Dive into
Deep Learning, 2021. [Online]. Available: http://d2l.ai/chapter_recurrentmodern/seq2seq.html.

53