Đồ án tốt nghiệp - Tìm hiểu kỹ thuật Embedding và ứng dụng cho bài toán tóm tắt văn bản

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM
KHOA CÔNG NGHỆ THÔNG TIN

TRẦN THÀNH QUANG: 19133047
CAO ANH VĂN: 19133067
Đề Tài:

TÌM HIỂU KỸ THUẬT EMBEDDING VÀ ỨNG
DỤNG CHO BÀI TOÁN TÓM TẮT VĂN BẢN

ĐỒ ÁN TỐT NGHIỆP
GIÁO VIÊN HƯỚNG DẪN
Th.S QUÁCH ĐÌNH HOÀNG

TP.HCM, ngày tháng năm 2023

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên sinh viên 1: Trần Thành Quang MSSV: 19133047
Họ và tên sinh viên 2: Cao Anh Văn MSSV: 19133067
Ngành: Kỹ thuật dữ liệu
Tên đề tài: Tìm hiểu kỹ thuật embedding và ứng dụng cho bài toán tóm tắt văn bản
Họ và tên giáo viên hướng dẫn: Th.S Quách Đình Hoàng
NHẬN XÉT:
1. Về nội dung và đề tài khối lượng thực hiện:

2. Ưu điểm:

3. Khuyết điểm:

4. Đề nghị cho bảo vệ hay không?
5. Đánh giá loại:
6. Điểm:

Tp.Hồ Chí Minh, ngày...tháng...năm 2023
Giáo viên hướng dẫn

Page | 3

LỜI CẢM ƠN
Trong quá trình nghiên cứu đề tài, nhóm đã được giảng viên hướng dẫn đã luôn
hỗ trợ và góp ý các sai sót của nhóm, vì thế chúng tôi xin được bày tỏ lòng biết ơn sâu
sắc đến thầy giáo hướng dẫn đề tài của nhóm là Ths.Quách Đình Hoàng. Đầu tiên, chúng
tôi xin gửi lời cảm ơn sâu sắc nhất đến Ban giám hiệu trường Đại học Sư phạm Kỹ Thuật
Thành phố Hồ Chí Minh đã xây dựng cơ sở vật chất và một môi trường học tập hiện đại,
chất lượng phục vụ nhóm trong quá trình hoàn thiện đề tài. Đồng thời, chúng tôi xin gửi
lời cảm ơn đến Ban chủ nhiệm khoa Công nghệ Thông tin và các Thầy Cô khoa Công
nghệ Thông tin - Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh đã tạo môi
trường học tập và làm việc hiệu quả. Các thầy cô đã nhiệt tình giảng dạy để chúng tôi
thực hiện tốt đề tài này. Một lần nữa, chúng tôi xin gửi lời cảm ơn chân thành nhất đến
Thầy Quách Đình Hoàng là giáo viên hướng dẫn tiểu luận chuyên ngành của nhóm, đã
hướng dẫn, quan tâm, góp ý và luôn đồng hành cùng chúng tôi trong suốt các giai đoạn
của đề tài. Trong quá trình hoàn thiện đề tài, nhóm sẽ không thể tránh khỏi các sai sót
và hạn chế nhất định. Kính mong nhận được những phản hồi, đóng góp ý kiến từ Quý
Thầy Cô, để nhóm có thể nhận ra được lỗi sai, tiếp thu thêm các kiến thức và hoàn thiện
dự án.
Xin chân thành cảm ơn

Page | 4

KẾ HOẠCH THỰC HIỆN

Tuần
1, 2

Thời gian

Nội dung công việc

30/01 – 14/02

Tìm hiểu các kỹ thuật tiên tiến

Ghi chú

trong lĩnh vực embedding
3, 4

15/02 – 28/09

Tìm hiểu về kiến trúc
Transformer

5, 6

01/03 – 15/03

Tìm hiểu về kiến trúc
Transformer

7,8

16/03 – 30/03

Tìm hiểu về kỹ thuật Bert

9, 10

01/04 – 15/04

Tìm hiểu về kỹ thuật Bert
...

...
hình đã được các tác giả xây
dựng sẵn, chưa thực hiện xây dựng mô hình của riêng nhóm và chưa thực hiện được
kiểu tóm tắt trừu tượng.

Page | 53

4.3 Hướng phát triển
Các kết quả được trình bày trong báo cáo có thể được áp dụng để giải quyết các
bài toán về xử lý ngôn ngữ tự nhiên nói chung và đặc biệt là bài toán tóm tắt văn bản.
Chúng tôi dự định sẽ tìm hiểu thêm và tự mình xây dựng một mô hình Bert của riêng
nhóm áp dụng cho cả tóm tắt trích xuất và tóm tắt trừu tượng.

Page | 54

DANH MỤC TÀI LIỆU THAM KHẢO
[1] T. t. n. tạo, Word embedding là gì? Tại sao nó quan trọng?, 02 04 2019.
[Online]. Available: https://trituenhantao.io/kien-thuc/word-embedding-la-gi-taisao-no-quan-trong/.
[2] huggingface, huggingface, huggingface, [Online]. Available:
https://huggingface.co/learn/nlp-course/chapter1/4?fw=pt. [Accessed 15 06
2023].
[3] N. D. Thien, viblo.asia, viblo.asia, 13 07 2021. [Online]. Available:
https://viblo.asia/p/xay-dung-mo-hinh-transformer-co-ban-dich-tieng-nhat-sangtieng-viet-m68Z0oPNKkG. [Accessed 15 06 2023].
[4] N. P. J. U. L. J. Noam Shazeer∗, Attention Is All You Need, USA, 2017.
[5] Q. Pham, 20 03 2020. [Online]. Available:
https://pbcquoc.github.io/transformer/. [Accessed 15 06 2023].
[6] kikaben.com, 13 12 2021. [Online]. Available:
https://kikaben.com/transformers-encoder-decoder/. [Accessed 15 06 2023].
[7] kikaben.com, 15 11 2021. [Online]. Available:
https://kikaben.com/transformers-self-attention/. [Accessed 15 06 2023].
[8] T. t. n. tạo, 13 03 2021. [Online]. Available: https://trituenhantao.io/tin-tuc/minhhoa-transformer/. [Accessed 15 06 2023].
[9] J. D. M.-W. C. K. L. K. Toutanova, BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding, 2019.
[10] Y. L. a. M. Lapata, Text Summarization with Pretrained Encoders, 2019.
[11] huggingface, https://huggingface.co/docs/transformers/model_doc/mobilebert,
[Online]. Available:
https://huggingface.co/docs/transformers/model_doc/mobilebert. [Accessed 9 7
2023].
[12] T. Z. e. al, BERTSCORE: EVALUATING TEXT GENERATION WITH
BERT, 2020.
[13] P. H. Quang, 19 07 2020. [Online]. Available: https://viblo.asia/p/bert-robertaphobert-bertweet-ung-dung-state-of-the-art-pre-trained-model-cho-bai-toanphan-loai-van-ban-4P856PEWZY3. [Accessed 15 06 2023].

Page | 55

[14] machinelearningcoban, 1 1 2017. [Online]. Available:
https://machinelearningcoban.com/2017/01/01/kmeans/. [Accessed 15 06 2023].

Page | 56

S

K

L

0

0

2

1

5

4