Đồ án tốt nghiệp - Phân loại văn bản dùng mô hình Bert

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
NGÀNH KỸ THUẬT DỮ LIỆU
______

KHÓA LUẬN TỐT NGHIỆP
PHÂN LOẠI VĂN BẢN DÙNG MÔ HÌNH BERT

GVHD:

TS. Nguyễn Thành Sơn

SVTH1:

20133040 – Nguyễn Thị Diệu Hiền

SVTH2:

20133033 – Bùi Tấn Đạt

TP. Hồ Chí Minh, tháng 07 năm 2024

ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Độc lập – Tự do – Hạnh phúc
*******

KHOA CNTT

*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên 1: Nguyễn Thị Diệu Hiền
Họ và tên Sinh viên 2: Bùi Tấn Đạt
Chuyên ngành: Kỹ thuật Dữ liệu
Đề tài: Phân loại văn bản dùng mô hình BERT
Họ và tên Giáo viên hướng dẫn: TS. Nguyễn Thành Sơn

MSSV: 20133040
MSSV: 20133033

NHẬN XÉT
1.

Về nội dung đề tài và khối lượng thực hiện:

...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
2.
Ưu điểm:
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
3.
Khuyết điểm:
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................
...........................................................................................................................................

...

...
HIỂU VỀ MÔ HÌNH NGÔN NGỮ PHOBERT, Hai Phong, 2021.
[24] pawangfg, Explanation of BERT Model – NLP, 10 Jan 2024. [Online]. Tại:
https://www.geeksforgeeks.org/explanation-of-bert-model-nlp/.
[25] F. Ayık, Mastering Text Classification with BERT: A Comprehensive Guide, 17 Dec 2023.
[Online]. Tại: https://medium.com/@ayikfurkan1/mastering-text-classification-with-bert-acomprehensive-guide-194ddb2aa2e5.
[26] [Online]. Tại: https://github.com/VinAIResearch/PhoBERT.
[27] bluenguyen. [Online]. Tại: https://huggingface.co/bluenguyen/longformer-phobert-base-4096.
[28] G. Lokare, Masked Language Modeling with Hugging Face Transformers: A Beginner’s
Guide, 6 Feb 2023. [Online]. Tại: https://medium.com/@lokaregns/masked-languagemodeling-with-hugging-face-transformers-a-beginners-guide-b36af74a7560.
[29] Recurrent Neural Network, [Online]. Tại: https://developer.nvidia.com/discover/recurrentneural-network.
[30] Howard, J. and Ruder, S. (2018) Universal language model fine-tuning for text classification,
arXiv.org. Tại: https://arxiv.org/abs/1801.06146
[31] Zhang, Xulong et al. Improving imbalanced text classification with Dynamic Curriculum
Learning. Tại: https://arxiv.org/pdf/2210.14724
[32] PySpark overview¶ PySpark Overview - PySpark master documentation. Tại:
https://spark.apache.org/docs/latest/api/python/index.html
[33] Harsoor, S. (2023) PySpark: Everything you need to know!, Medium. Tại:
https://pub.aimind.so/pyspark-everything-you-need-to-know-24f87d12bfe1 .
[34] Tensorflow là gì? Nguyên lý Hoạt động Của Tensorflow (no date) Stringee. Tại:
https://stringee.com/vi/blog/post/Tensorflow-la-gi.
[35] Pytorch là gì? Pytorch khác tensorflow như thế nào? (no date) gcs.vn. Tại:
Https://gcs.vn/pytorch-la-gi/.
[36] Under the Sea Documentation. Tại:
https://underthesea.readthedocs.io/_/downloads/en/develop/pdf/
[37] PHONLP: A joint multi-task learning model for Vietnamese part ... Tại:
https://aclanthology.org/2021.naacl-demos.1.pdf
[38] Huy, T.V. (2021) Introduction to Streamlit, Introduction to Streamlit – Tran Van Huy –
Artificial Intellegence. Tại: https://huytranvan2010.github.io/Introduction-to-streamlit

63

PHỤ LỤC
HƯỚNG DẪN SỬ DỤNG PHẦN MỀM PHÂN LOẠI TIN TỨC

Trang chủ của phần mềm

Bấm vào đây để
chọn task muốn
thực hiện

Ở mục train và
evaluate sẽ có cách
cài đặt các mô hình,
siêu tham số và kết
quả đánh giá mô hình

64

ở mục dự đoán, bấm
chọn model sau đó
nhập vào văn bản
mới và chọn
Classify để dự đoán

Kết quả dự đoán

65