TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN ĐIỆN TỬ
BỘ MÔN KỸ THUẬT MÁY TÍNH - VIỄN THÔNG

ĐỒ ÁN TỐT NGHIỆP

Nghiên cứu và tối ưu mô hình học sâu trong
bài toán phân loại bình luận tiêu cực trên mạng
xã hội
NGÀNH KỸ THUẬT MÁY TÍNH

Sinh viên:

VÕ MẠNH THƯỜNG
MSSV: 19119224

TP. HỒ CHÍ MINH – 06/2024

LỜI CẢM ƠN
Lời đầu tiên, tôi xin cảm ơn thầy Võ Minh Huân vì đã tận tình hướng dẫn,
định hướng trong suốt quá trình thực hiện đồ án tốt nghiệp. Sự hỗ trợ của thầy là
động lực giúp tôi hoàn thành đồ án này.
Tôi cũng xin gửi lời cảm ơn sâu sắc đến các anh/chị khóa trước, các bạn
học đã luôn sẵn sàng giúp đỡ, chia sẻ tài liệu và kinh nghiệm trong quá trình thực
hiện đồ án. Sự hỗ trợ và động viên của mọi người giúp tôi tiếp thêm động lực.
Đặc biệt, em xin gửi lời biết ơn đến gia đình, những người luôn ở bên cạnh,
động viên và ủng hộ em trong suốt quá trình.
Tôi xin chân thành cảm ơn.

i

TÓM TẮT
Trong nghiên cứu này, tôi thực hiện nghiên cứu và tìm hiểu, xây dựng cơ sở
lý thuyết cho các mô hình được xem là tốt nhất, đặc biệt là mô hình kết hợp mới
xuất hiện gần đây và đạt được nhiều thành tích trong tác vụ phân loại văn bản ngắn
từ các bình luận trên mạng xã hội. Phân tích đặc điểm của các bình luận trên mạng
xã hội từ một tập dữ liệu được thu thập và gán nhãn thủ công, từ đó chọn lọc và áp
dụng các kỹ thuật tiền xử lý phù hợp nhất. Sử dụng công cụ tìm kiếm siêu tham số
để tìm ra siêu tham số phù hợp nhất cho từng mô hình. Tôi cũng tìm hiểu và lựa
chọn các phương pháp tăng cường dữ liệu phù hợp để sinh ra các tập dữ liệu mới,
sau đó đưa vào từng mô hình để đánh giá và so sánh để tìm ra phương án tốt nhất.
Với các kết quả thu được, tôi thực hiện phân tích khả năng dự đoán của mô hình
trên tập dữ liệu với các công cụ đánh giá trên từng nhãn để xem xét, đánh giá ảnh
hưởng của dữ liệu tăng cường so với tập dữ liệu gốc, từ đó đề xuất ra các phương
án tối ưu nhất cho môi trường thực tế. Đồng thời cũng phân tích các dự đoán sai
của mô hình để tìm ra hướng phát triển mới.

ii

MỤC LỤC
CHƯƠNG 1 GIỚI THIỆU ......................................................................................................... 1
1.1. ĐẶT VẤN ĐỀ: ......................................................................................................................... 1
1.2. HƯỚNG TIẾP CẬN: ................................................................................................................ 2
1.2.1. Mô hình học sâu:...........................
...

...
an Luu – Thuy Nguyen.
“Comparison Between Traditional Machine Learning Models And Neural
Network Models For Vietnamese hate Speech Detection”, arXiv preprint
arXiv:2002.00759, 2020.
[4] Santiago González-Carvajal, Eduardo C. Garrido-Merchán, “Comparing
BERT against traditional machine learning text clssification” arXiv preprint
arXiv:2002.00759, 2021.
[5] Yoon Kim, “Convolutional Neural Networks for Sentence Classification”,
arXiv preprint arXiv:1408.5882, 2014.
[6] Ashish Vaswani và cộng sự, “Attention Is All You Need”, arXiv preprint
arXiv:1706.03762, 2017.
[7] Dat Quoc Nguyen and Anh Tuan Nguyen, “PhoBERT: Pre-trained language
models

for

Vietnamese”,

arXiv

preprint

arXiv:2003.00744, 2020.
[8] Ali Safaya, Moutasem Abdullatif, Deniz Yuret, “KUISAIL at SemEval-2020
Task 12: BERT-CNN for Offensive Speech Identification in Social Media”, arXiv
preprint arXiv:2007.13184, 2020.
[9] Khanh Q. Tran và cộng sự, “Vietnamese Hate and Offensive Detection using
PhoBERT-CNN

and

Social

Media

Streaming

arXiv:2206.00524, 2022.

54

Data”,

arXiv

preprint

[10] Son T. Luu, Kiet Van Nguyen, Ngan Luu – Thuy Nguyen, “A Large-scale
Dataset for Hate Speech Detection on Vietnamese Social Media Texts”, arXiv
preprint arXiv:2103.11528, 2021
[11] Jason Wei, Kai Zou, “EDA: Easy Data Augmentation Techniques for
Boosting

Performance

on

Text

Classification

Tasks”,

arXiv

preprint

arXiv:1901.11196, 2019.
[12] Varun Kumar, Ashutosh Choudhary, Eunah Cho, “Data Augmentation using
Pre-trained Transformer Models”, arXiv preprint arXiv:2003.02245, 2021.
[13] Wenfu Liu và cộng sự, “Research on Multi-label Text Classification Method
Based on tALBERT-CNN”, Volume 14, article 201, 2021.
[14]

Jay

Alammar,

“The

lllustrated

Transformer”,

https://jalammar.github.io/illustrated-transformer/, 2018.
[15] Thanh Vu và cộng sự, “VNCoreNLP: A Vietnamese Natural Language
Processing Toolkit”, arXiv preprint arXiv:1801.01331, 2018.
[16] Bui Quang Manh, “Nhận dạng tiếng Việt cùng với Transformer OCR”,
https://viblo.asia/p/nhan-dang-tieng-viet-cung-voi-transformer-ocrQpmlejjm5rd#_32-positional-encoding-ma-hoa-vi-tri4, 2020.
[17] Trần Văn Tri, “Dịch tự động WordNet từ tiếng Anh sang tiếng Việt dựa vào
từ điển Oxford Anh-Việt”, Luận văn thạc sĩ, Đại học Khoa học Tự nhiên - Đại học
Quốc gia TP. HCM, 2017.
[18] Shiksha Online, “Crosss Entropy Loss Function in Machine Learning”,
https://www.shiksha.com/online-courses/articles/cross-entropy-loss-function/
2023.

55

,