Đồ án tốt nghiệp - Tìm hểu Spark cho phân tích dữ liệu lớn và áp dụng cho bài toán phát hiện xâm NM

TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN HỆ THỐNG THÔNG TIN


HỒ VĂN PHONG : 15110277
TRẦN QUANG MINH : 15110250
Đề tài:

TÌM HIỂU SPARK CHO PHÂN TÍCH DỮ LIỆU
LỚN VÀ ÁP DỤNG CHO BÀI TOÁN PHÁT HIỆN
XÂM NHẬP MẠNG
KHÓA LUẬN TỐT NGHIỆP KỸ SƢ CNTT
GIÁO VIÊN HƢỚNG DẪN
THS. QUÁCH ĐÌNH HOÀNG

KHOÁ 2015 - 2019

TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN HỆ THỐNG THÔNG TIN


HỒ VĂN PHONG : 15110277
TRẦN QUANG MINH : 15110250
Đề tài:

TÌM HIỂU SPARK CHO PHÂN TÍCH DỮ LIỆU
LỚN VÀ ÁP DỤNG CHO BÀI TOÁN PHÁT HIỆN
XÂM NHẬP MẠNG
KHÓA LUẬN TỐT NGHIỆP KỸ SƢ CNTT
GIÁO VIÊN HƢỚNG DẪN
THS. QUÁCH ĐÌNH HOÀNG

KHOÁ 2015 - 2019

ĐH SƢ PHẠM KỸ THUẬT TP.HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA CÔNG NGHỆ THÔNG TIN

Độc lập – Tự do – Hạnh phúc





PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN
Họ và tên Sinh viên 1: Trần Quang Minh

MSSV: 15110250

Họ và tên Sinh viên 2: Hồ Văn Phong

MSSV: 15110277

Ngành: Công nghệ Thông tin
Tên đề tài: Tìm hiểu Spark cho phân tích dữ liệu lớn và áp dụng cho bài toán phát hiện
xâm nhập mạng
Họ và tên Giáo viên hướng dẫn: Ths. Quách Đình Hoàng
NHẬN XÉT
1. Về nội dung đề tài &amp khối lượng thực hiện:
.....................................................................................................................................
.....................................................................................................................................
....................................................................................................................................
2.

Ưu điểm:

.....................................................................................................................................
.....................................................................................................................................
3.

Khuyết điểm

.....................................................................................................................................
.....................................................................................................................................
4.

Điểm :

TP.HCM, ngày tháng năm 2019
Giáo viên hướng dẫn

ThS. Quách Đình Hoàng
Ths. Quách Đình Hoàng
3

ĐH SƢ PHẠM KỸ THUẬT TP.HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA CÔNG NGHỆ THÔNG TIN

Độc lập – Tự do – Hạnh phúc



-
...

...
của Spark.
Thông qua gói MLlib, chúng ta tìm thấy một số thuật toán học máy được Spark hỗ trợ
gồm: học có giám sát, gợi ý, học không có giám sát, phân tích đồ thị và deep learning.
Thứ ba, luận văn đề xuất việc thực nghiệm một vài thuật toán học máy phù hợp cho bài
toán phát hiện xâm nhập mạng trên Spark. Bên cạnh đó, luận văn cũng tập trung giải
quyết vấn đề tăng tốc độ tính toán trong các thuật toán học máy, đặc biệt là những thuật
toán có khối lượng tính toán lớn nhờ vào Spark. Từ đó, bài toán được đơn giản hóa và rút
ngắn thời gian tính toán dễ dàng đưa ra so sánh và đánh giá hiệu quả giữa các thuật toán.
2. KHÓ KHĂN GẶP PHẢI
Nguồn tài liệu về đề tài còn khá ít nên quá trình tìm kiếm phục vụ cho đề tài gặp
nhiều khó khăn.
Do kiến thức còn nhiều hạn chế và là ngôn ngữ mới đối với nhóm nên trong quá
trình thực hiện gặp nhiều trục trặc và lỗi.
Do thời gian còn hạn hẹp và có nhiều đề tài nghiên cứu trong học kì nên chưa có cơ
hội giới thiệu hết các chức năng của Spark cũng như các lợi ích của nó mang lại.

57

3. VẤN ĐỀ TỒN ĐỌNG VÀ HƢỚNG PHÁT TRIỂN
Trong nghiên cứu này, luận văn mới dừng lại ở việc tìm hiểu và nghiên cứu một vài thuật
toán học máy cho bài toán. Nhiều thuật toán được Spark hỗ trợ chưa được thực nghiệm,
vì vậy đây có thể được xem là hướng phát triển trong tương lai. Đồng thời, các thuật toán
chạy trên Spark chỉ mới trên một cluster và việc kết hợp giữa các hướng tiếp cận dựa vào
bất thường và hướng tiếp cận dựa vào dấu hiệu xâm nhập có thể phát hiện được những
cuộc tấn công mới với tỷ lệ phát hiện cao mà tỷ lệ cảnh báo sai thấp cũng là một hướng
phát triển tiếp theo của luận văn.

58

TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] Hoàng Ngọc Thanh, Một cách tiếp cận để giảm chiều dữ liệu trong việc xây dựng các hệ thống phát
hiện xâm nhập mạng hiệu quả, Hội thảo lần thứ II: Một số vấn đề chọn lọc về an toàn an ninh thông tin,
TP. Hồ Chí Minh, 12/2017.
[2] Trần Thị Hương, Đánh giá hiệu quả một số thuật toán trong phát hiện xâm nhập mạng, Luận văn thạc
sĩ, Đại học Khoa học tự nhiên - ĐHQGHN, 2016, trang 04-10.

Tiếng Anh
[3] Anna L. Buczak, Erhan Guven, A Survey of Data Mining and Machine Learning methods for Cyber
Security Intrusion Detection, IEEE Communications Survey &amp Tutorials, 2016, trang 1153-1174.
[4] Chuanlong Yin, Yuefei Zhu, Jinlong Fei, Xinzheng He, A Deep learning approach for instrusion
detection using recurrent neural networks, IEEE Access, 2017, trang 21954-21960.
[5]. https://www.unb.ca/cic/datasets/nsl.html

59