Đồ án tốt nghiệp - Xây dựng data platform dựa trên kiến trúc mã nguồn mở

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TPHCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KỸ THUẬT DỮ LIỆU

HUỲNH THỊ HƯƠNG LY : 18133029
TRẦN GIA NGUYÊN : 18133036

Đề Tài:

XÂY DỰNG DATA PLATFORM DỰA TRÊN KIẾN TRÚC
MÃ NGUỒN MỞ
KHOÁ LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU
GIÁO VIÊN HƯỚNG DẪN
TS.HUỲNH XUÂN PHỤNG

Hồ Chí Minh,2022

1

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TPHCM
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KỸ THUẬT DỮ LIỆU

HUỲNH THỊ HƯƠNG LY : 18133029
TRẦN GIA NGUYÊN : 18133036

Đề Tài:

XÂY DỰNG DATA PLATFORM DỰA TRÊN KIẾN TRÚC
MÃ NGUỒN MỞ
KHOÁ LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU
GIÁO VIÊN HƯỚNG DẪN
TS.HUỲNH XUÂN PHỤNG

Hồ Chí Minh, 2022

2

ĐH Sư Phạm Kỹ Thuật TP.HCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA CNTT

Độc lập – Tự do – Hạnh phúc

*******

*********
PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN

Họ và tên Sinh viên 1: Huỳnh Thị Hương Ly

MSSV: 18133029

Họ và tên Sinh viên 2: Trần Gia Nguyên

MSSV: 18133036

Ngành: Kỹ thuật dữ liệu
Tên đề tài: Xây dựng Data Platform dựa trên kiến trúc mã nguồn mở
Họ và tên giáo viên hướng dẫn: GV, TS. Huỳnh Xuân Phụng
NHẬN XÉT
1. Về nội dung thực hiện:

................................................................................................................................................
................................................................................................................................................
................................................................................................................................................
......................................................................................................................................……..
2. Ưu điểm:

................................................................................................................................................
................................................................................................................................................
................................................................................................................................................
................................................................................................................................................
3. Khuyết điểm

................................................................................................................................................
.......................................................
...

...
dữ
liệu/bảng bất kì.
Kiểm tra dữ liệu có
đầy đủ, chính xác

Dữ liệu được lưu
trong cơ sở dữ

Đạt

liệu/bảng khác

không.
Chọn loại cơ sở dữ
liệu bất kỳ. Tạo cơ
4

Kiểm tra chức năng tạo cơ

sở dữ liệu mới.

Tạo cơ sở dữ liệu

sở dữ liệu

Kiểm tra cơ sở dữ

mới

Đạt

liệu mới có được tạo
không.
Chọn cơ sở dữ liệu
bất kỳ. Tạo bảng

5

Kiểm tra chức năng tạo
bảng

mới. Kiểm tra bảng
mới có được tạo
không. Dữ liệu nhập
vào bảng có đầy đủ

Tạo bảng mới,

Hive: Đạt

dữ liệu được

Mysql: Chưa đạt.

nhập đầy đủ vào

Lỗi khi nhập dữ

bảng

liệu.

và chính xác không.

6

Thực hiện truy vấn

Dữ liệu được

bất kì nhóm dữ liệu.

trực quang được

Kiểm tra chức năng trực

Trực quan dữ liệu

thể hiện thông

quang hoá dữ liệu

đó. Kiểm tra biểu đồ

qua các đồ thị

trực quan chính xác

trực quang dữ

được điều mà dữ

liệu

liệu muốn thể hiện

53

Đạt

chưa.

54

PHẦN 3: KẾT LUẬN

55

KẾT QUẢ ĐẠT ĐƯỢC

1.

 Qua thời gian thực hiện đề tài “Xây dựng Data Platform dựa trên kiến trúc mã
nguồn mở” dưới sự hướng dẫn của thầy Huỳnh Xuân Phụng, nhóm đã hoàn thành
đồ án đúng thời hạn và kết quả của đề tài đã đáp ứng được một số mục tiêu đã đề
ra.
 Tìm hiểu về data warehouse và các công nghệ liên quan.
 Ứng dụng các các công nghệ và xây dựng được một data platform

2.

HẠN CHẾ
Chúng em chỉ mới xây dựng hệ thống nhỏ với dung lượng nhỏ do bị hạn chế nhân
lực, thời gian và kinh phí. Dữ liệu được đưa vào sử dụng chưa được phong phú, đa
dạng với số lượng tương đối nhỏ, chưa tối ưu công suất làm việc. Chưa giải quyết
được bài toán làm tự động cập nhật dữ liệu mới vào kho dữ liệu.

HƯỚNG PHÁT TRIỂN

3.


Khắc phục những thiếu sót mà chúng em chưa làm được



Phát triển trang website trở nên thân thiện với người dùng



Phát triển hệ thống đa dạng các tính năng phục vụ cho người dùng

56

TÀI LIỆU THAM KHẢO

[1] D. F. He Yin, Design and Implementation of Meteorological Big Data Platform Based on Hadoop,
2019.
[2] I. Cloudera, The open source SQL Assistant for Data Warehouses, [Online]. Available:
https://docs.gethue.com/quickstart/.
[3] T. A. S. Foundation, Superset, [Online]. Available: https://superset.apache.org/docs/intro/.
[4] T. A. S. Foundation, Hadoop, [Online]. Available: https://hadoop.apache.org/docs/stable/.
[5] M. Karabiben, Building an End-to-End Open-Source Modern Data Platform, 28 12 2021. [Online].
Available: https://towardsdatascience.com/building-an-end-to-end-open-source-modern-dataplatform-c906be2f31bd. [Accessed 2022].

57

58