Đồ án tốt nghiệp - Tìm hiểu chú thích ảnh tự động sử dụng học sâu và viết ứng dụng minh họa

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO
NGÀNH: CÔNG NGHỆ THÔNG TIN


KHÓA LUẬN TỐT NGHIỆP

TÌM HIỂU CHÚ THÍCH ẢNH TỰ ĐỘNG SỬ DỤNG HỌC
SÂU VÀ VIẾT ỨNG DỤNG MINH HỌA

Giảng viên hướng dẫn: TS. Trần Nhật Quang
Sinh viên thực hiện

MSSV

Nguyễn Lê Bảo Thanh

19110019

Huỳnh Nguyễn Tấn Nhạc

19110252

TP. Hồ Chí Minh – tháng 06/2023

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯
⎯⎯⎯⎯⎯⎯⎯⎯⎯
Tp. Hồ Chí Minh, ngày … tháng … năm 2023

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ và tên sinh viên 1: Nguyễn Lê Bảo Thanh

MSSV: 19110019

Họ và tên sinh viên 2: Huỳnh Nguyễn Tấn Nhạc

MSSV: 19110252

Ngành: Công nghệ thông tin

Lớp: 19110CLST3

Giảng viên hướng dẫn: TS. Trần Nhật Quang

ĐT: 0378487371

Ngày nhận đề tài: 20/02/2023

Ngày nộp đề tài: 30/05/2023

1. Tên đề tài: Tìm hiểu chú thích ảnh tự động sử dụng học sâu và viết ứng dụng minh họa.
2. Các số liệu, tài liệu ban đầu: Không có.
3. Nội dung thực hiện đề tài:
• Tìm hiểu về lý thuyết, bộ dữ liệu, các thuật toán và các phương pháp đánh giá được sử
dụng trong mô hình chú thích ảnh tự động.
• Lý thuyết mô hình CNN-Transformer.
• Xây dựng và cài đặt mô hình CNN-Transformer.
4. Sản phẩm:
• Mô hình CNN-Transformer có khả năng chú thích ảnh tự động.
• Một website áp dụng mô hình trên để người dùng sử dụng thuận tiện hơn.

TRƯỞNG NGHÀNH

GIẢNG VIÊN HƯỚNG DẪN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯⎯

⎯⎯⎯⎯⎯⎯⎯⎯⎯

PHIẾU NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN
Họ và tên Sinh viên 1: Nguyễn Lê Bảo Thanh

MSSV 1: 19110019

Họ và tên Sinh viên 2: Huỳnh Nguyễn Tấn Nhạc

MSSV 2: 19110252

Ngành: Công nghệ Thông tin
Tên đề tài: Tìm hiểu chú thích ảnh tự động sử dụng học sâu và viết ứng dụng minh họa.
Họ và tên giảng viên hướng dẫn: TS. Trần Nhật Quang
NHẬN XÉT
1. Về nội dung đề tài khối lượng thực hiện:
................................................................................................................................................
................................................................................................................................................
................................................................................................................................................
2. Ưu điểm:
................................................................................................................................................
......
...

...
trị thường xuyên lớn thì các hệ số
học tương ứng giảm càng nhanh trong khi đó, các tham số mà có đạo hàm riêng ứng
với hàm lỗi có giá trị thường xuyên nhỏ thì có hệ số học tương ứng giảm càng ít. Cả hai
thuật toán đều được áp dụng ứng với mỗi “mini-batch” tại từng thời điểm cập nhật tham

147

số θ.
A.2.1 “RMSprop”
Ở thuật toán “RMSprop”, thay vì sử dụng trực tiếp “gradient” hiện tại để cập nhật trực
tiếp, ta sẽ sử dụng giá trị trung bình bình phương của “gradient” hàm lỗi L theo các tham
số θ được lưu bởi biến “moment’ ???????? để điều chỉnh hệ số học α tại từng bước cập nhật.
Ta gọi ???????? là biến “moment” bởi vì ở mỗi thời điểm cập nhật, giá trị của ???????? được cập nhật
dựa vào phần lớn vào giá trị của ???????? − 1 ở thời điểm trước đó và một phần giá trị của
“gradient” hiện tại. Công thức tính ???????? là:
???????? = β2 ????????−1 + (1 − β2 )????????2

(????. 10)

Khi đó, ta sẽ cập nhật bộ tham số θ với hệ số học lúc này bằng α chia cho căn bậc hai
của ???????? :
θ???? = θ????−1 −

????
√????̂???? + ????

????????

(????. 11)

A.2.2 “Adam”
Giống với thuật toán “RMSprop”, “Adam” sử dụng giá trị trung bình bình phương của
“gradient” hàm lỗi L theo các tham số θ được lưu bởi biến “moment” thứ hai ???????? để điều
chỉnh hệ số học α tại từng bước cập nhật. Ngoài ra, “Adam” cũng sử dụng giá trị trung
bình của “gradient” được lưu bởi biến “moment” thứ nhất mt . Các bước tính toán trong
thuật toán Adam:
• Tính giá trị “moment” thứ nhất mt dựa trên giá trị ????????−1 tại thời điểm trước đó và
một phần giá trị “gradient” hiện tại:
???????? = β1 ????????−1 (1 − β1 )????????

(????. 12)

với β1 là tỉ lệ giảm ước lượng “moment” ????????−1 . Thông thường giá trị β1 = 0.9 , cho thấy
“moment” ???????? sẽ sử dụng phần lớn thông tin ????????−1 trước đó.
• Cập nhật giá trị “moment” thứ hai ???????? tương tự như ở RMSprop:

148

???????? = β2 ????????−1 (1 − β2 )????????2

(????. 13)

• Tính ước lượng chính xác của “moment” thứ nhất ???????? và thứ hai ???????? :
????
̂???? =

????????
1 − β1????

????̂???? =

????????
1 − β????2

(????. 14)

Bởi vì ta khởi tạo các giá trị “moment” (????0 và ????0 ) là các véc-tơ 0, điều này dẫn đến
việc ước lượng các “moment” này bị chệch và có xu hướng được ước lượng về 0. Với
cách điều chỉnh này, ở các bước cập nhật đầu tiên (t nhỏ), các “moment” được điều
chỉnh (????
̂ ???? và ????̂???? ) lớn hơn so với “moment” ban đầu (????0 và ????0 ) ở giai đoạn sau (t lớn),
các “moment” được điều chỉnh không khác nhiều so với “moment” ban đầu. Điều này
giúp cho việc, các “moment” tránh bị chệch về giá trị nhỏ ở giai đoạn đầu của quá trình
huấn luyện.
• Cập nhật bộ tham số θ:
???????? = ????????−1 −

????
√????̂???? + ????

????
̂????

(????. 15)

149