TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

ĐỒ ÁN TỐT NGHIỆP

TÌM HIỂU BÀI TOÁN TẠO CÂU MÔ TẢ CHO ẢNH
THỜI TRANG DÙNG HỌC SÂU

SVTH: VŨ NGUYÊN HƯNG
MSSV: 16110110
Khóa: 2016-2020
Ngành: Công nghệ thông tin
GVHD: TS. Nguyễn Thiên Bảo

TP. Hồ Chí Minh, tháng 7 năm 2020

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******
TP.Hồ Chí Minh, ngày tháng 07 năm 2020

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ và tên Sinh viên: Vũ Nguyên Hưng

MSSV: 16110110

Ngành: Công nghệ thông tin

Lớp: 16110ST2

GV hướng dẫn : TS.Nguyễn Thiên Bảo

SĐT: 0927613761

Ngày nhận đề tài: 24/02/2020

Ngày nộp đề tài: 01/07/2020

Tên đề tài: Tìm hiểu bài toán tạo câu mô tả ảnh thời trang ứng dụng học sâu.
1. Các số liệu tài liệu ban đầu:
- Các bài báo nghiên cứu liên quan đến đề tài
- Tập dữ liệu FashionGen.
2. Nội dung thực hiện đề tài:
- Tìm hiểu về bài toán mô tả ảnh thời trang.
- Tìm hiểu về học sâu và các mạng thần kinh nhân tạo liên quan.
- Tìm hiểu về các phương pháp dùng học sâu để tiếp cận và giải quyết bài toán
mô tả ảnh thời trang
- Hiện thực hoá mô hình sử dụng học sâu để giải quyết bài toán mô tả ảnh thời
trang, đề xuất cải tiến
- Kiểm thử mô hình gốc và mô hình cải tiến trên cùng một bộ dữ liệu để so sánh
kết quả
3. Sản phẩm
- Mã nguồn đề tài
- Mô hình sau khi huấn luyện.
TRƯỞNG NGÀNH

GIÁO VIÊN HƯỚNG DẪN

i

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc
*******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên: Vũ Nguyên Hưng

MSSV: 16110110

Ngành: Công nghệ Thông tin
Tên đề tài : Tìm hiểu bài toán tạo câu mô tả ảnh thời trang dùng học sâu.
Họ và tên Giáo viên hướng dẫn : TS. Nguyễn Thiên Bảo.
NHẬN XÉT
1. Về nội dung đề tài &amp khối lượng thực hiện :
- Tìm hiểu nội dung kiến thức về học sâu: kiến trúc, cơ chế hoạt động, cơ chế attention
- Tìm hiểu bài toán tạo câu mô tả ảnh thời trang
Ứng dụng học sâu để giải quyết bài toán.
2. Ưu điểm :
- Nắm được các lý thuyết về học sâu, mạng nơ-ron nhân tạo,
- Hiểu được cách áp dụng các lý thuyết để giải quyết bài toán tạo câu mô tả ảnh thời trang.
- Hiện thực hóa được mô hình.
- Có khả năng tự tìm hiểu, nghiên cứu các kiến thức mới.
- Tương tác tốt với GVHD.
3. Khuyết điểm :
- Chưa thực hiện hóa được mô hình Spatial-Channel wise.
- Hạn chế về mặt tài nguyên để huấn luyện mô hình
- Chưa có kinh nghiệm thực tế với thực nghiệm.
4. Đề nghị cho bảo vệ hay không?: Đề nghị cho bảo vệ.
5. Đánh giá loại :
6. Điểm :
Tp. Hồ Chí Minh, ngày tháng 07 năm 20
...

...
Sherstinsky, Fundamentals of Recurrent Neural Network (RNN) and
Long Short-Term Memory (LSTM) Network
[5] M. Z. Hossain, F. Sohel, M. F. Shiratuddin và H. Laga, “A Comprehensive
Survey of Deep Learning for Image Captioning,” arXiv.org, pp. 2-3, 13 May
2018.
[6] Cho, Kyunghyun, v. Merrienboer, Bart, Gulcehre, Caglar, Bougares, Fethi,
Schwenk, Holger, Bengio và Yoshua, “Learning phrase representations using
RNN encoder-decoder for statistical machine translation,” trong EMNLP, Doha,
2014.
[7] R. Socher, A. Karpathy, Q. V. Le, C. D. Manning và A. Y. Ng, “Grounded
compositional semantics for finding and describing images with sentences,”
Transactions of the Association for Computational Linguistics, pp. 207-218,
2014.
[8] A. Karpathy, A. Joulin và F. F. F. Li, “Deep fragment embeddings for
bidirectional image sentence mapping,” trong Advances in neural information
processing systems, Montreal, 2014.
[9] F. Rosenblatt, “The Perceptron: A Probabilistic Model For Information
Storage And Organization In The Brain,” Psychological Review, p. 386–408,
1958.
[10] Zhang, Tong (2004). Solving large scale linear prediction problems using
stochastic gradient descent algorithms. Proceedings of the 21st International
Conference
on
Machine
Learning
(ICML04):
116. doi:10.1145/1015330.1015332. ISBN 1-58113-838-5.
[11]
CS231n
Convolutional
Neural
Networks
Recognition. cs231n.github.io. Retrieved 2018-12-13.

for

Visual

43

[12] Sepp Hochreiter Jürgen Schmidhuber (1997). Long
memory. Neural
Computation. 9 (8):
1735–1780. doi:
neco.1997.9.8.1735. PMID 9377276.

short-term
10.1162/

[13] SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks
for Image Captioning Long Chen, Hanwang Zhang, Jun Xiao, Liqiang Nie, Jian
Shao, Wei Liu, Tat-Seng Chua
[14] K. &amp. R. S. &amp. W. T. &amp. Z. W.-j. Papineni, “BLEU: a Method for Automatic
Evaluation of Machine Translation,” trong Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics (ACL), Philadelphia,
2002.
[15] C.-Y. Lin, “ROUGE: A Package for Automatic Evaluation of Summaries,”
trong Proceedings of the ACL Workshop: Text Summarization Braches Out
2004, 2004.
[16] C. L. Z. D. P. Ramakrishna Vedantam, “CIDEr: Consensus-based Image
Deion Evaluation,” 2014.
[17] Negar Rostamzadeh, Seyedarian Hosseini, Thomas Boquet, Wojciech
Stokowiec, Ying Zhang, Christian Jauvin, Chris Pal,Fashion-Gen: The
Generative Fashion Dataset and Challenge ArXiv e-prints, 2018.

44