Đồ án tốt nghiệp - Xây dựng ứng dụng hỗ trợ người khiến thị nhận biết môi trường giao thông dựa TAVM

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP
NGÀNH KỸ THUẬT DỮ LIỆU

XÂY DỰNG ỨNG DỤNG
HỖ TRỢ NGƯỜI KHIẾM THỊ
NHẬN BIẾT MÔI TRƯỜNG GIAO THÔNG
DỰA TRÊN AI VÀ MLOPS
GVHD: HOÀNG VĂN DŨNG
SVTH: BÙI ĐỨC NHÂN
HUỲNH THIỆN NHÂN
ĐÁI TRIỆU PHI

TP. Hồ Chí Minh, tháng 06/2025

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CÔNG NGHỆ THÔNG TIN

Bùi Đức Nhân

MSSV: 21133060

Huỳnh Thiện Nhân

MSSV: 21133062

Đái Triệu Phi

MSSV: 21133068

Đề tài:

XÂY DỰNG ỨNG DỤNG
HỖ TRỢ NGƯỜI KHIẾM THỊ
NHẬN BIẾT MÔI TRƯỜNG GIAO THÔNG
DỰA TRÊN AI VÀ MLOPS
KHOÁ LUẬN TỐT NGHIỆP KỸ SƯ NGÀNH KỸ THUẬT DỮ LIỆU

GIẢNG VIÊN HƯỚNG DẪN
PGS.TS HOÀNG VĂN DŨNG
KHOÁ 2021-2025

ĐH SƯ PHẠM KỸ THUẬT TP.HCM

XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA CÔNG NGHỆ THÔNG TIN

Độc lập – Tự do – Hạnh phúc

******

******

PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên 1: Bùi Đức Nhân

MSSV 1: 21133060

Họ và tên Sinh viên 2: Huỳnh Thiện Nhân

MSSV 2: 21133062

Họ và tên Sinh viên 3: Đái Triệu Phi

MSSV 3: 21133068

Chuyên ngành: Kỹ thuật dữ liệu
Tên đề tài: XÂY DỰNG ỨNG DỤNG HỖ TRỢ NGƯỜI KHIẾM THỊ NHẬN
BIẾT MÔI TRƯỜNG GIAO THÔNG DỰA TRÊN AI VÀ MLOps.
Họ và tên giáo viên hướng dẫn: PGS.TS Hoàng Văn Dũng
NHẬN XÉT
1. Về nội dung đề tài và khối lượng thực hiện:
...........................................................................................................................................
...........................................................................................................................................
2. Ưu điểm:
...........................................................................................................................................
...........................................................................................................................................
3. Khuyết điểm:
...........................................................................................................................................
...........................................................................................................................................
4. Đề nghị cho bảo vệ hay không?
...........................................................................................................................................
...........................................................................................................................................
5. Đánh giá loại:
...
...

...
set_header Host $host

86

proxy_set_header X-Real-IP $remote_addr
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for
proxy_set_header X-Forwarded-Proto $scheme
}
}
}

Để Nginx có thể định tuyến đến các dịch vụ, cần khởi tạo các container bằng Docker
tương ứng với mỗi dịch vụ.
− Truy vấn dữ liệu huấn luyện (Metadata).
# Use Python 3.11 as the base image
FROM python:3.11-slim
# Set the working directory
WORKDIR /app
# Copy the necessary files into the container
COPY . .
# Install the required libraries
COPY requirements.txt .
RUN pip3 install no-cache-dir -r requirements.txt
# Start FastAPI when the container is launched
CMD [uvicorn, main:app, host, 0.0.0.0, port, 8000]

− Triển khai mô hình AI.
# Sử dụng Python 3.11 làm image cơ sở
FROM python:3.11-slim
# Thiết lập thư mục làm việc
WORKDIR /app
RUN mkdir -p /app/tmp/BARTpho_vit_gpt2 &amp&amp chmod 777 /app/tmp/BARTpho_vit_gpt2
# Sao chép các file cần thiết vào container
COPY . .
# Cài đặt các thư viện cần thiết
COPY requirements.txt .
RUN pip3 install no-cache-dir -r requirements.txt
# Install the cv2 dependencies that might be missing in Docker container
RUN apt-get &amp&amp apt-get install ffmpeg libsm6 libxext6 -y
# Khởi chạy FastAPI khi container được khởi động
CMD [uvicorn, main:app, host, 0.0.0.0, port, 8000]

Chạy lệnh bên dưới để tiến hành cài đặt:
docker-compose up build [model-service/metadata-service]

Để ứng dụng di động có thể đẩy dữ liệu ảnh của người dùng lên vùng lưu trữ riêng của
người dùng trước khi nhập vào kho chính, cần xét quyền truy cập trên MinIO đối với
thư mục lưu trữ ảnh đó. Trong đó, chúng em sẽ cấp quyền đọc và ghi cho ứng dụng di

87

động, tương ứng với “PutObject” và “GetObject”, cho các đường dẫn đến thư mục
user_images là nơi sẽ lưu trữ dữ liệu ảnh từ người dùng.
Version: 2012-10-17,
Statement: [
{
Effect: Allow,
Principal: {
AWS: [
*
]
},
Action: [
s3:GetObject,
s3:PutObject
],
Resource: [
arn:aws:s3:::mlflow/user_images,
arn:aws:s3:::mlflow/raw_data
]
}
]

4. Đường dẫn tham khảo tài nguyên của đề tài
Mã nguồn:
− IMCP – Hệ thống hỗ trợ người khiếm thị
− MLOps cho bài toán Image Captioning
− Ứng dụng di động IMCP
Tập dữ liệu xây dựng TPC37k:
− TCP37K – Traffic Pictures Captioning Dataset
Video demo báo cáo:
− Video mô phỏng quy trình tự động hóa trong datalake
− Video mô phỏng quá trình lập lịch huấn luyện tăng cường
Thông tin đăng bài báo tại hội nghị quốc tế MAPR.

88