Đồ án tốt nghiệp - Thiết kế và thi công mô hình kính đeo mắt hỗ trợ bệnh nhân bại liệt GTVDC - ỨDXLẢ

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO
-

ĐỒ ÁN TỐT NGHIỆP

THIẾT KẾ VÀ THI CÔNG MÔ HÌNH KÍNH ĐEO
MẮT HỖ TRỢ BỆNH NHÂN BẠI LIỆT GIAO TIẾP
VÀ DI CHUYỂN - ỨNG DỤNG XỬ LÝ ẢNH
SVTH

:

NGUYỄN ĐOÀN VĨNH THÁI

MSSV

:

18161148

SVTH

:

BÙI ĐÌNH HIẾU

MSSV

:

18161072

Khóa

:

2018

Ngành

:

Công nghệ Kỹ thuật Điện Tử - Viễn Thông

GVHD

:

ThS. NGÔ BÁ VIỆT

TP. Hồ Chí Minh, ngày 26 tháng 06 năm 2023
i

LỜI CẢM ƠN
Trước tiên với tình cảm sâu sắc và chân thành nhất cho phép nhóm xin được
bày tỏ lòng biết ơn đến tất cả các thầy cô đã hỗ trợ, giúp đỡ trong suốt quá trình học
tập và nghiên cứu. Bên cạnh đó, nhóm còn gửi lời cảm ơn đến gia đình đã tạo điều
kiện, ủng hộ tinh thần cho cá nhân mỗi thành viên thực hiện đề tài này một cách tốt
nhất.
Với lòng biết ơn sâu sắc nhất nhóm thực hiện đề tài này xin gửi đến thầy ThS.
Ngô Bá Việt. Đã truyền đạt vốn kiến thức quý báu, cũng như hướng dẫn và giúp đỡ
rất nhiều cho nhóm thực hiện đề tài trong suốt thời gian nghiên cứu tại trường. Nhờ
có những lời hướng dẫn dạy bảo của các thầy cô thì đề tài nghiên cứu của nhóm mới
có thể hoàn thiện tốt đẹp được.
Bài báo cáo thực hiện trong khoảng thời gian là 5 tháng. Bước đầu đi vào thực
hiện thì nhóm còn nhiều hạn chế và còn bỡ ngỡ nên không tránh khỏi những thiếu
sót. Nhóm rất mong nhận được sự thông cảm và những ý kiến đóng góp quý báu của
quý thầy cô để kiến thức của nhóm trong lĩnh vực nghiên cứu được hoàn thiện và
chắc hơn nữa.
Nhóm thực hiện đề tài xin chân thành cảm ơn!

Người thực hiện đề tài

Nguyễn Đoàn Vĩnh Thái

Bùi Đình Hiếu

ii

LỜI CAM ĐOAN
Đề tài này được thực hiện dựa trên tất cả những gì nhóm làm đề tài tìm hiểu
được qua các tài liệu và các kết quả nghiên cứu đã được công bố với sự hướng dẫn từ
thầy ThS. Ngô Bá Việt. Không sao chép từ tài liệu hay bất kỳ công trình nào đã có
trước đó.

Người thực hiện đề tài

Nguyễn Đoàn Vĩnh Thái

Bùi Đình Hiếu

iii

TÓM TẮT
Những bệnh nhân mắc hội chứng liệt luôn là những người cần được quan tâm,
chăm sóc và giúp đỡ trong cuộc sống. Việc di chuyển, đi lại của những bệnh nhân hết
sức khó khăn. Không những vậy, một số người mắc hội chứng bị khoá (Locked-in
Syndrome) hoặc những bệnh nhân mắc hội chứng liệt còn không thể giao tiếp. Vì
vậy, đề tài này đưa ra giải pháp để giúp những bệnh nhân ấy có thể giao tiếp với
những người xung quanh hay có thể di chuyển bằng việc điều khiển xe lăn điện thông
qua việc cử động con mắt của họ. Mục tiêu
...

...
/HieuThai/classes-new.txt, r) as f:
class_names = [cname.strip() for cname in f.readlines()]
#webcam
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480)
#########Dua duong dan file da traning &amp file config
net=cv2.dnn.readNet(/home/nhat/HieuThai/yolov4-tiny_final_1806.weights
, /home/nhat/HieuThai/yolov4-tiny.cfg)

BÁO CÁO ĐỒ ÁN TỐT NGHIỆP

66

net.setPreferableBackend(cv2.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv2.dnn.DNN_TARGET_CUDA_FP16)
model = cv2.dnn_DetectionModel(net)
model.setInputParams(size=(416, 416), scale=1/255, swapRB=True)
print(Objects list)
print(class_names)
while cv2.waitKey(1) 1:
(grabbed, frame) = cap.read()
if not grabbed:
exit()
#frame = cv2.flip(frame1, 1)
start = time.time()
classes, scores, boxes = model.detect(frame,
CONFIDENCE_THRESHOLD, NMS_THRESHOLD)
end = time.time()
classes, scores, boxes = model.detect(frame,
CONFIDENCE_THRESHOLD, NMS_THRESHOLD)
start_drawing = time.time()
for (classid, score, box) in zip(classes, scores, boxes):
color = COLORS[int(classid) % len(COLORS)]
label = %s : %f % (class_names[classid], score)
cv2.rectangle(frame, box, color, 2)
cv2.putText(frame, label, (box[0], box[1] - 5),
cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2)
end_drawing = time.time()
fps = FPS: %.2f % (1 / (end - start))
cv2.putText(frame, fps, (0, 25), cv2.FONT_HERSHEY_SIMPLEX, 1, (255,
BÁO CÁO ĐỒ ÁN TỐT NGHIỆP

67

0, 255), 2)
cv2.imshow(output, frame)
-

Sourch Code huấn luyện mô hình trên Google Colab.

# clone darknet repo
!git clone https://github.com/AlexeyAB/darknet

%cd darknet
!sed -i s/OPENCV=0/OPENCV=1/ Makefile
!sed -i s/GPU=0/GPU=1/ Makefile
!sed -i s/CUDNN=0/CUDNN=1/ Makefile
!sed -i s/CUDNN_HALF=0/CUDNN_HALF=1/ Makefile

# Add file Train.txt , Val.txt , yolo.name , yolo.data into /darknet
# Add file yolov4-tiny.cfg into - /cfg

from google.colab import drive
drive.mount(/content/drive)

%cd /content/darknet/data
# Giai nen tep anh – thay the duong dan cho phu hop
!unzip /content/drive/My Drive/Yolov4/image-train.zip
%cd /content/darknet

!make
!chmod +x ./darknet

BÁO CÁO ĐỒ ÁN TỐT NGHIỆP

68

!rm /content/darknet/backup -r
!ln -s /content/drive/My Drive/Yolov4-1806/backup /content/darknet
%cd /content/darknet
!./darknet detector train yolo.data cfg/yolov4-tiny.cfg -dont_show
# Qua trinh training dien ra tu khoang 1-2 tieng, tuy thuoc vao mo hinh YOLOv4 ma
nguoi dung chon.

BÁO CÁO ĐỒ ÁN TỐT NGHIỆP

69