Đồ án tốt nghiệp - Nghiên cứu, thiết kế và lắp đặt hệ thống điều khiển ứng dụng xử lý ẢVXMĐVCHHTKVV

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
KHOA CƠ KHÍ ĐỘNG LỰC

ĐỒ ÁN TỐT NGHIỆP

NGHIÊN CỨU, THIẾT KẾ VÀ LẮP ĐẶT HỆ THỐNG
ĐIỀU KHIỂN ỨNG DỤNG XỬ LÝ ẢNH VÀO XE MINI
ĐỂ VẬN CHUYỂN HÀNG HÓA TRONG KHUÔN VIÊN
VIỆN

SVTH :

TRẦN VÕ TÂM DUYÊN

MSSV:

18145323

SVTH :

NGUYỄN PHƯƠNG TÍNH

MSSV:

18145469

GVHD:

ThS. NGUYỄN THÀNH TUYÊN

Tp. Hồ Chí Minh, tháng 08 năm 2022.

LỜI CẢM ƠN
Trong suốt quá trình học tập, chúng em luôn nhận được sự quan tâm, hướng dẫn và
giúp đỡ tận tình của thầy cô ở Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh nói
chung và thầy cô Khoa Cơ khí động lực nói riêng, sự giúp đỡ của gia đình và bạn bè cùng
với sự nổ lực học tập của bản thân.
Lời đầu tiên em xin bày tỏ lòng biết ơn đên Ban giám hiệu và quý thầy cô Trường
Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh, đã tạo điều kiện từ vật chất đến tinh thần cổ
vũ tinh thần sinh viên.
Đặc biệt, nhóm chúng em xin gửi lời cảm ơn chân thành đến thầy ThS. Nguyễn
Thành Tuyên đã trực tiếp hướng dẫn, giúp đỡ nhóm em hoàn thành đồ án này.
Và nhóm em cũng xin gửi lời cảm ơn đến quý thầy cô Khoa Cơ khí động lực, nhất
là các thầy Bộ môn Điện – Điện tử ô tô đã dạy cho chúng em kiến thức cần có để hoàn
thành đồ án này.
Tuy nhiên, không thể tránh được vài thiếu sót khi trình bày, nhìn nhận và đánh giá
vấn đề, nhóm chúng em rất mong nhận được sự góp ý và đánh giá của các thầy cô bộ môn
để đề tài của em hoàn thiện hơn.
Em xin chân thành cảm ơn!
Tp. Hồ Chí Minh, ngày 08 tháng 08 năm 2022.
TRẦN VÕ TÂM DUYÊN

NGUYỄN PHƯƠNG TÍNH

i

TÓM TẮT
Đề tài:
“Nghiên cứu, thiết kế và lắp đặt hệ thống điều khiển ứng dụng xử lý ảnh vào xe mini
để vận chuyển hàng hóa trong khuôn viên viện”
Mô hình của đề tài được nghiên cứu và chế tạo từ tháng 03 năm 2022 đến tháng 08
năm 2022, tại Trường Đại học Sư phạm kỹ thuật Thành phố Hồ Chí Minh.
Trong đề tài, phương pháp xử lý ảnh bằng thuật toán CNN được xây dựng dựa trên
lý thuyết của Machine Learning và Deep Learning. Ngôn ngữ lập trình được sử dụng là
Python, giúp cho việc lập trình và xử lý ảnh trở nên đơn giản hơn. Bên cạnh đó, mô hình
được trang bị thêm định vị GPS, giúp người dùng biết được vị trí của xe đang ở đâu. Và
khi lưu thông trên đường không tránh khỏi sự xuất hiện của các vật cản, vì vậy mô hình
còn được trang bị thêm cảnh báo va chạm với người đi đường/vật cản.
Nguyên lý hoạt động của mô hình: dựa trên các phương pháp nhận diện lane đường,
nhóm chúng em xây dựng thuật toán cho mô hình nhận diện lane đường theo sự khác nhau
của
...

...
tP[0]:endP[0]] = 255
signTrack.mode = Tracking # Set mode to tracking
signTrack.Tracked_class = sign # keep tracking frame sign name
signTrack.old_gray = gray.copy()
signTrack.p0

=

cv2.goodFeaturesToTrack(signTrack.old_gray,

mask=circle_mask, **signTrack.feature_params)
signTrack.mask = np.zeros_like(frame_draw)
else:
signTrack.known_centers.append(center)
signTrack.known_centers_confidence.append(1)
cv2.putText(frame_draw,sign,(endP[0]20,startP[1]+10),cv2.FONT_HERSHEY_PLAIN,0.5,(0,0,255),1)
if draw_detected:
156

cv2.circle(frame_draw,(i[0],i[1]),i[2],(0,255,0),1)
cv2.circle(frame_draw,(i[0],i[1]),2,(0,0,255),3)
if write_
if (sign ==speed_sign_70):
class_id =0/
elif(sign ==speed_sign_80):
class_id =1/
elif(sign ==stop):
class_id =2/
else:
class_id =3/
img_dir = os.path.abspath(Detection/Signs/datasets/) + class_id
img_name = img_dir + str(detected_img)+.png
if not os.path.exists(img_dir):
os.makedirs(img_dir)
cv2.imwrite(img_name , detected_sign)
if display_images:
cimg_str = detected circles
cv2.imshow(cimg_str,frame_draw)
cv2.waitKey(1)
else:
p1, st, err = cv2.calcOpticalFlowPyrLK(signTrack.old_gray, gray, signTrack.p0,
None,**signTrack.lk_params)
if p1 is None:
signTrack.mode = Detection
signTrack.mask = np.zeros_like(frame_draw)
signTrack.Reset()
else:
good_new = p1[st == 1]
good_old = signTrack.p0[st == 1]
for i, (new, old) in enumerate(zip(good_new, good_old)):
157

a, b = (int(x) for x in new.ravel())
c, d = (int(x) for x in old.ravel())
signTrack.mask

=

cv2.line(signTrack.mask,

(a,

b),

(c,

d),

signTrack.color[i].tolist(), 2)
frame_draw = cv2.circle(frame_draw, (a, b), 5, signTrack.color[i].tolist(), -1)
frame_draw_ = frame_draw + signTrack.mask
np.copyto(frame_draw,frame_draw_)
signTrack.old_gray = gray.copy()
signTrack.p0 = good_new.reshape(-1, 1, 2)
def detect_Signs(frame,frame_draw):
global model_loaded
if not model_loaded:
print(tf.__version__)#2.4.1
print(************ LOADING MODEL **************)
global model
model

=

load_model(os.path.abspath(Detection/Signs/models/4_signClassification_model_nano.h
5),compile=False)
model.summary()
model_loaded = True
gray = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
start_signDetection = time.time()

cv2.putText(frame_draw,signTrack.mode,(10,10),cv2.FONT_HERSHEY_PLAIN,0.5,(2
55,255,255),1)
SignDetection_Nd_Tracking(gray.copy(),frame.copy(),frame_draw,model)
end_signDetection = time.time()
return signTrack.mode , signTrack.Tracked_class

158