Đồ án tốt nghiệp - Thiết kế và điều khiển gương tương tác thông minh: Đồ án tốt NKĐTCLCNCNKTCĐT

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO


ĐỒ ÁN TỐT NGHIỆP

THIẾT KẾ VÀ ĐIỀU KHIỂN GƯƠNG TƯƠNG TÁC
THÔNG MINH
SVTH:
NGUYỄN GIA BẢO

17146084

NGUYỄN THỊ HẢI YẾN

17146225

PHẠM THỊ THANH THỦY

17146199

Khóa: 2017-2021
Ngành: CNKT CƠ ĐIỆN TỬ
GVHD: TS. BÙI HÀ ĐỨC

Tp. Hồ Chí Minh, tháng 09 năm 2021

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

Độc lập - Tự do – Hạnh phúc

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Giảng viên hướng dẫn: TS. Bùi Hà Đức
MSSV:17146084

ĐThoại: 0981675553

Nguyễn Thị Hải Yến

MSSV:17146225

ĐThoại: 0918240145

Phạm Thị Thanh Thủy

MSSV:17146199

ĐThoại: 0347314959

Sinh viên: Nguyễn Gia Bảo

1.

Tên đề tài:

Thiết kế và điều khiển hệ thống gương tương tác thông minh
2. Các số liệu, tài liệu ban đầu:
- Cơ sở lý thuyết
- Camera 3D
3. Nội dung chính của đồ án:
- Nghiên cứu cơ sở lý thuyết xử lý ảnh 3D.
- Xây dựng mô hình phần cứng của hệ thống gương tương tác thông minh.
- Thu thập và xử lý dữ liệu ảnh 3D.
- Xây dựng phần mềm xử lý ảnh.
- Thiết kế giao diện tương tác giữa người và hệ thống.
4. Các sản phẩm dự kiến
Mô hình, báo cáo, thuyết minh
5. Ngày giao đồ án:
6. Ngày nộp đồ án:
7. Ngôn ngữ trình bày:

Tiếng Anh



Tiếng Việt



Trình bày bảo vệ: Tiếng Anh



Tiếng Việt



Bản báo cáo:

TRƯỞNG KHOA

TRƯỞNG NGÀNH

GIẢNG VIÊN HƯỚNG DẪN

(Ký, ghi rõ họ tên)

(Ký, ghi rõ họ tên)

(Ký, ghi rõ họ tên)

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

Độc lập - Tự do – Hạnh phúc

Bộ môn: Cơ điện tử

PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP
(Dành cho giảng viên hướng dẫn)
Họ và tên sinh viên: Nguyễn Gia Bảo

MSSV: 17146084

Hội đồng:

Họ và tên sinh viên: Nguyễn Thị Hải Yến

MSSV: 17146225

Hội đồng:

Họ và tên sinh viên: Phạm Thị Thanh Thủy MSSV: 17146199

Hội đồng:

Tên đề tài: Thiết kế và điều khiển hệ thống gương tương tác thông minh
Ngành đào tạo: Công nghệ kỹ thuật Cơ điện tử
Họ và tên GV hướng dẫn: TS. Bùi Hà Đức
Ý KIẾN NHẬN XÉT
1. Nhận xét về tinh thần, thái độ làm việc của sinh viên (không đánh máy)
......................................................................................................................................
......................................................................................................................................
.........................................................................................................
...

...


cv2.rotate(color_image_2,

cv2.ROTATE_90_COUNTERCLOCKWISE)
out.write(color_image_1)
# print(depth_image_shape1,depth_image_1)

127

# print(depth_image_shape2,depth_image_2)
flag = read_flagtable(mydb)
if flag == 1:
find size
# perform inference and the tracking id
skeletons = skeletrack.track_skeletons(color_image_1)
# render the skeletons on top of the acquired image and display it
cm.render_result(skeletons, color_image_1, joint_confidence)
skeletons_3D = render_ids_3d( color_image_1,
skeletons,
depth_frame_1,
depth_intrinsic_1,
joint_confidence)
if skeletons_3D is not None:
# depth_image_1 = np.asanyarray(depth_2.get_data())
#calculate pcd
points_1 = pc1.calculate(depth_frame_1)
points_2 = pc2.calculate(depth_frame_2)
v1 = points_1.get_vertices()
v2 = points_2.get_vertices()
verts1 = np.asanyarray(v1).view(np.float32).reshape(-1, 3)
# xyz
verts2 = np.asanyarray(v2).view(np.float32).reshape(-1, 3)
# xyz

128

print(verts 1: ,verts1)
print(verts 2: ,verts2)
pcl1 = o3d.geometry.PointCloud()
pcl1.points = o3d.utility.Vector3dVector(verts1)
pcl2 = o3d.geometry.PointCloud()
pcl2.points = o3d.utility.Vector3dVector(verts2)
size = process_3D(pcl1,pcl2,skeletons_3D)
send_sizetable(size[0],size[1],size[2],size[3])
print(da gui size)
elif flag == 2:
tuong tac
# ghi lien tuc doc tac vao database
skeletons = skeletrack.track_skeletons(color_image_1)

# render the skeletons on top of the acquired image and display it
cm.render_result(skeletons, color_image_1, joint_confidence)
skeletons_3D = render_ids_3d( color_image_1,
skeletons,
depth_frame_1,
depth_intrinsic_1,
joint_confidence)
if skeletons_3D is not None:
k = motion_detection(skeletons_3D[4])
if k is not None:

129

print(k = ,k)
if k == 1:
times1 += 1
times2 = 0
elif k == 2:
times1 = 0
times2 += 1
elif k == 3:
times1 = 0
times2 = 0
if times1 =3:
mycursor = mydb.cursor()
sql = INTO movement (id,kind) VALUES
(%s, %s)
val = (None,1)
mycursor.ute(sql, val)
mydb.commit()
times1 = 0
print(gat 1)
elif times2 =3:
mycursor = mydb.cursor()
sql = INTO movement (id,kind) VALUES
(%s, %s)
val = (None,2)

130

mycursor.ute(sql, val)
mydb.commit()
times2 = 0
print(gat 2)
cv2.imshow(1, color_image_1)
# cv2.imshow(2, color_image_2)
if cv2.waitKey(1) == 27:
break
pipeline_1.stop()
pipeline_2.stop()
cv2.destroyAllWindows()
#sle = 0
except Exception as ex:
print(Exception occured: {}.format(ex))

131

Phụ lục B: Bản vẽ

132

133