Đồ án tốt nghiệp - Thiết kế và thi công thiết bị hỗ trợ giao tiếp cho bệnh nhân bị liệt dựa VCĐCNCM

BỘ GIÁO DỤC &amp ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
-

KHÓA LUẬN TỐT NGHIỆP
NGÀNH KỸ THUẬT Y SINH

ĐỀ TÀI:

THIẾT KẾ VÀ THI CÔNG THIẾT BỊ HỖ TRỢ
GIAO TIẾP CHO BỆNH NHÂN BỊ LIỆT DỰA
VÀO CHUYỂN ĐỘNG CON NGƯƠI CỦA MẮT

GVHD: ThS. Ngô Bá Việt
SVTH1: Lê Phước Phục Khanh
MSSV1: 18129025
SVTH2: Phạm Quang Nhật
MSSV2: 18129039

TP. Hồ Chí Minh – 12/2022

BỘ GIÁO DỤC &amp ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
-

KHÓA LUẬN TỐT NGHIỆP
NGÀNH KỸ THUẬT Y SINH
ĐỀ TÀI:

THIẾT KẾ VÀ THI CÔNG THIẾT BỊ HỖ TRỢ
GIAO TIẾP CHO BỆNH NHÂN BỊ LIỆT DỰA
VÀO CHUYỂN ĐỘNG CON NGƯƠI CỦA MẮT

GVHD: ThS. Ngô Bá Việt
SVTH1: Lê Phước Phục Khanh
MSSV1: 18129025
SVTH2: Phạm Quang Nhật
MSSV2: 18129039

TP. Hồ Chí Minh – 12/2022

TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT
NAM
Độc lập - Tự do - Hạnh phúc
Tp. HCM, ngày 29 tháng 12 năm 2022

NHIỆM VỤ KHÓA LUẬN TỐT NGHIỆP
Họ tên sinh viên:
Chuyên ngành:
Hệ đào tạo:
Khóa:

Lê Phước Phục Khanh
Phạm Quang Nhật
Kỹ thuật Y Sinh
Đại học chính quy
2018

MSSV: 18129025
MSSV: 18129039
Mã ngành: 7520212D
Mã hệ:
1
Lớp:
181290

I. TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG THIẾT BỊ HỖ TRỢ GIAO TIẾP
CHO BỆNH NHÂN BỊ LIỆT DỰA VÀO CHUYỂN ĐỘNG CON NGƯƠI CỦA
MẮT
II. NHIỆM VỤ
1. Các số liệu ban đầu:
- Mô hình và tài liệu của một số thiết bị giao tiếp bằng mắt đã có trên thị trường.
- Các tài liệu kỹ thuật về điều khiển thiết bị qua Jetson Nano Developer Kit.
- Các tài liệu về Python và cách thiết kế giao diện, giao tiếp qua bluetooth, wifi, tài
liệu về thư viện OpenCV.
- Các tài liệu về Arduino và thư viện Arduino
- Mô hình nhận diện đối tượng: You Only Look Once version 4.
- Huấn luyện và đánh giá mô hình: Google Colab.
- Ngôn ngữ lập trình: Python, Arduino
- Tập dữ liệu huấn luyện nhận diện con ngươi mắt: Tự thu thập qua camera.
2. Nội dung thực hiện:
- Tìm hiểu lý thuyết về các mô hình nhận diện đối tượng.
- Kết nối Jetson Nano Developer Kit với màn hình Waveshare 10inch và Webcam
C270 HD.
- Tiến hành các thí nghiệm huấn luyện mô hình YOLOv4.
i

- Đánh giá kết quả các thí nghiệm dựa trên các phương pháp đánh giá và thử nghiệm
thực tế.
- Nghiên cứu xây dựng một phần mềm có thể nhận diện chuyển động của con ngươi.
- Nghiên cứu xây dựng bộ hiển thị chức năng bàn phím ảo.
-
...

...


__FINAL__
fps = FPS: %.2f % (1 / (end - start))

start = time.time()

cv2.putText(frame,
fps,
(0,
25),
cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0,
255), 2)

83

cv2.imshow(output, frame)

• Chương trình điều khiển trên Arduino Due
byte bluetoothByte = 0 //khai báo biến nhận void dunglai()
bluetooth
{
int LEFT_FORWARD = 8
digitalWrite(EN_LEFT, LOW)
int LEFT_REVERSE = 9
digitalWrite(EN_RIGHT, LOW)
int EN_LEFT = 11
(100)
int EN_RIGHT = 10
analogWrite(LEFT_FORWARD, 0)
int RIGHT_FORWARD = 13
analogWrite(LEFT_REVERSE, 0)
int RIGHT_REVERSE = 12
analogWrite(RIGHT_FORWARD, 0)
////________________________________SET
analogWrite(RIGHT_REVERSE, 0)
UP_________________
}
void setup() {
void dithang()
pinMode(LEFT_FORWARD, OUTPUT)
{
pinMode(LEFT_REVERSE, OUTPUT)
digitalWrite(EN_LEFT, HIGH)
pinMode(RIGHT_FORWARD, OUTPUT)
digitalWrite(EN_RIGHT, HIGH)
pinMode(RIGHT_REVERSE, OUTPUT)
(50)
pinMode(EN_LEFT, OUTPUT)
analogWrite(LEFT_FORWARD, 25)
pinMode(EN_RIGHT, OUTPUT)
analogWrite(LEFT_REVERSE, 0)
Serial3.begin(9600)
analogWrite(RIGHT_FORWARD, 25)
Serial.begin(9600)
analogWrite(RIGHT_REVERSE, 0)
}
//Serial.print(Thang)
//____________________________LOOP____
}
__________________
void loop()

void lui()

{

{

if (Serial3.available() 0)

digitalWrite(EN_LEFT, HIGH)

{

digitalWrite(EN_RIGHT, HIGH)

bluetoothByte = Serial3.read()

(50)

}

analogWrite(LEFT_FORWARD, 0)

if (bluetoothByte == 1) //so 3

analogWrite(LEFT_REVERSE, 22)

{

analogWrite(RIGHT_FORWARD, 0)
dithang()

analogWrite(RIGHT_REVERSE, 22)

Serial.println(1)

//Serial.print(Lui)

}

}

else if (bluetoothByte == 0) // so 6

void quaytrai()

{

{
dunglai()

digitalWrite(EN_LEFT, HIGH)

84

Serial.println(0)

digitalWrite(EN_RIGHT, HIGH)

}

(50)

else if (bluetoothByte == 2) //so 2

analogWrite(LEFT_FORWARD, 0)

{

analogWrite(LEFT_REVERSE, 28)
lui()

analogWrite(RIGHT_FORWARD, 28)

Serial.println(2)

analogWrite(RIGHT_REVERSE, 0)

}

//Serial.print(Trai)

else if(bluetoothByte == 3) // so 1

}

{

void quayphai()
quaytrai()

{

Serial.println(13)

digitalWrite(EN_LEFT, HIGH)

}

digitalWrite(EN_RIGHT, HIGH)

else if (bluetoothByte == 4)// so 4

(50)

{

analogWrite(LEFT_FORWARD, 28)
quayphai()

analogWrite(LEFT_REVERSE, 0)

Serial.println(4)

analogWrite(RIGHT_FORWARD, 0)

}
}//_______________________________END
LOOP______________________________

analogWrite(RIGHT_REVERSE, 28)
}

85