Đồ án tốt nghiệp - Phân tích hoạt động mắt và ứng dụng điều khiển thiết bị sử dụng phần mềm Emotiv P

BỘ GIÁO DỤC &amp ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
-????????????????

ĐỒ ÁN TỐT NGHIỆP
NGÀNH KỸ THUẬT Y SINH

ĐỀ TÀI:
PHÂN TÍCH HOẠT ĐỘNG MẮT VÀ ỨNG DỤNG ĐIỀU
KHIỂN THIẾT BỊ SỬ DỤNG PHẦN MỀM EMOTIV PRO

GVHD: Th.S Ngô Bá Việt
SVTH1: Nguyễn Thị Kiều Oanh
MSSV1: 19129038
SVTH2: Trần Thị Kim Thành
MSSV2: 19129047
TP. HỒ CHÍ MINH 06/2023

TRƯỜNG ĐẠI HỌC SPKT TPHCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Khoa Điện Điện tử

Độc Lập - Tự Do - Hạnh Phúc

Bộ Môn Điện Tử Công Nghiệp Y- Sinh

o0o-Tp. HCM, ngày 20 tháng 06 năm 2023

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:

Trần Thị Kim Thành

MSSV: 19129047

Nguyễn Thị Kiều Oanh

MSSV: 19129038

Chuyên ngành:

Kỹ thuật y sinh

Mã ngành: 29

Hệ đào tạo:

Đại học chính quy

Mã hệ: 1

Khóa:

2019

Lớp: 191290B

TÊN ĐỀ TÀI:
PHÂN TÍCH HOẠT ĐỘNG MẮT VÀ ỨNG DỤNG ĐIỀU KHIỂN THIẾT
BỊ SỬ DỤNG PHẦN MỀM EMOTIV PRO
II. NHIỆM VỤ
1. Các số liệu ban đầu:
-

Ngôn ngữ: Python, Arduino.

-

Phần mềm huấn luyện: Pycharm 2023.

-

Thiết bị thu dữ liệu: Emotiv Epoc+ 14 điện cực.

-

Phần mềm thu dữ liệu: Phần mềm EMOTIV PRO

-

Phần mềm lập trình điều khiển thiết bị: Arduino IDE

-

Tập dữ liệu: dữ liệu EEG về 5 dạng tín hiệu nháy mắt thu từ các tình nguyện viên
thuộc Đại học Sư Phạm Kỹ Thuật thành phố Hồ Chí Minh với độ tuổi từ 20-22 tuổi
và tập dữ liệu gồm 600 tín hiệu từ nghiên cứu trước.

-

Thiết bị: xe lăn điện, đèn và quạt

2. Nội dung thực hiện:
-

Nội dung 1: Tìm hiểu kiến thức về tín hiệu EEG và các dạng hoạt động mắt.
i

- Nội dung 2: Tìm hiểu cách sử dụng thiết bị Emotiv và cách thức thu tín hiệu từ thiết
bị Emotiv với phần mềm Emotiv Pro.
-

Nội dung 3: Thu tín hiệu, xử lý và dán nhãn đặc trưng tín hiệu

-

Nội dung 4: Xây dựng mô hình phân loại 5 dạng tín hiệu nháy mắt sử dụng mạng
CNN.

-

Nội dung 5: Tiến hành phân loại tín hiệu EEG về 5 dạng hoạt động mắt

-

Nội dung 6: Viết chương trình điều khiển thiết bị

-

Nội dung 7: Tiến hành chạy chương trình, kiểm tra, hiệu chỉnh và đánh giá kết quả.

III. NGÀY GIAO NHIỆM VỤ: 20/02/2023
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 20/06/2023
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:
CÁN BỘ HƯỚNG DẪN

Th.S. NGÔ BÁ VIỆT

BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

ii

TRƯỜNG ĐẠI HỌC SPKT TPHCM

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

Khoa Điện Điện tử

Độc Lập - Tự Do - Hạnh Phúc

Bộ Môn Điện Tử Công Nghiệp Y- Sinh

o0o-Tp. HCM, ngày 20 tháng 06 năm 2023

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tê
...

...
#read raw data by file csv just record
dirName = rD:\\\\data EEG
fnList = [f for f in os.listdir(dirName)\\
if f.endswith(.csv) and os.path.isfile(os.path.join(dirName, f))]
if len(fnList) 0:
fn = fnList[-1]
path = os.path.join(dirName, fn)
print(path)
else:
print(No such file)
eeg = [EEG.AF3, EEG.F7, EEG.AF4, EEG.F8]
data = []
data_file_eeg_8 = pd.read_csv(path, header=1, usecols=eeg)
for i in eeg:
data = data + data_file_eeg_8[i].head(701).to_list()
print(data)
print(So mau cua list la: , len(data))
df = DataFrame(data)
#loadmodel
model = load_model(model_04_05_v1.h5)
a = np.array(df)
#a= savgol_filter(a, 5, 2,mode=nearest)
a_t = np.transpose(a) # transpose of a
X_unkown = np.reshape(a_t, (a_t.shape[0], a_t.shape[1], 1))
print(size of X_unkown:, X_unkown.shape)
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

93

PHỤ LỤC
output = model.predict(X_unkown)
print(output)
#lam tron
output = np.round(output)
print(output:, output)
if output[0][0] == 1:
prediction = Blink
Arduinoserial.write(b1)
print(quat do quay)
elif output[0][1] == 1:
prediction = Double Blink
Arduinoserial.write(b2)
print(den do sang)
elif output[0][2] == 1:
prediction = Left
Arduinoserial.write(b3)
print(den xanh sang)
elif output[0][4] == 1:
prediction = Right
Arduinoserial.write(b4)
print(quat xanh quay)
else:
prediction = RELAX
Arduinoserial.write(b0)
# print(dung quat va den)
print(Signal:, prediction)
#plot data
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

94

PHỤ LỤC
plt.subplots(1, 1, figsize=(10, 5))
plt.plot(data)
plt.title(prediction)
plt.xlabel(samples)
plt.ylabel(Amplitude (uV))
plt.show()
❖ Chương trình điều khiển đèn và quạt bằng Arduino

int datafromUser = 0
void setup() {
// put your setup code here, to run once:
pinMode( 7, OUTPUT )
pinMode( 8, OUTPUT )
pinMode( 12, OUTPUT )
pinMode( 2, OUTPUT )
Serial.begin(9600)
}
void loop() {
// put your main code here, to run repeatedly:
if (Serial.available() 0)
{
datafromUser = Serial.read()
}
if (datafromUser == 1)
{
digitalWrite( 12 , HIGH )
}
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

95

PHỤ LỤC
else if (datafromUser == 2)
{
digitalWrite( 8, HIGH)
}
else if (datafromUser == 3)
{
digitalWrite( 7 , HIGH )
}
else if (datafromUser == 4)
{
digitalWrite( 2 , HIGH )
}
else if (datafromUser == 0)
{
digitalWrite( 2 , LOW )
digitalWrite( 12 , LOW )
digitalWrite( 7 , LOW )
digitalWrite( 8 , LOW )
}
}

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

96