TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
KHOA CƠ KHÍ ĐỘNG LỰC

ĐỒ ÁN TỐT NGHIỆP

Ứng dụng xử lý ảnh trong chạy theo làn đường,nhận diện
biển báo và áp dụng lên xe tự hành
SVTH: NGUYỄN TRUNG TRỰC
MSSV: 16145560
SVTH: LÊ MINH HÙNG
MSSV: 16145406
GVHD: Ths.NGUYỄN THÀNH TUYÊN

Tp.Hồ Chí Minh, 14 tháng 08 năm 2020

LỜI CẢM ƠN
Trong thời gian làm đề tài tốt nghiệp, nhóm chúng em đã nhận được nhiều sự giúp đỡ,
đóng góp ý kiến và chỉ bảo nhiệt tình của thầy cô, gia đình và bạn bè.
Nhóm chúng em xin gửi lời cảm ơn chân thành đến Th.s Nguyễn Thành Tuyên, giảng
viên Bộ môn Điện-Điện tử - trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
người đã tận tình hướng dẫn, chỉ bảo em trong suốt quá trình thực hiện đề tài tốt nghiệp.
Đồng thời cả nhóm cũng xin chân thành cảm ơn các thầy cô giáo trong trường Đại Học
Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh nói chung, các thầy trong Bộ môn Điện-Điện
tử nói riêng đã dạy dỗ cho em kiến thức về các môn đại cương cũng như các môn chuyên
ngành, giúp em có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp đỡ em trong suốt
quá trình học tập.
Cuối cùng chúng em xin chân thành cảm ơn gia đình và bạn bè, đã luôn tạo điều kiện,
quan tâm, giúp đỡ, động viên cả nhóm trong suốt quá trình học tập, nghiên cứu và hoàn
thành đề tài tốt nghiệp.

Sinh Viên Thực Hiện

ii

TÓM TẮT
Đề tài:
“Xe tự hành chạy theo lane và nhận diện biển báo”
Được nghiên cứu và chế tạo tại trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí
Minh.Thời gian thực hiện 1/2020 đến 7/2020 là đề tài được ứng dụng vào thực tế.Đề tài
ứng dụng xử lý ảnh để nhận biết lane và biển báo để điều khiển hoạt động của chiếc xe.Với
ngôn ngữ chính để lập trình xử lý hình ảnh là ngôn ngữ Python,giúp cho việc lập trình xử
lý ảnh trở nên đơn giản hơn.Phương pháp được sử dụng trong xử lý ảnh của nhóm em là
Deep Learning,phương pháp này cho phép máy tự học các đặc điểm của hình ảnh mà không
cần tác động nhiều của người lập trình bằng cách cung cấp một lượng đủ hình ảnh cho
máy.Từ các hình ảnh được cung cấp đó máy sẽ tự lọc và chọn ra những đặc điểm nổi bật
của hình ảnh đó.Máy sẽ lưu nhớ các hình ảnh đó thông qua các đặc điểm là nó đã lọc ban
đầu,hình ảnh được thu vào khi xe chạy sẽ được so sánh với hình ảnh đã được thu thập từ
trước,sau đó hệ thống sẽ đưa ra các quyết định thông qua việc so sánh đặc điểm ấy.Mục
đích của đề tài là xây dựng mô hình xe từ hành để từ đó có thể tạo một bước đệm lớn,từ
bước đệm đó chúng ta có thể phát triển và chế tạo ra những
...

...
trí mà chiếc xe đang hoạt động trên bản đồ đó.
Các thông tin từ việc xử lý hình ảnh lane, biển báo, vị trí GPS, Lidar cảm biến đều sẽ
được thu thập và tổng hợp một cách cụ thể để đưa ra thông tin chính xác nhất giúp xe di
chuyển đúng theo ý muốn,và an toàn thông qua ROS.Hay nói cách khác ROS chính là bộ
não của chiếc xe.

73

TÀI LIỆU THAM KHẢM
[1]

Deep Residual Learning for Image Recognition, by He, K., Ren, S., Sun, J., &amp

Zhang, X. (2016). CoRR, abs/1512.03385. (cited 1436 times, HIC: 137 , CV: 582)
[2]

Luận văn thạc sĩ công nghệ thông tin:”Nghiên cứu về mạng Neural tích chập và ứng

dụng cho bài toán nhận dạng biển số xe”, Lê Thị Thu Hằng, Bách Khoa Hà Nội 2016.
[3]

Nielsen, M. (2018, 10 2). Introducing convolutional networks. Neural Networks and

Deep Learning:
http://neuralnetworksanddeeplearning.com/chap6.html#introducing_convolution
al_networks
[4]

Krizhevsky, A., Sutskever, I., &amp Hinton, G. E. (2012). Imagenet classification with

deep convolutional neural networks. In Advances in neural information processing systems
(pp. 1097-1105).
[5]

Donahue, J., Jia, Y., Vinyals, O., Hoffman, J., Zhang, N., Tzeng, E., &amp Darrell, T.

(2014, January). Decaf: A deep convolutional activation feature for generic visual
recognition. In International conference on machine learning (pp. 647-655).
[6]

https://keras.io

[7]

https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-

cff0e3841750
[8]

https://www.digikey.com/en/maker/projects/getting-started-with-the-nvidia-

jetson- nano-part-1-setup/2f497bb88c6f4688b9774a81b80b8ec2
[9]

https://www.pyimagesearch.com/2019/11/04/traffic-sign-classification-with-

keras- and-deep-learning/
[10]

https://www.hackster.io/smart-tech/programming-arduino-using-python-f3d2c0

[11]

https://www.geeksforgeeks.org/image-classifier-using-cnn/

[12]

https://medium.com/@mrhwick/simple-lane-detection-with-opencv-bfeb6ae54ec0

[13]

https://topdev.vn/blog/thuat-toan-cnn-convolutional-neural-network/
74

[14]

https://nordiccoder.com/blog/deep-learning-la-gi/

[15]

https://quantrimang.com/su-khac-biet-giua-ai-hoc-may-va-hoc-sau-157948

75

PHỤ LỤC
- Code chụp ảnh bằng Python trong file chupanh.py:

76

- Code train model sử dụng tensorflow và keras trong fiel train_lane_2.py:

77

78

- Code nhận diện lane và biển báo stop trong filde testlane.py

79

80

- Code tạo model sử dụng tensorflow:

81

82

83

84

85

86

87

88

- Code Arduino điều khiển xe:

89

90

91