BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
--------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU
KHIỂN THIẾT BỊ ĐIỆN TRONG NHÀ THÔNG QUA
AMAZON ALEXA VÀ CẢNH BÁO CHỐNG TRỘM

GVHD: ThS. Võ Đức Dũng
SVTH: Phạm Duy Thanh
Nguyễn Thị Hạ

Tp. Hồ Chí Minh - 3/2019

15141282
15141150


TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC

TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP Y SINH

TÊN ĐỀ TÀI

I.

THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ ĐIỆN TRONG NHÀ
THÔNG QUA AMAZON ALEXA VÀ CẢNH BÁO CHỐNG TRỘM
1. Các số liệu ban đầu:
Trước khi thực hiện đề tài, nhóm đã tham khảo và đọc các tài liệu sau để có các số liệu
ban đầu:
-

Nguyễn Văn Lem, “Thiết kế và xây dựng hệ thống mô hình nhà thông minh”,
Đồ án tốt nghiệp, trường ĐHSPKT Tp.HCM, 2015.

-

Espressif Systems IOT Team, “ESP8266 Datasheet”, Espressif Systems, 2015.

-

Nguyễn Đình Phú, “Giáo trình Vi xử lí”, Trường ĐHSPKT, Tp.HCM, 2013.

-

Nguyễn Đình Phú – Nguyễn Trường Duy, “Giáo trình: Kỹ thuật số”, Nhà xuất bản
ĐH Quốc Gia, Tp.HCM, 2013.

-

Trần Thu Hà, Trương Thị Bích Ngà, “Giáo trình điện tử cơ bản”, Nhà xuất bản ĐH


-

Bảo vệ luận văn.

II.
III.

NGÀY GIAO NHIỆM VỤ:
11/02/2019
NGÀY HOÀN THÀNH NHIỆM VỤ: 10/06/2019

IV.

HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: THS. VÕ ĐỨC DŨNG

CÁN BỘ HƯỚNG DẪN

BM. ĐIỆN TỬ CÔNG NGHIỆP - Y SINH

ii


TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

GVHD

Gặp và báo cáo với GVHD về đề tài sẽ

Tuần 3 (15/10 - 21/10)

thực hiện.
-

Tìm hiểu về các linh kiện sẽ sử dụng
-

Tìm hiểu về giao tiếp giữa các cảm biến,
module và các thiết bị với Arduino và

Tuần 4 (22/10 - 28/10)

Tuần 5 (29/10 - 04/11)

Xác nhận

Node MCU.
-

Tìm hiểu về board Node MCU ESP8266.

-

Lập trình cho Arduino và Node MCU đọc
cảm biến, điều khiển các LED đơn và thu

-

Kết nối giữa Google Assistant, IFTTT và
Adafruit.

Tuần 8, 9 (19/11 - 02/12)

-

Báo cáo tiến độ cho GVHD.

-

Hoàn thành điều khiển thiết bị bằng hỗ trợ
Google Assistant.

-

biến, giao tiếp module, truyền nhận dữ liệu

Tuần 10, 11(03/12 - 09/12)

và gửi dữ liệu qua internet.
-

Hoàn thành thiết kế giao diện web.

-

Hoàn thành truyền nhận và gửi giữ liệu lên


-

Đánh giá kết quả đạt được.

-

Viết và hoàn thiện cuốn báo cáo.
GV HƯỚNG DẪN
(Ký và ghi rõ họ và tên)
iv


Chương 1. TỐNG QUAN

LỜI CAM ĐOAN
Đề tài này là do nhóm sinh viên chúng em tự thực hiện, dựa vào một số tài liệu
trước đó và không sao chép từ tài liệu hay công trình đã có trước đó.
TP. Hồ Chí Minh, ngày 21/05/2019
Người thực hiện đề tài
Phạm Duy Thanh

Nguyễn Thị Hạ

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
1


Chương 1. TỐNG QUAN


LỜI CẢM ƠN ................................................................................................................ 2
MỤC LỤC ...................................................................................................................... 3
DANH SÁCH HÌNH ...................................................................................................... 8
TÓM TẮT .................................................................................................................... 13
Chương 1. TỔNG QUAN ............................................................................................ 14
1.1

ĐẶT VẤN ĐỀ ................................................................................................. 14

1.2

MỤC TIÊU VÀ GIỚI HẠN ............................................................................ 16

1.3

NỘI DUNG NGHIÊN CỨU ............................................................................ 16

1.4

GIỚI HẠN........................................................................................................ 16

1.5

BỐ CỤC ........................................................................................................... 17

Chương 2. CƠ SỞ LÝ THUYẾT ............................................................................ 18
2.1

SƠ LƯỢC VỀ INTERNET OF THINGS .................................................... 18



BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
3


Chương 1. TỐNG QUAN

2.3.3

Loa thông minh Amazon Echo Dot Gen ...................................................... 23

2.3.3.1 Mô tả .......................................................................................................... 23
2.3.3.2
2.3.4

Hướng dẫn kết nối Echo Dot với điện thoại Android.............................. 24

Bàn phím ma trận 4x3 .................................................................................. 30

2.3.5 Giới thiệu về LCD 16x2 .................................................................................. 31
2.3.6 Nút nhấn .......................................................................................................... 33
2.3.7 Logitech HD Webcam C270 ........................................................................... 34
2.3.8 Động cơ Servo ................................................................................................. 34
2.3.9 Module Relay .................................................................................................. 35
2.4 CÁC CHUẨN TRUYỀN THÔNG .................................................................... 36
2.4.1 Chuẩn truyền thông UART ............................................................................... 36
2.4.2

Chuẩn truyền thông I2C ............................................................................... 37


Cơ sở tri thức ............................................................................................. 44

2.5.7

Các thành phần cơ bản của hệ thống xử lí ảnh.......................................... 45

2.6

NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÍ ẢNH....................................... 45

2.6.1

Điểm ảnh (Picture Element) ......................................................................... 45

2.6.2

Độ phân giải của ảnh ................................................................................... 46

2.6.3

Mức xám của ảnh ......................................................................................... 46

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
4


Chương 1. TỐNG QUAN

Chương 3. TÍNH TOÁN VÀ THIẾT KẾ ............................................................... 47
3.1

Chương 1. TỐNG QUAN

3.1.4 So sánh kết quả các mô hình.......................................................................... 57
3.1.5 Đánh giá phương pháp ................................................................................... 58
3.1.6 Chọn lựa không gian màu và phương pháp mô hình hóa dùng để nhận biết
màu da cho đồ án .................................................................................................... 58
3.2 PHÂN TÍCH THÀNH PHẦN CHÍNH PCA ....................................................... 59
3.2.1 Tổng quan về phương pháp PCA .................................................................. 59
3.2.2 Trích chọn đặc trưng khuôn mặt người dựa trên phương pháp PCA ............ 62
3.3 PHÂN TÍCH HOG ............................................................................................... 65
3.3.1 Giới thiệu ....................................................................................................... 65
3.3.2 Chuẩn hóa hình ảnh trước khi xử lý .............................................................. 65
3.3.3 Tính toán gradient .......................................................................................... 66
3.3.4 Lấy votes trong mỗi cell ................................................................................ 66
3.3.5 Chuẩn hóa các block ...................................................................................... 67
3.4

TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG ..................................................... 67

3.4.1

Thiết kế sơ đồ khối hệ thống ........................................................................ 68

3.4.2

Tính toán và thiết kế mạch ........................................................................... 69

3.4.3

Sơ đồ nguyên lý của toàn mạch .................................................................... 74


THI CÔNG MÔ HÌNH .................................................................................... 83

4.3.1 Đóng gói nơi chứa trung tâm điều khiển ....................................................... 83
4.3.2 Thi công mô hình ........................................................................................... 84
4.4

LẬP TRÌNH CHO HỆ THỐNG ...................................................................... 86

4.4.1

Lưu đồ giải thuật........................................................................................... 86

4.4.2

Phần mềm lập trình cho vi điều khiển ........................................................106

4.4.3 Phần mềm lập trình giao diện điều khiển (nhận dạng khuôn mặt) ..............107
4.5

VIẾT TÀI LIỆU HƯỚNG DẪN ...................................................................108

Chương 5. KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ ........................................121
5.1

GIỚI THIỆU ..................................................................................................121

5.2

KẾT QUẢ ĐẠT ĐƯỢC ................................................................................121

Hình 2.4 Kết nối nguồn cho loa ................................................................................. 24
Hình 2.5 Dowload và tạo tài khoản ứng dụng Echo Dot ........................................... 25
Hình 2.6 Kết nối Echo Dot với điện thoại ................................................................. 27
Hình 2.7 Kết nối Echo Dot với điện thoại thành công ............................................... 28
Hình 2.8 Thiết lập Wifi .............................................................................................. 29
Hình 2.9 Giao diện hoàn thành các bước cài đặt ....................................................... 30
Hình 2.10 Bàn phím ma trận 4x3 ............................................................................... 31
Hình 2.11 Hình ảnh LCD 16x2 .................................................................................. 33
Hình 2.12 Quá trình đọc ghi của LCD ....................................................................... 34
Hình 2.13 Hình ảnh thực tế của nút nhấn .................................................................. 34
Hình 2.14 Hình ảnh thực tế của Webcam .................................................................. 34
Hình 2.15 Động cơ Servo ........................................................................................... 35
Hình 2.16 Module Relay 4 kênh ................................................................................ 35
Hình 2.17 Sơ đồ nguyên lý cơ bản ............................................................................. 36
Hình 2.18 Giản đồ truyền dữ liệu UART................................................................... 37
Hình 2.19 Bus I2C và các thiết bị ngoại vi ................................................................ 38
Hình 2.20 Trình tự truyền bit trên đường truyền ....................................................... 39
Hình 2.21 Điều kiện start stop ................................................................................... 40
Hình 2.22 Truyền dữ liệu I2C .................................................................................... 40
Hình 2.23 Giao diện kết nối 4 dây chuẩn SPI ............................................................ 41
Hình 2.24 Các bước cơ bản trong xử lí ảnh ............................................................... 43
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
8


Chương 1. TỐNG QUAN

Hình 2.25 Các thành phần chính của hệ thống xử lí ảnh ........................................... 45
Hình 3.1 Không gian màu RGB ................................................................................. 48
Hình 3.2 Không gian màu HSV ................................................................................. 50

Hình 4.16 Lưu đồ chương trình con đổi Password ................................................... 95
Hình 4.17 Lưu đồ chương trình ESP8266 Nodemcu ................................................. 97
Hình 4.18 Lưu đồ chương trình con nhận dữ liệu từ server Sinric ............................ 99
Hình 4.19 Lưu đồ chương trình kiểm tra nút nhấn và xử lý ....................................101
Hình 4.20 Lưu đồ chương trình Matlab nhận dạng khuôn mặt ...............................103
Hình 4.21 Lưu đồ chương trình con thiết lập đồ thị, hiển thị hình ảnh Webcam ....105
Hình 4.22 Logo phần mềm Arduino IDE ................................................................106
Hình 4.23 Giao diện phần mềm Arduino IDE .........................................................107
Hình 4.24 Logo Matlab ............................................................................................107
Hình 4.25 Giao diện phần mềm Matlab ...................................................................108
Hình 4.26 Các bước thay đổi mật khẩu Wifi cho hệ thống .....................................109
Hình 4.27 Giao diện điều khiển thiết bị bằng tay hoặc giọng nói ...........................110
Hình 4.28 Giao diện chương trình nhận diện khuôn mặt .........................................111
Hình 4.29 Giao diện chương trình nhập mật khẩu người quản trị ...........................111
Hình 4.30 Đăng nhập sai mật khẩu người quản trị ..................................................112
Hình 4.31 Giao diện chương trình Option ...............................................................112
Hình 4.32 Giao diện chương trình Option ...............................................................113
Hình 4.32 Giao diện phát hiện khuôn mặt ...............................................................114
Hình 4.33 Chọn vùng ảnh có khuôn mặt và lưu lại tên ...........................................114
Hình 4.34 Thông báo lựa chọn training dữ liệu .......................................................115
Hình 4.35 Thông báo hoàn tất training dữ liệu ........................................................115
Hình 4.36 Xóa hết dự liệu hệ thống .........................................................................116
Hình 4.37 Cửa sổ tổng hợp thời gian nhận diện ......................................................116
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
10


Chương 1. TỐNG QUAN

Hình 4.38 Cửa sổ chọn ảnh và xóa trong bộ nhớ đã lưu ..........................................117


TÓM TẮT
Hiện nay với sự phát triển rất mạnh mẽ về khoa học và công nghệ, các hệ thống
thông minh ứng dụng IoT tuy không mới nhưng rất thịnh hành. Thế giới chúng ta đã và
đang thay đổi mạnh mẽ, văn minh và hiện đại hơn. Điều đó khiến các công cụ ứng dụng
công nghệ mới xuất hiện ngày càng nhiều. Một trong số đó là công cụ hỗ trợ điều khiển
bằng giọng nói, nó giúp chúng ta điều khiển một số thiết bị một cách tiện lợi và nhanh
chóng.
Đồ án tốt nghiệp này thiết kế và thi công một mô hình hệ thống điều khiển các
thiết bị điện và giám sát ngôi nhà. Người sử dụng có thể điều khiển các thiết bị điện ở
bất cứ nơi nào có Internet, Wifi, 3G, 4G trên ứng dụng Amazon Alexa. Các trạng thái
thiết bị điện của ngôi nhà cũng được cập nhật lên giao diện này. Hệ thống có tích hợp
thêm camera để tăng thêm tính bảo mật cho ngôi nhà, camera nhận diện khuôn mặt và
so sánh khuôn mặt đã quét với kho dữ liệu để đưa ra hướng xử lí có mở cửa hay không.
Nội dung chính của đề tài

• Sử dụng kit Arduino Nano V3 và module ESP8266 Node MCU làm khối điều
khiển trung tâm.

• Điều khiển và giám sát thiết bị qua loa thông minh Amazon Echo Dot Gen 2 và
ứng dụng Amazon Alexa.

• Cảnh báo khi có người lạ vào nhà bằng buzzer.
• Điều khiển các thiết bị điện trong nhà như đèn chiếu sáng, quạt bằng giọng nói.
Ngoài ra còn có chế độ điều khiển bằng tay.

• Bảo mật ngôi nhà bằng hệ thống tự động đóng mở cửa dùng động cơ servo bằng
cách nhận diện khuôn mặt hoặc nhập mật khẩu từ bàn phím ma trận.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

các thiết bị trong nhà” sử dụng module Arduino Uno R3, ESP8266 Node MCU và
Module Bluetooth HC-06, sử dụng App trên Android để SmartPhone nhận tín hiệu từ
giọng nói con người, xử lý và đưa tín hiệu đến vi điều khiển, điều khiển 4 thiết bị và 1
động cơ và đo nhiệt độ, độ ẩm trong nhà hiển thị lên App Android.[4]
Tác giả Nguyễn Ngọc Lực nghiên cứu đề tài “Thiết kế, thi công mô hình hệ thống
điều khiển thiết bị điện và giám sát nhà” sử dụng board Arduino Mega 2560 làm trung
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
14


Chương 1. TỐNG QUAN

tâm điều khiển chính, ESP8266 Node MCU và module Sim900A, sử dụng App Android
và Websever để điều khiển và giám sát 4 thiết bị trong nhà, đo nhiệt độ, độ ẩm, báo động
khi có rò rỉ khí gas và có người đột nhập vào nhà bằng chuông báo và gửi tin nhắn qua
tin nhắn đến người sử dụng, khi mất điện sẽ chuyển sang sử dụng pin dự phòng (Acqui)
và báo tin nhắn về người sử dụng là bị mất điện.[5]
Tác giả Huỳnh Xuân Dũng và Trần Nhật Minh nghiên cứu đề tài “Hệ thống IoT
điều khiển và giám sát ngôi nhà” sử dụng Board STM32F407VGT6 làm khối điều khiển
trung tâm chính, board Arduino Mega làm khối điều khiển trung tâm phụ. Sử dụng Web
Server, App Android và WPF đề điều khiển 8 thiết bị, có hệ thống tự động tưới cây theo
lịch trình, đo nhiệt độ, độ ẩm, đồng thời báo động khi có rò rỉ khí gas và có người đột
nhập vào nhà bằng chuông báo và gửi tin nhắn qua tin nhắn đến người sử dụng, ứng
dụng công nghệ RFID vào việc đóng mở cửa và ngoài ra có thể đóng mở cửa bằng cách
nhập mật khẩu.[6]
Tác giả Trần Minh Luân và Lâm Thành Đạt nghiên cứu đề tài “Thiết kế và thi
công hệ thống thiết bị điều khiển nhà thông minh” sử dụng module ESP8266 NodeMCU
làm khối điều khiển trung tâm, thông qua OpenHab và MQTT để điều khiển và giám sát
2 thiết bị, sử dụng Google Assistant và IFTTT để điều khiển thiết bị bằng giọng nói.
Thiết bị có thể thu phát hồng ngoại và RF, đo nhiệt độ và độ ẩm trong nhà.[7]


NỘI DUNG NGHIÊN CỨU

-

Tìm hiểu cách thức hoạt động của các mô hình nhà IoT.

-

Tìm hiểu các chuẩn truyền thông như UART, I2C, SPI.

-

Tìm hiểu về Board mạch Arduino Nano V3 và module ESP8266 Node MCU.

-

Thiết kế giao diện để điều khiển và giám sát: Web server, App android.

-

Thiết kế và thi công hệ thống điều khiển gồm các chế độ: Manual, điều khiển

bằng giọng nói thông qua loa Amazon Echo Dot Gen 2 và app Amazon Alexa .
-

Thiết kế và thi công hệ thống bảo mật ngôi nhà: nhập mật khẩu qua bàn phím ma

trận 4x3 hoặc nhận diện khuôn mặt thông qua camera HD Webcam C270 và hiển thị
trạng thái làm việc trên LCD 16x2.

-

Dùng chuông buzzer cảnh báo khi có người đột nhập.

-

Nhận diện khuôn mặt bằng camera logitech HD Webcam C270 sử dụng giao diện

Matlab với độ chính xác khoảng 80%.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
16


Chương 1. TỐNG QUAN

-

Nhập mật khẩu từ bàn phím ma trận 4x3 và hiển thị trạng thái làm việc trên LCD

16x2.
-

Điều khiển các thiết bị điện thông qua loa thông minh Amazon Echo Dot Gen 2

và app Amazon Alexa bằng tiếng anh.
1.5

BỐ CỤC

Chương 1: Tổng quan.

Internet của vật dụng (Internet of Things - IoTs) là mạng lưới vạn vật kết nối
Internet hoặc là mạng lưới thiết bị kết nối Internet là một liên mạng, trong đó các thiết
bị, phương tiện vận tải (được gọi là "thiết bị kết nối" và "thiết bị thông minh"), phòng
ốc và các trang thiết bị khác được nhúng với các bộ phận điện tử, phần mềm, cảm biến,
cơ cấu chấp hành cùng với khả năng kết nối mạng máy tính giúp cho các thiết bị này có
thể thu thập và truyền tải dữ liệu.
2.1.2 Ứng dụng của IoTs
IoTs được sử dụng trong nhiều lĩnh vực:
-

Thành phố thông minh bao gồm giám sát thông minh, vận chuyển tự động, hệ
thống quản lý năng lượng thông minh hơn, phân phối nước, an ninh đô thị và
giám sát môi trường…

-

Internet công nghiệp là hỗ trợ kĩ thuật công nghiệp với các cảm biến, phần mềm
lớn để tạo ra những cỗ máy vô cùng thông minh. Máy móc sẽ có tính chính xác
và nhất quán hơn con người trong giao tiếp thông qua dữ liệu. Từ những dữ liệu
thu thập được giúp các công ty, nhà quản lí giải quyết các vấn đề sớm hơn, đạt
hiệu quả cao hơn…

-

Các thiết bị đeo thông minh như các loại kính, ba lô, vòng tay được cái đặt cảm
biến thu thập thông tin người dùng như huyết áp, bước đi bộ mỗi ngày,…

-

Nhà thông minh là kiểu nhà được lắp đặt các thiết bị điện, điện tử có thể được

lại.
Tuy nhiên, sóng WiFi có một số khác biệt so với các sóng vô tuyến khác ở chỗ:
chúng truyền và phát tín hiệu ở tần số 2.5 GHz hoặc 5GHz. Tần số này cao hơn so với
các tần số sử dụng cho điện thoại di động, các thiết bị cầm tay và truyền hình. Tần số
cao hơn cho phép tín hiệu mang theo nhiều dữ liệu hơn.
2.3

PHẦN CỨNG

2.3.1. Vi điều khiển
Để thực hiện dự án này, nhóm sử dụng các vi điều khiển là Arduino Nano V3 và
ESP8266 Node MCU. Sau đây là giới thiệu chi tiết về các vi điều khiển nhóm sử dụng.
a. Giới thiệu về Arduino
Arduino là một bo mạch vi xử lý được dùng để lập trình, tương tác với các thiết
bị phần cứng như: cảm biến, động cơ, đèn hoặc các thiết bị khác. Đặc điểm nổi bật của
Arduino là môi trường phát triển ứng dụng cực kỳ dễ sử dụng, sử dụng ngôn ngữ lập
trình có thể học rất dễ dàng và nhanh chóng. Arduino được bán ra với mức giá rất thấp.
Phần cứng bao gồm một board mạch nguồn mở được thiết kế trên nền tảng vi xử lý
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
19


Chương 2. CƠ SỞ LÝ THUYẾT

megaAVR Atmel 8bit, hoặc ARM Atmel 32-bit. Những Model hiện tại thường được
trang bị gồm 1 cổng giao tiếp USB, 6 chân đầu vào analog, 14 chân I/O kỹ thuật số
tương thích với nhiều board mở rộng khác nhau.[8]
Được giới thiệu vào năm 2005, Arduino được ra đời để mang đến một cách thức
tiếp cận dễ dàng, không tốn kém cho những người yêu thích, sinh viên và giới chuyên
nghiệp để tạo ra những sản phẩm lập trình. Những ví dụ phổ biến khi mơi bắt đầu học

-

14 chân digital (trong đó có 6 chân có thể được sử dụng như những chân PWM
là D3, D5, D6, D9, D10, D11).

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
20