BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:
ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI
SẢN PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC

GVHD: ThS. Ngô Bá Việt
SVTH: Lê Văn Thái
MSSV: 14141289

Tp. Hồ Chí Minh - 07/2019


BỘ GIÁO DỤC & ĐÀO TẠO
TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:

ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI

Kỹ thuật Điện - Điện tử

Mã ngành:

01

Hệ đào tạo:

Đại học chính quy

Mã hệ:

1

Khóa:

2014

Lớp:

14141DT1A

I. TÊN ĐỀ TÀI: ỨNG DỤNG CAMERA 3D TRONG VIỆC PHÂN LOẠI SẢN
PHẨM THEO HÌNH DẠNG VÀ KÍCH THƢỚC
II. NHIỆM VỤ
1. Các số liệu ban đầu:
Các tài liệu về Python và thƣ viện OpenCV, Giáo trình Xử lý ảnh.
Các ví dụ về nhận dạng hình học cơ bản.
2. Nội dung thực hiện:
Tìm hiểu phƣơng pháp nhận dạng và phân loại sản phẩm.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

----o0o----

Tp. HCM, ngày 05 tháng 06 năm 2019

LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên: Lê Văn Thái
Lớp: 14141DT1A - MSSV: 14141289
Tên đề tài:
Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và kích thƣớc
Tuần/ngày

Nội dung

16-20/3

Chọn đề tài

21-25/3

Viết đề cƣơng chi tiết

26/3-05/4

Tìm hiểu phƣơng pháp nhận dạng hình cơ bản

06/-09/4

Tìm hiểu thuật toán dán nhãn


Hoàn thành mô hình

21-29/5

Viết báo cáo

GV HƢỚNG DẪN

ThS. Ngô Bá Việt


LỜI CAM ĐOAN
Đề tài này là tôi tự thực hiện dựa vào một số tài liệu trƣớc đó và không sao chép
từ tài liệu hay công trình đã có trƣớc đó.
Ngƣời thực hiện đề tài

Lê Văn Thái


LỜI CẢM ƠN
Đầu tiên tôi xin đƣợc cám ơn chân thành tới Thầy Ngô Bá Việt, Thầy đã tận tình
hƣớng dẫn tôi để có thể hoàn thành tốt đề tài.
Tôi xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo
những điều kiện tốt nhất cho tôi hoàn thành đề tài. Những kiến thức bổ ích mà các
Thầy Cô dạy, nó đƣợc áp dụng vào đề tài Đồ Án Tốt Nghiệp rất nhiều, từ những kiến
thức nhỏ nhặt cho tới những bài học lớn. Một lần nữa tôi xin đƣợc gửi lời cám ơn đến
tất cả Thầy Cô, nếu không có Thầy Cô thì chắc giờ này tôi sẽ khó có thể hoàn thành đề
tài này.
Tiếp theo tôi cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinh viên

1.2

MỤC TIÊU .....................................................................................................1

1.3

NỘI DUNG NGHIÊN CỨU ............................................................................1

1.4

GIỚI HẠN ......................................................................................................2

1.5

BỐ CỤC..........................................................................................................2

CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .............................................................................4
2.1

TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN ............4

2.1.1

Giới thiệu xử lý ảnh. .................................................................................4

2.1.2

Những vấn đề trong xử lý ảnh...................................................................4

2.2


PHƢƠNG PHÁP HIỆU CHỈNH CHUẨN .............................................. 23

2.4

NGÔN NGỮ PYTHON ................................................................................ 25

2.5

GIỚI THIỆU PHẦN CỨNG ......................................................................... 28

CHƢƠNG 3:

TÍNH TOÁN VÀ THIẾT KẾ ........................................................... 29

3.1

GIỚI THIỆU ................................................................................................. 29

3.2

THIẾT KẾ HỆ THỐNG PHẦN CỨNG ........................................................ 29

3.2.1

Khối xử lý............................................................................................... 30

3.2.2

Khối thu tín hiệu ..................................................................................... 30


GIỚI THIỆU ................................................................................................. 36

4.2

THI CÔNG HỆ THỐNG ............................................................................... 36

4.2.1

Các linh kiện và model cần thiết cho mô hình ......................................... 36

4.2.2

Kết nối, lắp ráp và kiểm tra mô hình ....................................................... 36

4.3

THI CÔNG MÔ HÌNH.................................................................................. 37


4.4

LẬP TRÌNH HỆ THỐNG ............................................................................. 38

4.4.1

Lƣu đồ giải thuật..................................................................................... 38

4.4.2



5.2

XÁC ĐỊNH MÀU SẮC CỦA SẢN PHẨM................................................... 52

5.3

NHẬN DẠNG VÀ TÍNH KÍCH THƢỚC SẢN PHẨM ................................ 54

5.4

PHÂN LOẠI SẢN PHẨM ............................................................................ 58

CHƢƠNG 6:
6.1

KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ........................................ 60

KẾT LUẬN................................................................................................... 60

6.1.1

Kết quả đạt đƣợc..................................................................................... 60

6.1.2

Những mặt hạn chế ................................................................................. 60

6.2



Hình 3.6: Đoạn Ramer-Douglas-Peucker .................................................................... 34
Hình 3.7: Đƣờng xấp xỉ .............................................................................................. 34
Hình 3.8: Độ dài cạnh................................................................................................. 34
Hình 4.1: Kết nối Camera ........................................................................................... 37
Hình 4.2: Các khối hộp (Hình dạng sản phẩm) ........................................................... 38
Hình 4.3: Lƣu đồ giải thuật chính ............................................................................... 39
Hình 4.4: Ma trận không gian màu BGR .................................................................... 40
Hình 4.5: Sơ đồ khối chƣơng trình con tách biên và lấp đầy biên................................ 41
Hình 4.6: Lƣu đồ con nhận dạng sản phẩm ................................................................. 43
Hình 4.7: Tìm kiếm Python ........................................................................................ 44
Hình 4.8: Tạo project mới........................................................................................... 45
Hình 4.9: Lƣu đồ mô phỏng........................................................................................ 45
Hình 4.10: Kiểm tra các bƣớc thực hiện...................................................................... 46
Hình 4.11: Ảnh xám ................................................................................................... 47
Hình 4.12: Tách biên .................................................................................................. 47
Hình 4.13: Lấp đầy biên ............................................................................................. 48
Hình 4.14: Kết quả nhận dạng phân loại sản phẩm. .................................................... 48
Hình 4.15: Kiểm tra thƣ viện ...................................................................................... 49
Hình 4.16: Kết quả sau khi bấm chạy chƣơng trình .................................................... 49
Hình 4.17: Quy trình vận hành ................................................................................... 50
Hình 5.1: Kết quả ảnh đầu vào từ camera ................................................................... 52
Hình 5.2: Kết quả nhận dạng màu sắc sản phẩm của camera....................................... 53
Hình 5.3: Nhận dạng và tính kích thƣớc sản phẩm hình chữ nhật................................ 54
Hình 5.4: Nhận dạng và tính kích thƣớc sản phẩm hình vuông ................................... 54


Hình 5.5: Nhận dạng và tính kích thƣớc sản phẩm hình tam giác ................................ 55
Hình 5.6: Camera chƣa thể nhận dạng cùng lúc nhiều sản phẩm ................................. 57
Hình 5.7: Phân loại theo kích sản phẩm hình chữ nhật................................................ 58

những sản phẩm có hình dạng (hình tròn, hình vuông, hình chữ nhật, hình tam giác)
cùng với việc biết đƣợc kích thƣớc của từng sản phẩm.


CHƢƠNG 1: TỔNG QUAN

CHƢƠNG 1: TỔNG QUAN
ĐẶT VẤN ĐỀ

1.1

Cùng với sự phát triển ngày càng mạnh mẽ của khoa học kĩ thuật trong một vài
thập kỷ gần đây, xử lý ảnh tuy là một ngành khoa học còn tƣơng đối mới mẻ so với
nhiều ngành khoa học khác nhƣng hiện nay đang là một trong những lĩnh vực phát
triển rất nhanh và thu hút sự quan tâm đặc biệt từ các nhà khoa học, thúc đẩy các
trung tâm nghiên cứu, ứng dụng về lĩnh vực hấp dẫn này. Xử lý ảnh đóng vai trò
quan trọng trong nhiều ứng dụng thực tế về khoa học kĩ thuật cũng nhƣ trong cuộc
sống thƣờng ngày nhƣ: sản xuất và kiểm tra chất lƣợng, sự di chuyển của Robot,
các phƣơng tiện đi lại tự trị, công cụ hƣớng dẫn cho ngƣời mù, an ninh và giám sát,
nhận dạng đối tƣợng, nhận dạng mặt, các ứng dụng trong y học, sản xuất, hiệu
chỉnh video.
Camera 3D [1-2] hiện đang là loại camera có độ ứng dụng cao trong khoa học
kỹ thuật vì camera này có khả năng ghi nhận chiều sâu đối tƣợng, tƣơng tự mắt con
ngƣời. Dựa trên các nghiên cứu trƣớc đây nhƣ “Phân loại sản phẩm dùng Kit
Raspberry” [3] là một ứng dụng sử dụng các thuật toán xử lý ảnh [4] trên nền tảng
Python kết hợp với phần cứng là Raspberry [5] để phân loại sản phẩm dựa trên hình
dạng. Đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng và
kích thƣớc” đƣơc lựa chọn thực hiện để có thể phân loại theo hình dạng sản phẩm và
phân loại theo kích thƣớc sản phẩm dựa trên các thông tin từ camera 3D.


 NỘI DUNG 6: Đánh giá kết quả thực hiện

GIỚI HẠN

1.4

Với đề tài “Ứng dụng camera 3D trong việc phân loại sản phẩm theo hình dạng
và kích thƣớc” thì các giới hạn bao gồm:
-

Thiết kế mô hình sử dụng camera 3D để phân loại sản phẩm theo hình dạng,
kích thƣớc.

1.5

-

Sử dụng ngôn ngữ lập trình python.

-

Mô hình hoạt động trong điều kiện lý tƣởng, đủ độ sáng.

BỐ CỤC

 Chƣơng 1: Tổng quan
Chƣơng này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nôi dung
nghiên cứu, các giới hạn thông số và bố cục đồ án.
 Chƣơng 2: Cơ sở lý thuyết
Chƣơng này sẽ trình bày cơ bản về xử lý ảnh, phƣơng pháp cơ bản để nhận dạng


TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƢ VIỆN LIÊN QUAN

2.1.1 Giới thiệu xử lý ảnh
Xử lý ảnh không còn là đề tài quá mới, nó đƣợc áp dụng từ trong các hoạt động
thƣờng ngày cho đến việc nâng cao sản xuất. Nó giúp ích cho cá nhân hay gia đình, mà còn
ứng dụng cả trong Chính trị, Y tế, Giáo dục…
Xử lý tín hiệu là một môn học trong kỹ thuật điện tử, viễn thông và trong toán học.
Liên quan đến nghiên cứu và xử lý tín hiệu kỹ thuật số và analog, giải quyết các vấn đề về
lƣu trữ, các thành phần bộ lọc, các hoạt động khác trên tín hiệu. Các tín hiệu này bao gồm
truyền dẫn tín hiệu, âm thanh hoặc giọng nói, hình ảnh, và các tín hiệu khác…
Trong số các phƣơng pháp xử lý tín hiệu kể trên, lĩnh vực giải quyết với các loại tín
hiệu mà đầu vào là một hình ảnh và đầu ra cũng là một hình ảnh, sản phẩm đầu ra đƣợc thực
hiện trong một quá trình xử lý. Đó chính là quá trình xử lý ảnh. Nó có thể đƣợc chia thành
xử lý hình ảnh tƣơng tự và xử lý hình ảnh kỹ thuật số.
Để có 1 bức ảnh số ta có quá trình thực hiện nhƣ sau: Chụp ảnh từ một máy ảnh là
một quá trình vật lý. Ánh sáng mặt trời sử dụng nhƣ một nguồn năng lƣợng. Một dãy cảm
biến đƣợc sử dụng cho việc thu lại của hình ảnh. Vì vậy, khi ánh sáng mặt trời rơi trên
ngƣời đối tƣợng, sau đó số lƣợng ánh sáng phản xạ của đối tƣợng đƣợc cảm nhận từ các
cảm biến, và một tín hiệu điện áp liên tục đƣợc tạo ra bởi số lƣợng dữ liệu cảm biến đó. Để
tạo ra một hình ảnh kỹ thuật số, chúng ta cần phải chuyển đổi dữ liệu này thành một dạng kỹ
thuật số. Điều này liên quan đến việc lấy mẫu và lƣợng tử hóa. Kết quả của việc lấy mẫu và
lƣợng tử hóa sau một quá trình xử lý là một hình ảnh kỹ thuật số.

2.1.2 Những vấn đề trong xử lý ảnh
Điểm ảnh

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

4

Lân cận điểm ảnh: đƣợc nói một cách hài hƣớc nhƣ là hàng xóm của các điểm ảnh.
Có 2 loại lân cận cơ bản là lân cận 4 và lân cận 8.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

5


CHƢƠNG 2: CƠ SỞ LÝ THUYẾT

Điểm
xét

Điểm
xét

Lân cận 4 hàng cột

Lân cận 4 chéo

Điểm
xét

Lân cận 8

Hình 2.1: Lân cận 4 và lân cận 8
Bốn điểm ảnh lân cận 4 theo cột và hàng với tọa độ lần lƣợt là (x+1, y), (x-1, y),
(x,y+1), (x, y-1) ký hiệu là tập N4(p).
Bốn điểm ảnh lân cận 4 theo đƣờng chéo có tọa độ lần lƣợt là (x+1, y+1), (x+1, y+1),
(x-1, y+1), (x-1, y-1) ký hiệu là tập ND(p).

Làm trơn nhiễu bằng lọc tuyến tính
Khi chụp ảnh có thể xuất hiện nhiều loại nhiễu vào quá trình xử lý ảnh, nên ta cần
phải lọc nhiễu [4]. Gồm các phƣơng pháp cơ bản lọc trung bình, lọc thông thấp…
Lọc trung bình: Với lọc trung bình, mỗi điểm ảnh đƣợc thay thế bằng trung bình
trọng số của các điểm lân cận. Lọc trung bình có trọng số chính là thực hiện chập ảnh đầu
vào với nhân chập H. Nhân chập H có dạng:
1 1 1
1
H  1 1 1
9
1 1 1

(2.1)

Lọc thông thấp: Lọc thông thấp thƣờng đƣợc sử dụng để làm trơn nhiễu. Về nguyên
lý của bộ lọc thông thấp giống nhƣ đã trình bày trên.
0 1 0 
1
H  1 2 1
8
0 1 0

(2.2)

Làm trơn nhiễu bằng lọc phi tuyến
Các bộ lọc phi tuyến cũng hay đƣợc dùng trong kỹ thuật tăng cƣờng ảnh. Một số
phƣơng pháp lọc cơ bản bộ lọc trung vị, lọc ngoài… Với lọc trung vị, điểm ảnh đầu vào sẽ
đƣợc thay thế bởi trung vị các điểm ảnh còn lọc giả trung vị sẽ dùng trung bình cộng của hai
giá trị “trung vị” (trung bình cộng của max và min).
Lọc trung vị: Kỹ thuật này đòi hỏi giá trị các điểm ảnh trong cửa sổ phải xếp theo thứ

Tách biên theo đạo hàm bậc một [4]: Có 2 phƣơng pháp cơ bản là: một là tạo
gradient của hai hƣớng và trực giao trong ảnh, hai là dùng tập đạo hàm có hƣớng.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

8


CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
Tách biên theo đạo hàm bậc hai [4]: đƣợc thực hiện trên một số dạng vi phân bậc 2
để làm xuất hiện biên. Có hai dạng của phƣơng pháp đạo hàm bậc hai đã đƣợc nghiên cứu
là: phƣơng pháp Lapplace và đạo hàm trực tiếp.
Bộ tách biên Canny [4]: phƣơng pháp phát hiện này đƣợc sử dụng phổ biến vì nó có
nhiều ƣu điểm hơn các phƣơng pháp khác.
Các bƣớc thực hiện:
Làm phẳng dùng bộ lọc Gauss.

Hình 2.3: Bộ lọc Gaussian
Sau đó, Gradient cục bộ của biên độ và hƣớng đƣợc tính. Tìm điểm ảnh có biên độ
lớn nhất dùng kỹ thuật nonmaximal suppression.
Các điểm ảnh đỉnh tìm đƣợc chia làm hai ngƣỡng T1 và T2, T1 < T2. Các điểm ảnh
đỉnh có giá trị lớn hơn T2 đƣợc gọi là Strong và nằm trong khoảng T1 và T2 đƣợc gọi là
Weak. Liên kiết các điểm ảnh Weak có 8 kết nối đến điểm ảnh Strong.
Phƣơng pháp gradient: Gradient là một vector có các thành phần biểu thị tốc độ thay
đổi giá trị của điểm ảnh theo 2 hƣớng x và y, hay có thể nói là nó đại diện cho sự thay đổi về
hƣớng và độ lớn của một vùng ảnh. Ảnh đƣợc làm mịn sau đó đƣợc lọc bằng hạt nhân Sobel
theo cả hƣớng ngang và dọc để lấy đạo hàm đầu tiên theo hƣớng nằm ngang (Gx) và hƣớng
dọc (Gy). Từ hai hình ảnh này, chúng ta có thể tìm gradient và hƣớng cạnh cho mỗi pixel
nhƣ sau:
Edge _ Gradient (G)  Gx2  G y2

ảnh này hiệu quả lớn đối với ảnh nhị phân, văn bản in hay đồ họa...
Dựa vào đặc tính vật lý của vùng ảnh, các kỹ thuật phân đoạn vùng có thể đƣợc chia
làm 3 loại:
Các kỹ thuật cục bộ: dựa trên các đặc tính cục bộ của các điểm ảnh và các lân cận
của nó.
Các kỹ thuật tổng thể: phân đoạn một ảnh dựa trên cơ sở của thông tin lấy từ tổng thể
nhƣ sử dụng biểu đồ mức xám histogram.
Các kỹ thuật chia, nối và phát triển: dựa trên các khái niệm tƣơng đồng về hình dạng
và tính đồng nhất. Hai vùng có thể đƣợc nối lại với nhau và liền kề bên nhau. Các vùng
không đồng nhất có thể đƣợc chia thành các vùng nhỏ. Một vùng có thể đƣợc phát triển
bằng các nối các điểm ảnh sao cho nó đồng nhất với nhau.

Các phần mềm hỗ trợ xử lý ảnh
Hiện nay xử lý ảnh đƣợc giảng dạy trƣờng đại học và ứng dụng vào thực tế rất nhiều
nhƣ các phần mềm chỉnh sửa hình ảnh hay nhận biết khuôn mặt. Chính vì thế có rất nhiều

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH

10