ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ

ĐỒ ÁN TỐT NGHIỆP

ĐỀ TÀI:

THIẾT KẾ VÀ CHẾ TẠO CÁNH TAY ROBOT
5 BẬC TỰ DO PHÂN LOẠI SẢN PHẨM ỨNG
DỤNG CÔNG NGHỆ XỬ LÝ ẢNH

Người hướng dẫn:
Sinh viên thực hiện:

TS. ĐẶNG PHƯỚC VINH
NGUYỄN ĐẶNG MẪN
LÊ ĐÌNH MINH NHẬT

Đà Nẵng, 2019


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

TÓM TẮT
Tên đề tài: Thiết kế chế tạo cánh tay phân loại theo màu sắc ứng dụng xử lý ảnh
Sinh viên thực hiện: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn
Số thẻ SV: 101140156 - 101140152
Lớp: 14CDT1
Nội dung tóm tắt: cánh tay phân loại theo màu sắc ứng dụng xử lý ảnh 2 khâu:
tiền xử lý dữ liệu thu thập được từ camera, phân tích và phân loại. Quá trình phân loại

được khối lượng công việc cũng như tăng sự chính xác trong việc đưa ra các quyết
định liên quan đến xử lý hình ảnh trên nhiều lĩnh vực: quân sự và quốc phòng, các hệ
thống kỹ thuật hóa sinh, giải phẫu, các hệ thống giao thông thông minh, công nghệ
robot, …
Những phần mềm xử lý ảnh hiện nay được sử dụng phổ biến hiện nay là Visual
Studio, Visual Studio, … Trong đó phần mềm Visual studio và các thư viện xử lý ảnh

C
C

đã trở thành công cụ không thể thiếu của các cán bộ nghiên cứu giảng dạy, sinh viên đại
học, cao học và nghiên cứu sinh thuộc các ngành khoa học kỹ thuật nước ta. Điều này
có được là do Visual Studio cung cấp một công cụ tính toán và lập trình bậc cao dễ sử

R
L
.
T

dụng, hiệu quả và thân thiện với người dùng. Visual Studio cung cấp cho người sử dụng
các phương thức để thực hiện các mô phỏng trên máy tính, ngoài ra Visual Studio còn
có thể giao tiếp với Vi điều khiển, PLC, … cùng với các thiết bị phần cứng để thực hiện
các ứng dụng thực tế. Vì vậy trong phạm vi hiểu biết của mình, chúng em đã tìm hiểu
và thực hiện đề tài “Thiết kế chế tạo cánh tay phân loại theo màu sắc ứng dụng xử lý
ảnh”. Đây là nghiên cứu kết hợp giữa Visual và Vi điều khiển để phân loại sản phẩm.
Trong quá trình thực hiện đồ án cùng với sự nỗ lực của bản thân và áp dụng
những kiến thức được trang bị ở trường, chúng em đã có nhiều cố gắng để hoàn thành
tốt nhất đồ án này. Tuy nhiên do kiến thức và khả năng còn có hạn nên khó tránh khỏi
những thiếu sót. Vì vậy rất mong nhận được những ý kiến đóng góp và giúp đỡ chân



C
C

R
L
.
T

Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

U
D

SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

iii


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

MỤC LỤC
Trang
Nhiệm vụ đồ án
Tóm tắt
Lời nói đầu và cảm ơn ...................................................................................................... i
Lời cam đoan liêm chính học thuật. ................................................................................ ii
Mục lục ........................................................................................................................... iii

Chương 3: TÍNH TOÁN THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN ............................... 34
3.1. Sơ đồ nguyên lý .................................................................................................. 34
3.2. Các Module được sử dụng trong hệ thống ......................................................... 34
3.2.1. Arduino NANO ........................................................................................... 34
3.2.2 Nguồn một chiều 12V-20A .......................................................................... 37
3.2.3. Module giảm áp 5v 3A ................................................................................ 37
3.4 Lưu đồ thuật toán cánh tay Robot ....................................................................... 38
SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

iv


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

3.3.1. Lưu đồ thuật toán chương trình chính ......................................................... 38
3.3.2. Lưu đồ thuật toán chương trình con............................................................. 39
Chương 4: Xử lý ảnh ..................................................................................................... 42
4.1. Sơ lược xử lý ảnh ................................................................................................ 42
4.1.1 Một số khái niệm cơ bản: ............................................................................. 42
4.1.2 Các loại ảnh thường gặp: .............................................................................. 43
4.2. Các phép toán sử dụng:....................................................................................... 46
4.2.1. Chuyển đổi RGB sang HSV và ngược lại: .................................................. 46
4.2.2. Chuyển đổi HSV sang nhị phân: ................................................................. 46
4.2.3. Các phép toán hình thái học trong ảnh: ....................................................... 46
4.2.4. Bộ lọc gaussionBlur .................................................................................... 47
4.3 OpenCV ............................................................................................................... 48

C

Hình 1.1 Ứng dụng xử lý ảnh để đếm số lượng sản phẩm trong công nghiệp................... 3
Hình 1.2 Ứng dụng xử lý ảnh đọc mã barcode ................................................................. 3
Hình 1.3 Ứng dụng nhận dạng ký tự .................................................................................. 4
Hình 1.4 Ứng dụng định vị cho robot ................................................................................ 4
Hình 1.5 Ứng dụng đo kích thước ...................................................................................... 5
Hình 1.6 Ứng dụng kiểm tra tổng quát............................................................................... 5
Hình 1.7 Robot kiểu tọa độ Descarte ................................................................................. 7
Hình 1.8 Robot kiểu hệ tọa độ............................................................................................ 8
Hình 1.9 Robot kiểu tọa độ cầu .......................................................................................... 8
Hình 1.10 Robot kiểu Scar ................................................................................................. 9
Hình 1.11 Robot kiểu tay người ......................................................................................... 9
Hình 1.12 Robot trong sản xuất ....................................................................................... 11
Hình 1.13 Robot lắp ráp các bộ phận ô tô ........................................................................ 12

C
C

R
L
.
T

Hình 1.14 Đèn chiếu sáng ................................................................................................ 12

U
D

Hình 1.15 Cơ cấu bộ đẩy bằng khí nén ............................................................................ 13
Hình 1.16 Cơ cấu cánh tay robot 5 DOF .......................................................................... 13
Hình 1.17 Ảnh trước khi chỉnh sửa .................................................................................. 14

Hình 2.11 Sơ đồ vị trị gốc tọa độ ..................................................................................... 32
Hình 3.1 Sơ đồ nguyên lý ................................................................................................. 34
Hình 3.2 Arduino NANO ................................................................................................. 34
Hình 3.3 Nguồn cung cấp 12VDC ................................................................................... 37
Hình 3.4 Module giảm áp LM2596 .................................................................................. 37
Hình 3.5 Lưu đồ thuật toán chương trình chính ............................................................... 38
Hình 3.6: Điều khiển cánh tay di chuyển ......................................................................... 39

C
C

Hình 3.7: Về vị trí góc ...................................................................................................... 40
Hình 3.8: Phân loại vật ..................................................................................................... 41
Hình 4.1 Thành phần RGB ............................................................................................... 43

R
L
.
T

Hình 4.2 Bảng màu RBG.................................................................................................. 44
Hình 4.3 Thành phần HSV ............................................................................................... 45

U
D

Hình 4.4 Tọa độ điểm trên ảnh xám ................................................................................. 45
Hình 4.5 Ma trận ảnh nhị phân ......................................................................................... 46
Hình 4.6 Kết quả biến đổi. a) Hình ban đầu b) Hình biến đổi ........................................ 47
Hình 4.7 Tạo project ......................................................................................................... 49

quá trình sản xuất.
Mục tiêu đề tài: Thực hành lại các kiến thức về lập trình và cơ khí, … đã học
trong thời gian qua vào thực tế, nhằm củng cố lại kiến thức hỗ trợ cho việc làm sau này.
Phạm vi và đối tượng nghiên cứu:
a) Phạm vi: Nghiên cứu, tính toán, thiết kế, chế tạo hệ thống phân loại gắp hàng
tự động ứng dụng công nghệ xử lý ảnh. Hệ thống bao gồm những phần chính như: 1
cánh tay robot, 1 hệ thống băng tải, 1 camera xử lý ảnh, máy tính.
b) Đối tượng nghiên cứu: Cánh tay robot 5 bậc tự do, xử lý ảnh, máy tính.

C
C

c) Nghiên cứu lý thuyết: Nghiên cứu đặc điểm động học và động lực học robot,
lập trình cho robot và xử lý ảnh để nhận diện sản phẩm.
d) Nghiên cứu thiết kế: Tính toán và vẽ kết cấu robot, băng tải.

R
L
.
T

U
D

e) Chế tạo: Dựa vào kết quả tính toán và thiết kế sau đó tiến hành thi công chế
tạo mô hình.
Cấu trúc đồ án này gồm 5 chương:
- Chương 1: Tổng quan về hệ thống.
- Chương 2: Thiết kế hệ thống cơ khí.
- Chương 3: Thiết kế hệ thống điều khiển.

L
.
T

- Trên bao bì sản xuất ra có in logo, tuy nhiên, đôi khi nó bị mờ hoặc mất nét in,
chúng ta không thể đưa sản phẩm này đến với người tiêu dùng. Công nghệ xử lý ảnh

U
D

giúp ta loại bỏ sản phẩm lỗi.
- Trên bao bì có mã vạch - barcode, chúng ta muốn đọc tự động và tìm ra sản
phẩm có barcode chưa đúng, bị mờ, bị mất nét.
- Trên sản phẩm có in ngày tháng sản xuất, ngày hết hạn và sản phẩm xuất đi Châu
Âu do đó chúng ta không muốn các sản phẩm đó in sai ngày hoặc phai mờ.
- Trên board mạch điện tử của nhà máy có rất nhiều linh kiện, tuy nhiên không
biết vì một lý do nào đó, có môt số mạch bị thiếu linh kiện, làm sao để phát hiện và
loại bỏ chúng?
- Các chi tiết được gia công và phải kiểm tra kích thước của chúng liên tục, công
nhân không thể làm nổi việc này. Công nghệ xử lý ảnh giúp giảm tỷ lệ sản phẩm lỗi và
năng suất làm việc tăng.
- Nhà máy sản xuất bánh quy, bánh chạ y trên băng tải và chúng ta muốn robot
nhận dạng bánh và sắp vào vĩ bánh. Công nghệ xử lý ảnh giúp tự động hóa sản xuất.
Vì số lượng sản phẩm sản xuất ra quá lớn do đó phải thuê rất nhiều người. Đôi khi
việc nhầm lẫn do họ mệt mỏi hoặc cảm xúc không tốt là rất hay xảy ra, vì thế năng suất
bị ảnh hưởng rất nhiều.
Hiểu đơn giản hơn camera thực chất chỉ là một cảm biến quang có khả năng tạo ra
ảnh nhưng chứa đựng nhiều thông tin hơn so với cảm biến thông thường. Một lợi thế

SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn


- Ứng dụng OCR (Optical Character Recognition - hay còn gọi là nhận dạng ký
tự là công việc chuyển đổi chữ viết tay hoặc đánh máy sang một dạng chuỗi các ký tự
được định dạng bởi máy) dùng để đọc các ký tự được in hay khắc trên bề mặt sản phẩm.
Các ký tự in trên sản phẩm, sau khi được chụp bởi camera thực chất sẽ trở thành 1
hình ảnh, nhiệm vụ của bộ điều khiển lúc này phải phân tích hình ảnh này trở thành
chuỗi ký tự (việc này giống như đọc biển số xe). Mục đích của camera OCR là đọc chữ,
SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

3


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

số, ví dụ những ngày tháng sản xuất và hết hạn, so với ngày được cài đặt (các bộ điều
khiển được tính hợp sẵn thời gian thực, qua đó kiểm tra luôn ngày sản xuất của sản
phẩm thực tế).

C
C

R
L
.
T

Hình 1.3 Ứng dụng nhận dạng ký tự



C
C

R
L
.
T

U
D

Hình 1.6 Ứng dụng kiểm tra tổng quát

1.1.2. Giới thiệu về Robot

a) Sơ lược về lịch sử phát triển của robot
Robot là máy, thiết bị tự động linh hoạt phục vụ con người, có các tính năng:
- Có hình dạng giống người hoặc cánh tay người.
- Có khả năng thao tác tự động.
- Có khả năng bắt chước thao tác giống người.
Thuật ngữ “Robot” xuất phát từ tiếng Sec (Czech) “Robota” có nghĩa là công việc
tạp dịch trong vở kịch Rossum’s Universal Robots của Karel Capek, vào năm 1921.
Trong vở kịch này, Rossum và con trai của ông ta đã chế tạo ra những chiếc máy gần
giống với con người để phục vụ con người. Có lẽ đó là một gợi ý ban đầu cho các nhà
sáng chế kỹ thuật về những cơ cấu, máy móc bắt chước các hoạt động cơ bắp của con
người.
Đầu thập kỷ 60, công ty của Mỹ AMF (American Machine Foundary Company)
quảng cáo một loại máy tự động vạn năng gọi là “Người máy công nghiệp” (Industrial
Robot)

R
L
.
T

Cincinnati (Mỹ) đưa ra loại robot được điều khiển bằng máy vi tính gọi là robot T3 (The
Tomoorrow Tool), robot này có khả năng nâng vật có khối lượng lên đến 40kg.

U
D

Có thể nói, robot là sự tổng hợp khả năng hoạt động linh hoạt của các cơ cấu điều
khiển từ xa với mức độ tri thức ngày càng phơng phú của hệ thống điều khiển theo
chương trình số cũng như kỹ thuật chế tạo các bộ cảm biến, công nghệ lập trình và các
phát triển của trí tuệ nhân tạo, hệ chuyên gia, …Ngày nay, việc nâng cao tính năng của
robot ngày càng được phát triển, nhiều robot thông minh hơn nhiều, đặc biệt là Nhật
Bản đã chế tạo nhiều robot giống người như Asimo, robot có cảm giác, …
Một robot công nghiệp được cấu thành bởi các hệ thống sau:
- Tay máy (Manipulator) là cơ cấu cơ khí gồm các khâu, khớp. Chúng hình thành
cánh tay để tạo các chuyển động cơ bản, cổ tay tạo lên sự khéo léo, linh hoạt vá bàn tay
để trực tiếp hoàn thành các thao tác trên đối tượng.
- Cơ cấu chấp hành tạo chuyển động cho các khâu của tay máy. Nguồn động lực
của các cơ cấu chấp hành là động cơ các loại: điện, thủy lực, khí nén hoặc kết hợp giữa
chúng.
- Hệ thống cảm biến gồm các sensor và thiết bị chuyển đổi tín hiệu cần thiết
khác. Các robot cần hệ thống cảm biến trong để nhận biết trạng thái của bản thân các
cơ cấu của robot và các sensor ngoài để nhận biết trạng thái của môi trường
- Hệ thống điều khiển (controller) hiện nay thường là máy tính để giám sát và
điều khiển hoạt động của robot.
SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

.
T

- Robot tọa độ Descarte
Tay máy kiểu tọa độ Descarte là tay máy có 3 chuyển động cơ bản tịnh tiến theo

U
D

phương của các trục hệ tọa độ gốc (cấu hình T.T.T). Trường công tác có dạng khối chữ
nhật. Do kết cấu đơn giản, loại tay máy này có độ cứng vững cao, độ chính xác cơ khí
dễ đảm bảo vì vậy nó thường dùng để vận chuyển phôi liệu, lắp ráp, hàn trong mặt
phẳng.

Hình 1.7 Robot kiểu tọa độ Descarte

SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

7


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

- Robot tọa độ trụ
Tay máy kiểu tọa độ trụ khác với kiểu tay máy Descartes ở khớp đầu tiên, dung
khớp quay thay cho khớp trượt. Vùng làm việc của nó có dạng hình trụ rỗng. Khớp
trượt nằm ngang cho phép tay máy thò được vào trong khoảng nằm ngang. Độ cứng
vững của tay máy trụ tốt, thích hợp với tải nặng, nhưng độ chính xác định vị trong mặt

được chọn, là phương ngang. Loại này chuyên dùng trong công việc lắp ráp với tải
trọng nhỏ theo phương thẳng đứng. Từ SCARA là viết tắt của chữ “Selective
Compliance Articulated Robot Actuato” để mô tả các đặc điểm trên.

SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

8


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

Hình 1.10 Robot kiểu Scar

- Robot kiểu tay người
Tất cả các khớp đều là khớp quay, trong đó trục thứ nhất vuông góc với hai trục
kia. Do sự tương tự giữa tay người, khớp thứ hai được gọi là khớp vai, khớp thứ ba là
khớp khủy, nối cẳng tay với khủy tay. Tay máy làm việc rất khéo léo. Nhưng độ chính
xác định vị phụ thuộc vị trí của vùng làm việc.

C
C

R
L
.
T

U

* Phân loại theo thế hệ:
- Robot thế hệ thứ nhất
Sử dụng cơ cấu cam với công tắc giới hạn hành trình. Điều khiển vòng hở có thể
sử dụng băng từ hoặc băng đục lỗ để đưa chương trình vào bộ điều khiển, tuy nhiên
không thể thay đổi chương trình được. Sử dụng phổ biến trong công việc gắp đặt (pick

C
C

and place).
- Robot thế hệ thứ hai

R
L
.
T

Điều khiển vòng kín các chuyển động của tay máy. Có thể tự ra quyết định lựa
chọn chương trình đáp ứng dựa trên tín hiệu phản hồi từ cảm biến nhờ các chương trình

U
D

đã được cài đặt từ trước. Hoạt động của robot có thể lập trình được nhờ các công cụ
như bàn phím, panel điều khiển.
- Robot thế hệ thứ ba
Có những đặc điểm như loại trên và điều khiển hoạt động trên cơ sở xử lý thông
tin thu nhận được từ hệ thống thu nhận hình ảnh. Có khả năng nhận dạng ở mức độ thấp
như phân biệt các đối tượng có hình dạng và kích thước khá khác biệt nhau.
- Robot thế hệ thứ tư

* Phân loại theo ứng dụng:
Dựa vào ứng dụng của robot trong sản xuất có robot sơn, robot hàn, robot lắp
ráp, robot chuyển phôi v.v...
c) Ứng dụng
Từ khi mới vừa ra đời robot công nghiệp được ứng dụng trong nhiều lĩnh vực dưới
góc độ thay thế sức người. Nhờ vậy, các dây chuyền sản xuất được tổ chức lại, năng
suất và hiệu quả sản xuất tăng lên rõ rệt.

C
C

R
L
.
T

Mục tiêu của việc ứng dụng robot công nghiệp nhằm góp phần nâng cao năng suất
dây chuyền công nghệ, giảm giá thành, nâng cao chất lượng và khả năng cạnh tranh của

U
D

sản phẩm, đồng thời cải thiện điều kiện lao động. Lợi thế của robot là làm việc không
biết mệt mỏi, có khả năng làm trong môi trường phóng xạ độc hại, nhiệt độ cao, …
Ngày nay, đã xuất hiện nhiều dây chuyền sản xuất tự động gồm các máy CNC với
robot công nghiệp, các dây chuyền đó đạt mức độ tự động hoá và mức độ linh hoạt
cao,..
Ngoài các phân xưởng, nhà máy, kỹ thuật robot cũng được sử dụng trong việc
khai thác thềm lục địa và đại dương, trong y học, trong quốc phòng, trong việc chinh
phục vũ trụ, trong công nghiệp nguyên tử, …

.
T

khác nhau, tùy theo ứng dụng sẽ chọn các đèn phù hợp.

U
D

Hình 1.14 Đèn chiếu sáng

- Bộ xử lý: chứa các thư viện xử lý ảnh, chức năng là dùng các hàm trong thư
viện để xử lý ảnh thu được từ camera. Bộ xử lý này có thể được tích hợp trên camera, 1
bộ phận tách rời hoặc có thể là một PC bình thường. Trên bộ xử lý có các tín hiệu I/O
nhằm giao tiếp với PLC hoặc cơ cấu chấp hành.
- Cơ cấu chấp hành: phân loại sản phẩm sau khi đã kiểm tra. Nếu sản phẩm sai
sẽ được loại ra khỏi dây chuyền và sản phẩm đúng được giữ lại. Cơ cấu này tùy theo
dây chuyền sản xuất có thể là robot gắp vật, cơ cấu gạt, bộ đẩy bằng khí nén, ...
SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

12


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

Hình 1.15 Cơ cấu bộ đẩy bằng khí nén

C
C

C

R
L
.
T

U
D

Hình 1.18 Ảnh sau khi chỉnh sửa

- Ảnh đạt chất lượng, chữ rõ ràng.
- Bước 2: Lập trình cho camera hiểu được các ký tự, chạ y thử

Hình 1.19 Trước khi lập trình chưa đọc được chữ
SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

14


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

Hình 1.20 Sau khi lập trình xong, thử sai và hoàn thiện chương trình

Nhận dạng và xử lý ảnh bao gồm 2 giai đoạn chính:
- Giai đoạn biến đổi ảnh (Image Transformation) hay làm đẹp ảnh (Image
Enhancement): trong giai đoạn này, ảnh của đối tượng trong tự nhiên được thu lại thành


SVTH: Lê Đình Minh Nhật – Nguyễn Đặng Mẫn

GVHD: TS. Đặng Phước Vinh

15


Thiết kế và chế tạo cánh tay robot 5 bậc tự do phân loại sản phẩm ứng dụng công nghệ xử lý ảnh

1.5.2. Hướng giải quyết
Để giải quyết bài toán xử lý ảnh thì chúng ta có rất nhiều công cụ hỗ trợ tốt như:
Open CV, Microsoft Visual Studio hay công cụ Image Processing Toolbox của Visual
Studio...
Với sự tiện dụng đơn giản trong quá trình lập trình, gần gũi với kỹ thuật thì Visual
studio là phần mềm gần gũi hơn cả

Hình 1.21 Sơ đồ phân loại và gắp hàng tự động ứng dụng công nghệ xử lý ảnh

C
C

Trong hệ thống sử dụng camera nhằm chụp ảnh sản phẩm, máy tính có nhiệm vụ
thu nhận, lưu trữ và xử lý, nhận dạng sản phẩm thông qua hình ảnh đã chụp được từ
camera, từ đó xuất ra lệnh đưa tới bộ điều khiển nhằm tác động đến các cơ cấu chấp
hành phân loại sản phẩm theo quy định.

R
L
.