ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ
ĐỒ ÁN TỐT NGHIỆP
ĐỀ TÀI:
THIẾT KẾ VÀ CHẾ TẠO ROBOT GẮP THỨC
ĂN SỬ DỤNG XỬ LÝ ẢNH VÀ TAY GẮP
MỀM
Người hướng dẫn:
Sinh viên thực hiện:
TS. LÊ HỒI NAM
NGUYỄN VĂN TẤN
HUỲNH TRÍ LỄ
Đà Nẵng, 2019
ĐẠI HỌC ĐÀ NẴNG
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ
.
T
………………………………………………………………………………………..
………………………………………………………………………………………..
3. Về hình thức, cấu trúc, bố cục của đồ án tốt nghiệp: (điểm tối đa là 2đ)
U
D
………………………………………………………………………………………..
………………………………………………………………………………………..
4. Đề tài có giá trị khoa học/ có bài báo/ giải quyết vấn đề đặt ra của doanh nghiệp hoặc
nhà trường: (điểm tối đa là 1đ)
………………………………………………………………………………………..
………………………………………………………………………………………..
5. Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa:
………………………………………………………………………………………..
………………………………………………………………………………………..
III. Tinh thần, thái độ làm việc của sinh viên: (điểm tối đa 1đ)
………………………………………………………………………………………..
IV. Đánh giá:
1. Điểm đánh giá:
……../10 (lấy đến 1 số lẻ thập phân)
2. Đề nghị: ☐ Được bảo vệ đồ án
☐ Bổ sung để bảo vệ
3. Tên đề tài: Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm.
4. Người phản biện: ..………………………….………… Học hàm/ học vị: ………….
II. Nhận xét, đánh giá đồ án tốt nghiệp:
TT Các tiêu chí đánh giá
1
C
C
Sinh viên có phương pháp nghiên cứu phù hợp, giải
R
L
.
T
quyết đủ nhiệm vụ đồ án được giao
Điểm Điểm
tối đa đánh giá
80
- Tính mới (nội dung chính của ĐATN có những phần mới so
1a
với các ĐATN trước đây).
U
D
2a
- Bố cục hợp lý, lập luận rõ ràng, chặt chẽ, lời văn súc tích
15
2b
- Thuyết minh đồ án khơng có lỗi chính tả, in ấn, định dạng
5
3
Tổng điểm đánh giá theo thang 100:
Quy về thang 10 (lấy đến 1 số lẻ)
- Các tồn tại, thiếu sót cần bổ sung, chỉnh sửa: ………………………………………..
………………………………………………………………………………………...
- Câu hỏi đề nghị sinh viên trả lời trong buổi bảo vệ: …………………………………
………………………………………………………………………………………...
- Đề nghị: ☐ Được bảo vệ đồ án
☐ Bổ sung để bảo vệ
☐ Không được bảo vệ
Đà Nẵng, ngày
tháng
năm 201…
Người phản biện
loại thức ăn có hình dạng khác nhau, đường kính 40 ± 5mm, khối lượng 30g; Xử lý ảnh
phân biệt các loại thức ăn với nhau; Lắp đặt và vận hành cánh tay robot 2 bậc tự do. Hệ
thống sau khi hồn thành có thể chạy được ở 2 chế độ cơ bản là chế độ dạy học và chế
độ xử lý ảnh tĩnh.
C
C
U
D
R
L
.
T
ĐẠI HỌC ĐÀ NẴNG
CỘNG HỊA XÃ HƠI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA CƠ KHÍ
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên: Nguyễn Văn Tấn
Số thẻ sinh viên: 101140199
.
T
Kích thước thơng số các bộ phận công ty Maruyasu Kikai cung cấp.
Các vật liệu: Nhơm định hình, inox, thép.
4. Nội dung các phần thuyết minh và tính tốn:
Chương 1: Tổng quan
U
D
Chương 2: Hệ thống robot gắp thức ăn
Chương 3: Quá trình xử lí ảnh
Chương 4: Hệ thống truyền động
Chương 5: Tay gắp mềm
5. Các bản vẽ, đồ thị ( ghi rõ các loại và kích thước bản vẽ ):
Bản vẽ sơ đồ đấu nối mạch điện (1A0).
Bản vẽ sơ đồ tổng quát hệ thống (1A0).
Bản vẽ lưu đồ thuật tốn lập trình (1A0).
Bản vẽ tổng quát hệ thống (1A0).
Bản vẽ tay gắp và đồ gá tay gắp (1A0).
6. Họ tên người hướng dẫn: TS. Lê Hoài Nam
7. Ngày giao nhiệm vụ đồ án:
19/1/2019
8. Ngày hoàn thành đồ án:
30/5/2019
Xử lý ảnh xác định vật thể kết hợp với lập trình PLC.
Để đồ án này đạt kết quả tốt đẹp, chúng tôi đã nhận được sự hổ trợ, giúp đỡ của
nhiều cơ quan, cá nhân. Với tình cảm sâu sắc cho phép chúng tơi được bày tỏ lịng biết
U
D
ơn sâu sắc đến tất cả các cá nhân và cơ quan đã tạo điều kiện giúp đỡ trong suốt quá
trình học tập và nghiên cứu đề tài.
Trước hết chúng tôi gửi tới các thầy Khoa Cơ khí trường Đại học Bách Khoa Đại
học Đà Nẵng lời chào trân trọng, lời chúc sức khỏe và lời cảm ơn sâu sắc. Với sự quan
tâm, chỉ dạy và truyền đạt kiến thức để chúng tơi hồn thành đề tài này.
Đặc biệt chúng tơi gửi lời cảm ơn chân thành nhất tới thầy giáo – TS. Lê Hoài Nam
đã quan tâm giúp đỡ, hướng dẫn hoàn thành tốt đề tài này trong thời gian qua. Không
thể không nhắc tới sự hổ trợ truyền đạt kinh nghiệm của kỹ sư Hoàng Hữu Vỹ, các thành
viên trong nhóm Aiméka và các bạn trong tập thể lớp 14CDT.
Tuy nhiên do kiến thức và kinh nghiệm còn nhiều hạn chế nên khó tránh khỏi
những thiếu sót. Chúng tơi rất mong nhận được sự thơng cảm và đóng góp ý kiến của
các thầy và các bạn sinh viên để đồ án của chúng tơi được hồn chỉnh hơn. Xin chân
thành cảm ơn.
Đà Nẵng, ngày 30 tháng 11 năm 2018
Người thực hiện đề tài:
Nguyễn Văn Tấn
Huỳnh Trí Lễ
i
Nhiệm vụ đồ án
Lời nói đầu và cảm ơn
i
Lời cam đoan liêm chính học thuật
ii
Mục lục
iii
Danh sách các bảng biểu, hình vẽ và sơ đồ
v
Danh sách các cụm từ viết tắt
vii
Trang
Chương 1: TỔNG QUAN .......................................................................................... 1
1.1.
Đặt vấn đề ...................................................................................................... 1
1.2.
Bài toán đặt ra ................................................................................................ 1
2.2.1.
Tổng quan về xử lý ảnh ................................................................................... 5
2.2.2.
Nội dung quy trình xử lý ảnh .......................................................................... 6
2.3.
Cơ cấu chấp hành ........................................................................................... 7
U
D
Chương 3: QUÁ TRÌNH XỬ LÝ ẢNH..................................................................... 9
3.1.
Các khái niệm liên quan đến xử lý ảnh ........................................................... 9
3.1.1.
Điểm ảnh ........................................................................................................ 9
3.1.2.
Độ phân giải ảnh ............................................................................................. 9
3.1.3.
4.1.
Cơ cấu truyền động....................................................................................... 22
4.2.
Bộ điều khiển công suất ................................................................................ 23
4.2.1.
Cấu trúc và kết nối ........................................................................................ 23
4.2.2.
Phần mềm PC Interface Software for RCEC ................................................. 25
4.3.
Bộ điều khiển trung tâm PLC và module CC-Link ....................................... 27
4.3.1.
Bộ điều khiển lập trình PLC .......................................................................... 27
4.3.2.
Module CC-Link FX3U-16CCL-M ............................................................... 30
4.4.
Các thơng số hình học ................................................................................... 43
5.4.2.
Vật liệu ......................................................................................................... 45
5.5.
Mơ phỏng ..................................................................................................... 45
5.6.
Chế tạo ......................................................................................................... 47
5.6.1.
Chuẩn bị ....................................................................................................... 47
5.6.2.
Quá trình đúc ................................................................................................ 48
5.7.
Thực nghiệm ................................................................................................ 49
5.8.
Các phiên bản ............................................................................................... 50
DANH SÁCH CÁC BẢNG, HÌNH VẼ
Trang
Hình 1.1 Mơ tả cơng việc cánh tay robot cần thực hiện………………………………….2
Hình 2.1 Sơ đồ tổng quan của hệ thống…………………………………………………3
Hình 2.2 Sơ đồ khối hệ thống………………………………………….……………….4
Hình 2.3 Hệ thống thực tế……………………………………………………………….5
Hình 2.4 Các giai đoạn chính trong q trình xử lý ảnh…………………………………6
Hình 2.5 Sơ đồ động của hệ thống………………………………………………………7
Hình 3.1 Camera Logitech HDc720HD……………………………………………….10
Hình 3.2 Máy tính Raspberry Pi……………………………………………………….11
Hình 3.3 Raspberry Pi và các thiết bị ngoại vi…………………………………………11
Hình 3.4 Cấu trúc Raspberry Pi model B+…………………………………………….12
C
C
Hình 3.5 Kiểm tra IP của RPi ………………………………………………………….14
Hình 3.6 Giao diện Putty dùng để kết nối tới RPi……………………………………...14
R
L
.
T
Hình 3.7 Các chân GPIO thực tế……………………………………………………….15
Hình 3.8 Sơ đồ chân GPIO của RPi model 3B+……………………………………….15
U
D
Hình 4.22 Khối khởi động PLC………………………………………………………..37
Hình 4.23 Khối nạp vị trí PCx…………………………………………………………37
Hình 4.24 Khối về “Home” …………………………………………………………...37
C
C
Hình 4.25 Khối bật tắt bit CSTR………………………………………………………37
R
L
.
T
Hình 4.26 Khối đọc giá trị các thanh ghi……………………………………………….37
Hình 4.27 Lưu đồ thuật tốn lập trình PLC chương trình cơ bản……………………….39
Hình 4.28 Lưu đồ thuật tốn lập trình PLC kết hợp xử lí ảnh…………………………..40
U
D
Bảng 5.1 Các thơng số hình học của ngón tay mềm……………………………………43
Hình 5.1 Mẫu tay gắp mềm đầu tiên của Suzumori…………………………………....42
Hình 5.2 Cấu tạo của hệ thống các khoang nước bên trong sao biển…………………..43
Hình 5.3 Nguyên lý hoạt động của tay gắp mềm………………………………………43
Hình 5.4 Các thơng số thiết kế phần khoang khí của một ngón tay riêng lẻ…………….44
Hình 5.5 Các thông số thiết kế phần đế của một ngón tay riêng lẻ……………………..44
Hình 5.5 Kết quả mơ phỏng FEA của một ngón tay và tay gắp mềm………………….46
Hình 5.6 Mơ phỏng ngón tay dưới tác dụng của 20kPa và -20kPa……………………..47
Hình 5.7 Khn đúc tay gắp mềm……………………………………………………..47
CPU – Central Processing Unit
DCL – Deceleration
RCEC – Robo Cylinder
EMG – Emergency
RGB – Red Green Blue
EPROM – Erasable
RPi – Raspberry Pi.
Programmable Read-Only
RW – Remote word
Memory
RX – Remote Input
C
C
FEA – Phân tích phần tử hữu hạn
RXD – Receive Data
GND – Ground
TXD – Transmit Data
I2C – Inter-Integrated Circuit
UART – Universal
IP – Internet Protocol
Asynchronous Receiver-
MISO – Master Out Slave Out
Transmitter
MOSI – Master Out Slave In
USB - Universal Serial Bus
MP – Motor Power
XLA – Xử lý ảnh.
NOOBS – New Out Of the Box
Software
viii
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
này đồng nghĩa với việc họ phải cố gắng tự động hóa được hết tất cả các khâu trong quá
trình sản xuất cơm hộp. Tuy nhiên họ lại gặp một vấn đề đau đầu tại khâu đóng gói thức
ăn vào hộp đó là: Làm thế nào để di chuyển những loại thức ăn cầu kì, đa dạng như vậy
vào trong các hộp đựng mà vẫn đảm bảo được tính thẩm mĩ và an tồn vệ sinh? Chính
vì vậy, một công ty của Nhật Bản là Maruyasu Kikai đã đưa ra một yêu cầu và cũng là
đề tài của đồ án này để giải quyết dần vấn đề trên.
1.2. Bài tốn đặt ra
Cơng ty đặt ra bài tốn là thiết kế một hệ thống robot được tích hợp tay gắp có thể
gắp được nhiều loại thức ăn đa dạng với những yêu cầu cụ thể như sau:
Thức ăn được gắp có thể là bánh bao, súp lơ, gà chiên,… Với độ cứng,
hình dạng khác nhau, đường kính 40±5mm, khối lượng 30g.
Thức ăn không bị hư, trầy, biến dạng hoặc rơi rớt trong quá trình gắp.
Việc thiết kế tập trung chủ yếu ở phần thiết kế ý tưởng tay gắp với ràng
buộc là không được sử dụng hơi để hút trực tiếp thức ăn.
Để giải quyết các vấn đề đặt ra ở trên, nhóm tác giả đã quyết định lựa chọn phương
án là Tay gắp mềm (Soft gripper) với vật liệu là silicon để nghiên cứu và chế tạo. Đây
là lĩnh vực rất mới và đang được quan tâm, nghiên cứu nhiều trên thế giới trong những
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hồi Nam
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
Chương 2: HỆ THỐNG ROBOT GẮP THỨC ĂN
2.1. Mơ hình hóa hệ thống
2.1.1. Tổng quan
C
C
R
L
.
T
Hình 2.1 Sơ đồ tổng quan của hệ thống
U
D
Hệ thống robot gắp thức ăn là tập hợp của nhiều hệ thống thành phần khác như:
Hệ thống cơ khí, hệ thống khí nén, hệ thống điện, hệ thống điều khiển. Các hệ thống
riêng biệt này được thiết kế để kết nối với nhau nhằm tạo ra một hệ thống hoàn chỉnh,
đảm bảo thực hiện tốt nhiệm vụ đặt ra của đề tài.
Hệ thống sau khi hồn chỉnh có thể hoạt động theo 2 chế độ:
Chế độ dạy học: Robot sẽ được dạy học trước với các thông số đầu vào
.
T
Khối nguồn
Khối điều khiển
Khối cơ cấu chấp hành
U
D
Khối xử lý ảnh
Hình 2.2 thể hiện sơ đồ khối của hệ thống. Theo đó, hệ thống hoạt động như sau:
Camera sau khi chụp ảnh sẽ gửi dữ liệu ảnh về cho Raspberry Pi. Raspberry Pi sau khi
xử lý và phân biệt được các loại thức ăn xong sẽ gửi tín hiệu đến PLC. Tại đây, PLC sẽ
điều khiển cánh tay robot 2 bậc tự do (2 Robo cylinder) thông qua bộ điều khiển động
cơ và tay gắp thơng qua hệ thống khí nén để thực hiện việc gắp và thả thức ăn đến đúng
vị trí của nó. Các số liệu về vị trí, vận tốc và gia tốc của cánh tay robot sẽ được cài đặt
trước vào bộ điều khiển bằng phần mềm dạy học trên máy tính. Để cho hệ thống hoạt
động thì ta cần cấp nguồn 220VAC cho PLC, nguồn 24V cho bộ điều khiển động cơ và
nguồn 5V cho Raspberry Pi.
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hoài Nam
4
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hồi Nam
5
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
2.2.2. Nội dung quy trình xử lý ảnh
Hình 2.4 Các giai đoạn chính trong quá trình xử lý ảnh
2.2.2.1. Thu nhận ảnh
Ðây là cơng đoạn đầu tiên mang tính quyết định đối với q trình XLA. Ảnh đầu
vào có thể là ảnh màu hoặc ảnh trắng đen sẽ được thu nhận qua các thiết bị như camera,
sensor, máy scanner,… và sau đó các tín hiệu này sẽ được số hóa. Việc lựa chọn các
thiết bị thu nhận ảnh sẽ phụ thuộc vào đặc tính của các đối tượng cần xử lý. Các thơng
số quan trọng ở bước này là độ phân giải, chất lượng màu, dung lượng bộ nhớ và tốc độ
thu nhận ảnh của các thiết bị. Trong đề tài này, chúng tơi sử dụng camera Logitech 720
có độ phân giải 1280x720pi.
2.2.2.2. Tiền xử lý
Ở bước này, ảnh sẽ được cải thiện về độ tương phản, khử nhiễu, khử bóng, khử
độ lệch,v.v… với mục đích làm cho chất lượng ảnh trở lên tốt hơn nữa, chuẩn bị cho các
bước xử lý phức tạp hơn về sau trong quá trình XLA. Quá trình này thường được thực
C
C
R
L
6
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
Biểu diễn dạng vùng lại thích hợp cho những ứng dụng khai thác các tính chất bên trong
của đối tượng, ví dụ như cấu trúc xương của nó. Sự chọn lựa cách biểu diễn thích hợp
cho một vùng ảnh chỉ mới là một phần trong việc chuyển dổi dữ liệu ảnh thô sang một
dạng thích hợp hơn cho các xử lý về sau.
2.2.2.5. Nhận dạng và phân tích
Ðây là bước cuối cùng trong q trình XLA. Nhận dạng ảnh có thể được nhìn nhận
một cách đơn giản là việc dán nhãn cho các đối tượng trong ảnh. Ví dụ đối với nhận
dạng hình dáng sản phẩm, sau xử lý ảnh ta phân loại các đối tượng có trong ảnh thành
ở hình dạng như thế nào và dán cho nó một nhãn nhất định.
Chúng ta cũng có thể thấy rằng, khơng phải bất kỳ một ứng dụng XLA nào cũng
bắt buộc phải tuân theo tất cả các bước xử lý đã nêu ở trên, ví dụ như các ứng dụng
chỉnh sửa ảnh nghệ thuật chỉ dừng lại ở bước tiền xử lý. Tùy theo ngơn ngữ và phần
mềm mà người lập trình lựa chọn thì cách tiếp cận với từng cơng đoạn sẽ có độ khó dễ
khác nhau. Một cách tổng qt thì những chức năng xử lý bao gồm cả nhận dạng và giải
thích thường chỉ có mặt trong hệ thống phân tích ảnh tự động hoặc bán tự động, được
C
C
dùng để rút trích ra những thơng tin quan trọng từ ảnh, ví dụ như các ứng dụng nhận
dạng ký tự quang học, nhận dạng chữ viết tay…
R
L
hệ thống…Do vậy tay gắp này mang nhiều đặc tính riêng như:
Gắp được vật có nhiều hình dạng kích thước khác nhau.
Cơ cấu nhẹ, mềm dẻo không gây ảnh hưởng cơ học tới sản phẩm.
Hoạt động được ở tốc độ cao và khơng ảnh hưởng tới kết quả tồn hệ thống.
Công nghệ hiện đại, mới mẻ, không sinh phế phẩm và an tồn với mơi trường.
C
C
R
L
.
T
U
D
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hồi Nam
8
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
Chương 3: QUÁ TRÌNH XỬ LÝ ẢNH
3.1. Các khái niệm liên quan đến xử lý ảnh
3.1.1. Điểm ảnh
3.1.3. Mức xám của ảnh
Một điểm ảnh (pixel) có 2 đặc trưng cơ bản đó là vị trí (x,y) của điểm ảnh và độ
xám của nó. Và mức xám của một điểm ảnh là cường độ sáng của nó gắn với một trị số
nhất định tại điểm đó. Có nhiều thang biểu thị mức xám như 16, 32, 64, 128, 256,…
Mức 256 được sử dụng phổ biến (kỹ thuật máy tính dung 1 Byte để biểu diễn mức xám,
có 28 = 256 mức, tức là từ 0..255).
3.1.4. Cấu trúc lưu dữ liệu
Dữ liệu được lưu trữ theo cấu trúc mảng (tập có thự tự gồm các phần tử số thực
hoặc phức). Ảnh cũng được lưu trữ bởi các mảng phần tử với các dữ liệu lưu trữ có thể
là màu cường độ của ảnh. Hầu hết các ảnh được lưu trữ dưới dạng các mảng 2 chiều (ví
dụ: ma trận). Trong các mảng 2 chiều này, mỗi phần tử tương ứng với một pixel và
thường được biểu diễn bởi một điểm trên màng hình mày tính (ví dụ: một bức ảnh có
500 hàng và 700 cột gồm nhiều điểm màu khác nhau được lưu trữ bởi một ma trận kích
thước 500x700). Một bức ảnh như ảnh màu đòi hỏi phải được lưu trữ bởi mảng ba chiều.
Trong đó mặt phẳng thứ nhất trong mảng ba chiều này biểu diễn cho cường độ màu đỏ
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hồi Nam
9
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
(red) của phần tử, mặt phẳng thứ hai biểu diễn cho cường độ màu xanh lá cây (green)
và mặt phẳng còn lại biểu diễn cho cường độ màu xanh da trời (blue) của phần tử. Với
việc lưu trữ các ảnh dưới dạng mảng, việc xử lý ảnh với dữ liệu được lưu bởi dạng ma
trận nào được thực hiện rất thuận tiện.
3.2. Các thành phần của hệ thống xử lý ảnh
Trong khuôn khổ đề tài này, nhiệm vụ xử lý ảnh khơng q phức tạp nên nhóm tác
giả sử dụng Camera Logitech HDc270h. Với các thông số kỹ thuật chính như sau:
Độ phân giải 1280 x 720 pixel.
Chuẩn giao tiếp USB2.0.
Loại Camera màu.
Tốc độ khung hình 30 fps.
Hình 3.1 Camera Logitech HDc270h
SVTH: Nguyễn Văn Tấn, Huỳnh Trí Lễ.
GVHD: TS. Lê Hồi Nam
10
Thiết kế và chế tạo robot gắp thức ăn sử dụng xử lý ảnh và tay gắp mềm
3.2.2. Raspberry Pi
3.2.2.1. Hiểu biết chung về Raspberry Pi
Raspberry Pi (viết tắt là RPi) là một máy vi tính nhỏ, giá rẻ, kích thước nhỏ gọn,
tiết kiệm điện năng (nguồn điện cung cấp cho RPi là 5V). RPi được sử dụng như một
máy vi tính thơng thường khi đã kết nối với một màn hình máy vi tính hoặc màn hình
tivi qua cáp HDMI hoặc jack video analog, người dùng tương tác với RPi thơng qua bàn
phím và chuột.
C
C
R
L