Công nghệ mạng noron tế bào
CNN và kh
ả nang ứng dụng trong
các h
ệ co diện tử
Tóm tắt: Thời gian qua mạng noron tế bào CNN (Cellular Neural
Network) dã du
ợc nhiều nuớc trên thế giới dầu tu nghiên cứu nhu một
công ngh
ệ xử lý song song cực mạnh da nang có khả nang ứng dụng trong
nhi
ều linh vực mà các chip vi xử lý, máy PC hiện hành không thực hiện
du
ợc. Báo cáo này giới thiệu sự phát triển của mạng noron tế bào trong
th
ời gian qua và khả nang ứng dụng trong các hệ co diện tử trong tuong
lai. Ph
ần 1 báo cáo giới thiệu về co sở toán học của mạng no ron tế bào và
nguyên lý h
ọat dộng của máy tính vạn nang tế bào CNN. Tiếp dến báo
cáo trình bày các hu
ớng nghiên cứu về CNN dang duợc chú trọng trên thế
giới nói chung và trong các phần tử và hệ thống co diện tử nói riêng. Phần
3 gi
ới thiệu khả nang ứng dụng của công nghệ CNN. Phần 4 của báo cáo
d
ề cập dến các kết quả buớc dầu nghiên cứu về công nghệ CNN trong xử
lý ảnh tốc dộ cao tại Viện công nghệ thông tin, Viện Khoa học và công
ngh
ệ Việt nam. Cuối cùng là phần kết luận và tài liệu tham khảo.
1. Công nghệ mạng noron tế bào CNN: Máy tính diện tử ra dời dã hon 60 nam và
ệ noron tính tóan thuờng xử lý mảng tín hiệu tuong tự (analog) có tính
liên t
ục về thời gian và biên dộ. Cấu trúc gồm nhiều lớp mảng 2D noron có các kết
n
ối mạng cục bộ (local) là chủ yếu, và kết nối toàn cục (global) là không nhiều. Có
no ron du
ợc tích hợp với các tế bào cảm biến (sensing) và tế bào tác dộng
(actuating). Các noron ho
ạt dộng với dộ trễ thay dổi và có co chế hoạt dộng dạng
sóng kích ho
ạt. Các dữ liệu và sự kiện (event) là các mảng tín hiệu phụ thuộc không
gian và/ho
ặc thời gian Rõ ràng với các tính chất co bản nêu trên máy tính số hiện
nay không có kh
ả nang tiếp cận dến khả nang xử lý của não nguời. Ðể có thể chế
tạo duợc hệ thống diện tử có khả nang tính toán tuong tự nhu hệ thần kinh này, dòi
h
ỏi ta phải thay dổi về kiến trúc, về thuật toán về công nghệ và khả nang xử lý song
song c
ủa hàng vạn hoặc hàng triệu bộ xử lý trên một chip. Mạng noron tế bào CNN
(Cellular Neural Network) là m
ột giải pháp mở dầu cho loại máy tính vạn nang xử
lý dòng mảng dữ liệu dầy tiềm nang này.
Co sở toán học của mạng CNN CNN (Cellular Nonlinear/Neural Network) duợc Leon
O. Chua và L.Yang gi
ới thiệu nam 1988 [1],
[2], [3]. Tu tu
ởng chung là sử dụng một mảng don giản các tế bào kết nối cục bộ dể xây
d
ựng một hệ thống xử lý tín hiệu analog dồ sộ. Ðặc diểm mấu chốt của mạng noron là xử
ờng hợp r=1 chúng là các ma trận 3 x 3. Tín hiệu trạng thái và tín hiệu dầu ra của mỗi
t
ế bào có quan hệ phi tuyến duợc mô tả trong phu ong trình (2): ij1 )( ijijijij)11(
2
xxxfy (2) So dồ khối của tế bào CNN tiêu chuẩn duợc mô tả trong hình 2.
Hình 2: So d
ồ khối của hệ dộng lực tế bào CNN
Khi dua một mảng tín hiệu dầu vào u với 1 i M và 1 j N duợc dịnh nghia nhu một
ảnh với giá trị pixel uijij , thì tập hợp giá trị (A,B,z) quyết dịnh lời giải của hệ dộng lực
CNN. T
ập hợp này chính là các ma trận trọng số của mạng noron CNN duợc gọi là các
m
ẫu vô tính hoặc còn gọi là gen. Trong không gian bất biến, các mẫu là các ma trận 3x3,
5x5, ho
ặc 7x7 tùy theo giá trị r của mạng là 1, 2 hay 3. Có nghia là mảng CNN có thể
duợc dịnh nghia bởi 19 (hoặc 51 hoặc 99) tham số của A, B và z và không phụ thuộc vào
kích c
ỡ M x N của mạng. Khi dầu vào uij là ảnh tinh hoặc ảnh dộng, thì mạng CNN dóng
vai trò nhu m
ạng xử lý ảnh.
Máy tính vạn nang CNN (CNN Universal Machine on Flow) Ta hãy khảo sát kỹ hon về
mặt toán học dịnh nghia thế nào là máy tính vạn nang CNN. Máy tính
CNN th
ực chất là máy tính xử lý dòng dữ liệu mảng nhu chuỗi ảnh video, mảng vecto
áp l
ực ở các tế bào xúc giác v.v… Chuỗi dữ liệu 2D (ảnh video) (t) duợc dịnh nghia
nhu sau
( t ) :
{
output
},
p
0,
t0
R
< 8;
p
(là hàm liên t
ục, khả vi và bị chặn). có thể là biến vào, biến trạng thái hay bidầutế
bào (1 pixel) trong mảng m x n tế bào. Ở thời diểm t = t’ ta có (t’) là một ảnh (n x m)
pixel
là cu
ờng dộ pixel (4) Mức xám của ảnh
du
ợc mô tả trong vùng +1 và -1 (+1 là trắng và -1 là den). Ảnh màu duợc mô tả bằng tổ
hợp của nhiều lớp ảnh mxn pixel, mỗi lớp mô tả cuờng dộ của một màu (ví dụ hệ màu
R.G.B).
Ảnh nhị phân duợc gọi là mặt nạ M
M : m
[ 1 , -
1 ] ( 5 ) C h u
ỗ i
ả n h ở c á c t h ờ i d i ể m
t + 2
t… duợc gọi là dòng ảnh hay dòng video. Lệnh co bản của máy tính CNN
du
ợc dịnh nghia là:
ời giải của các phuong trình vi phân dạo
hàm riêng PDE (Partial Differential Equation) phi tuy
ến loại phản ứng–khuyếch tán (nonlinear
reaction–diffusion equation). Ta hãy di sâu hon d
ể hiểu rõ nguyên lý này. Phuong trình dạo hàm
riêng lo
ại phản ứng – khuyếch tán duợc mô tả về mặt toán học duới dạng: tyx
)),,((),,())),,(()),,((( ),,(00tyxtyxtyxgradtyxcdiv t (8) Phuong trình trên mô tả một
lo
ạt lớp phuong trình PDE bao gồm
- Phuong trình khuy
ếch tán tuyến tính khi 0 = 0 và = 0 - Phuong trình khuyếch tán tuyến
tính b
ị chặn khi 0(.) 0 và = 0 và = 0 - Phuong trình sóng trigo phi tuyến khi 0(.) 0 -
Phuong trình sóng trigo phi tuy
ến có giới hạn khi 0(.) 0 và (.) 0 Khi rời rạc hóa theo
không gian phuong trình d
ạo hàm riêng trên trở thành một hệ phuong trình vi phân thuờng liên
k
ết có dạng
td )())(( )(ztttt cj ijijijijiijij ijttg dt)(()(
txft) ijij1,1,,1,1 1))()()()(( 4
(.)(.)
fCg 0
(9)
k
ết sau:
khuy
ếch tán tuyến
tính b
ị chặn khi z 0
và
f ( ) = -
Phuong trình sóng
trigo phi tuy
ến khi z
= 0 và
f ( ) = sign (
) - Phuong trình
sóng trigo phi tuy
ến
b
ị chặn khi zij 0 và
f
( ) = sign ( ) Tất
c
ả các dạng phuong
trình PDE trên d
ều có
th
ể lập trình trên
m
ạng CNN sử dụng
các m
ẫu liên
c ccc c00 z
( 1 0 )
ủa tính toán phụ thuộc chủ yếu vào các tham số của PDE (các template) và không phụ thuộc
vào kích c
ỡ của mảng. Ðiều này trái nguợc với các máy tính số hiện nay.
4
Ðiểm dặc thù trong dộ phức tạp tính toán ở máy tính CNN là tính chất liên tục trong
th
ời gian và trong giá trị [5], [7]. Với tính chất này chênh lệch về dộ phức tạp của tính
toán gi
ữa máy Turing và máy CNN là rất lớn có thể lên dến 1: 8000 lần khi xác dịnh
biên c
ủa các ảnh diện tim có nhiễu. Sự khác nhau giữa máy tính số Turing và máy tính
v
ạn nang CNN duợc tóm tắt trong bảng 1.
Máy tính Turing UMZ (Universal
Machine Over Z)
- Hàm d
ệ quy từng phần
trên s
ố nguyên
2. Những kết quả nghiên cứu phát
tri
ển về công nghệ CNN
mxn
- Phuong trình vi phân 2D,
3D
- Hàm d
ệ quy trên dòng
ảnh
Flow) Tru
ờng I/O Số
xử
lý song song
mà phép tính co
bả
n c
giả
i c
phuong trình vi
phân d
riêng phi tuy
(PDE). Phép tính
này du
hiệ
n b
lệnh trong thời gian vài µs và chính là thời gian hội tụ của quá trình quá dộ của phuong
trình d
ộng lực co bản của tế bào CNN. Trong khi dó ta biết rằng việc giải phuong trình
vi phân d
ạo hàm riêng ở máy tính số hiện hành là một vấn dề phức tạp dòi hỏi rất nhiều
th
ời gian tính toán. Trong bài toán xử lý ảnh, mạng CNN duợc tích hợp với cảm biến
ảnh tạo thành chip thị giác (Visual Microprocessor) có khả nang xử lý ảnh với tốc dộ
phi thuờng. Trong những nam gần dây việc chế tạo các chip CNN-UM dã dạt duợc rất
nhi
ều thành tựu: Các chip thế hệ dầu là ACE440 có kích thuớc mảng 20x22 diểm pixel
ch
ỉ có thể xử lý ảnh nhị phân, sau dó là ACE4K có kích thuớc mảng 64x64 xử lý cả ảnh
nh
ị phân và ảnh mức xám. Khi xử lý ảnh mức xám tốc dộ dạt dến 1000 frame/giây
(fps), còn v
ảm nhận - tính toán - quyết dịnh (sensory-computingactuating) [4]. Trong
linh v
ực thuật toán và phần mềm cung có các thành tựu lớn: Các máy CNN-UM có thể tái
c
ấu hình duợc, các mẫu có thể duợc thay dổi từ ngôn ngữ bậc cao trên máy tính PC sử
dụng các hệ diều hành quen thuộc nhu Windows 2000, XP. Thu viện các mẫu, các hàm
API liên k
ết với hệ thống CNN-UM ngày càng phong phú. Trong các thuật toán, các cấu
trúc da sóng ho
ặc da luồng (multi-wave or multi-thread structures) dã duợc sử dụng với
m
ức dộ phức tạp cao. Các thuật toán với các mạng CNN nhiều lớp cung dang duợc phát
tri
ển. Xuất hiện một kiểu mô tả thuật toán mới - mô tả bằng dồ hoạ duợc sử dụng trong
máy tính CNN g
ọi là các biểu dồ luồng. Rất nhiều mẫu của thế giới tự nhiên dã duợc ứng
d
ụng trong CNN . Về lý thuyết có nhiều kết quả công bố thuộc các linh vực xét tính ổn
d
ịnh của các mẫu, các nghiên cứu về mạng CNN có quan hệ tới một số loại sóng mới, các
thu
ật toán liên quan dến các vấn dề co bản của phuong trình vi phân dạo hàm riêng PDE
và các m
ẫu nhiều lớp
Các huớng nghiên cứu CNN trong linh vực co diện tử
Do tiềm nang về nang lực tính toán và khả nang ứng dụng rộng rãi trong nhiều linh vực
c
ủa cuộc sống, công nghệ CNN dã ngày càng thu hút duợc sự quan tâm của nhiều nhà
nghiên c
ứu khoa học trên thế giới. Các huớng nghiên cứu trong thời gian tới về công
công ngh
ệ MEMS. Việc kết hợp với mạng noron tế bào CNN cho phép tạo ra nhiều cảm
bi
ến xúc giác. Hệ thống xúc giác ở dầu ngón tay chúng ta có các mảng cảm nhận với mô
hình x
ử lý 4 kênh. 4 kênh này có các dặc tính phụ thuộc không gian – thời gian khác nhau.
V
ấn dề khó trong chế tạo cảm biến xúc giác là tại mỗi diểm cảm ứng taxel (tactile cell)
phải do duợc 3 thành phần của vécto áp lực tác dộng lên diểm dó. Mô hình cảm biến xúc
giác CNN d
ầu tiên duợc nghiên cứu chế tạo tại Viện Vật lý và Vật liệu thuộc Viện hàn
lâm khoa h
ọc Hungary bằng công nghệ MEMS [6]
Hình 3 gi
ới thiệu sự phát triển của các chip vi xử lý CNN thị giác. Từ các chip này
dã có nhi
ều máy tính thị giác dã duợc phát triển. Nổi bật nhất là camera Bi-I duợc chế tạo
trên chip ACE16K là camera có t
ốc dộ xử lý ảnh cao nhất hiện nay trên thế giới.
6
Hình 3: Sự phát
tri
ển của các chip thị giác CNN Sử dụng công nghệ FPGA cho chế tạo các mạng noron tế
bào có khả nang tái cấu hình cung là một huớng nổi trội hiện nay. Mạng CNN dầu tiên
du
ợc chế tạo theo công nghệ này là mô hình mắt nhân tạo (retina) với 10 lớp mạng CNN
Các nguyên lý CNN trong quang học và công nghệ Nano Co chế hoạt dộng của mạng
noron t
ế bào có nhiều diểm tuong dồng với các tính chất giao thoa, lan truyền của ánh
sáng d
ch
ế khác dang duợc khám phá tạo nên các nguyên lý cho
7
chế tạo các thiết bị co diện tử thay thế các tổ chức nội tạng trong co thể con nguời (mắt,
tim, gan, th
ận nhân tạo v.v )
3. Khả nang ứng dụng của CNN
Các ứng dụng của công nghệ CNN có thể duợc chia thành hai nhóm chính: Các ứng dụng
x
ử lý ảnh tốc dộ cao: Ðây là nhóm ứng dụng chủ yếu trong nhiều linh vực của cuộc sống
mà các h
ệ camera thông thuờng không dáp ứng duợc.
Các ứng dụng dòi hỏi xử lý dữ liệu lớn trong thời gian thực nhu: Giải phuong trình vi
phân d
ạo hàm riêng (PDE), tạo sóng phi tuyến, xử lý dòng tín hiệu video (On-the-fly
analog video signal processing) v.v….
Một số ứng dụng của mạng CNN theo các linh vực
ứng dụng duợc liệt kê nhu sau: Trong các ngành công nghiệp: + Phân tích bề mặt
nhãn in, d
ệt, phân tích kết cấu sợi (Texture analysis) tốc dộ cao; Kiểm tra các lỗi và vị trí
l
ỗi của các sản phẩm, các nhãn, rubang, vải ngay trong quá trình sản xuất [6]. + Kiểm tra
b
ề mặt (Surface inspection) trong công nghiệp chế tạo giấy, nhôm, thép. Ví dụ nhu kiểm
tra các ch
ỗ rối, các chỗ rách, hỏng, những chỗ nhan, các vết den của giấy có thể duợc
nh
ận dạng và xác dịnh vị trí trong quá trình sản xuất. Cần nhấn mạnh rằng việc kiểm tra
này này là ki
m
ắt nhân tạo sử dụng công nghệ CNN), xúc giác nhân tạo v.v…
Trong quân sự + Sử dụng trong các thiết bị không nguời lái + Các hệ nhận dạng
bám da m
ục tiêu di dộng: Có thể thực hiện hợp nhất các ảnh từ nhiều nguồn camera
khác nhau trong th
ời gian thực, phát hiện mục tiêu di dộng, nhận dạng da mục tiêu
(
MTT- Multi Target Tracking) [10] trong linh vực giám sát và an ninh. + Phân tích
d
ịa hình (Terrain Analysis) thời gian thực v.v…
4. Một số kết quả nghiên cứu về mạng noron tế bào tại Viện công nghệ thông tin thời
gian qua
Hon một nam qua Viện Công nghệ thông tin dã triển khai các nghiên cứu về công nghệ
mạng noron tế bào trên co sở hợp tác quốc tế qua duờng nghị dịnh thu với Viện nghiên
c
ứu máy tính và tự dộng hóa của Viện Hàn lâm khoa học Hungary (MTA SzTAKI). Với
s
ự hỗ trợ của Viện sỹ Roska Tomás
thuộc phòng thí nghiệm tính toán noron và tuong tự số của Viện SzTAKI và là nguời dồng
phát minh ra máy tính CNN v
ạn nang, Viện Công nghệ thông tin dã tiếp cận và làm chủ
duợc công nghệ CNN mới mẻ này. Các kết quả nghiên cứu dạt duợc thời gian qua tập
trung vào các v
ấn dề sau dây:
Về nghiên cứu co bản: + Nghiên cứu về co sở toán học của mạng noron tế bào CNN, cấu
trúc d
ộng lực học phi tuyến và dộ ổn dịnh toàn cục của mạng CNN. + Nghiên cứu các
m
ẫu ma trận trọng liên kết (A, B, z) phuong pháp thiết kế các mẫu cho mạng CNN +
5. Kết luận
Mạng noron tế bào dã mở ra một thời dại mới cho sự phát triển của khoa học tính toán.
Ðây là m
ột linh vực khoa học công nghệ mới mẻ dầy triển vọng cho da dạng ứng dụng .
Nghiên c
ứu về mạng noron tế bào cho ta một khả nang khám phá ra các co chế hoạt
d
ộng của các tổ chức trong co thể con nguời và các quy luật sự sống khác. Với sự phát
tri
ển của công nghệ, các ứng dụng của CNN sẽ giải quyết nhiều vấn dề mà các hệ máy
tính hi
ện hành chua giải quyết duợc. Với các tính nang vuợt trội một ngày không xa
công ngh
ệ CNN sẽ thay thế các ứng dụng của các máy tính hiện hành và thâm nhập vào
các h
ệ nhúng, hệ co diện tử tạo nên các sản phẩm và hệ thống thông minh phi thuờng
9
Tài liệu tham khảo [1] Leon O. Chua and Tamás Roska Cellular Neural Networks and
Visual computing: Founditions and Applications.
Cambridge University Press 2002. [2]
Chua, L.O.and L.Yang
Cellular Neural Networks: Theory IEEE Transactions on Circuits
and Systems, 35, pp.1257 – 72, 1988. [3] Chua, L.O and L.Yang
Cellular Neural
Networks: Applications
IEEE Transactions on Circuits and Systems, 35, pp.1273-90,
1988. [4] Tamás Roska
Cellular Wave Computers for Brain–like Spatial–Temporal
Sensory Computing
IEEE Circuits and Systems Magazine, pp. 5-19, Second Quarter
ạo Báo cáo tại Hội nghị Co diện tử toàn quốc lần thứ 3, Hà nội 10/2006. [12] Phạm Ðức
Long, Ph
ạm Thuợng CátỨng dụng công nghệ CNN (Cellular Neural Network) trong kiểm
tra nhanh du
ờng sắt. Báo cáo tại Hội nghị Co diện tử toàn quốc lần thứ 3, Hà nội
10/2006. [13] Leon O. Chua, Tamás Roska and Péter L. Venetianer
The CNN is
Universal as the Turing Machine
IEEE Trans.on Circuits and Systems: Fundamental
Theory and Applications Vol., 40, No.4, pp.289-291, 1993.
10
Cellular Neural Networks and Potential Applications in Mechatronics
Ph
ạm Thuong Cát Institute of Information Technology, Vietnam Academy of
Science and Technology
Abstract
:
E-mail:
Cellular Neural Network (CNN) is an emerging technology that is opening a new
world in computer science. CNN provides solutions to many areas which the present
day classical computers can not. We overview and discus this new technology in
five parts of this paper. In the first part, the concept, mathematical description of
CNN and development of CNN Universal Machine of flows is introduced. In the
second part of the paper some actual CNN research problems are overviewed
including the perspective areas related to mechatronics and nano technology. The
possible applications of CNN technology is reported in the part 3. Part 4 gives some
results of on going CNN project at the Institute of Information Technology of
Vietnam Academy of Science and Technology. Finally some conclusion remarks
and references are given in part 5.