NGHIÊN CỨU THIẾT KẾ MẠNG NORON
TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN
TỬ ĐIỆN TỬ THÔNG THƢỜNG LUẬN VĂN THẠC SĨ
Chuyên ngành : Tự động hoá
Mã số:….

TÓM TẮT LUẬN VĂN THẠC SĨ Thái Nguyên, năm 2013 Mục lục
MỞ ĐẦU 1
1. Tính cấp thiết của đề tài: 1
2. Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài. 1
a. Ý nghĩa khoa học: 1
b. Ý nghĩa thực tiễn: 1

2.2.3.2 Chip khớp thần kinh: 4
2.2.3.3 Chip thần kinh đầu vào rời rạc: 5
2.2.4 Đo lƣờng chip: 5
2.2.4.1 Chip noron: 5
2.2.4.2 Chip khớp thần kinh: 5
2.2.4.3 Chip đa hợp: 6 2.3 Kết luận chƣơng 2: 6
CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC 6
3.1 Thuật toán lan truyền ngƣợc: 6
3.1.1 Các khái niệm cơ bản: 6
3.1.2 Những thay đổi thuật toán: 7
3.2 Sự sắp đặt các thuật toán trên VLSI: 8
3.3 Thiết kế chip: 9
3.3.1 Chip khớp thần kinh: 9
3.3.2 Chip noron: 9
3.4 Các phép đo chip: 10
3.4.1 Chip khớp thần kinh: 10
3.4.2 Chip noron: 10
3.4.3 Cải thiện tính toán đạo hàm: 10
3.5 Thiết kế hệ thống: 10
3.5.1 Liên kết ASIC: 11
3.5.2 Phần cứng cập nhật trọng số: 11
3.6 Lan truyền ngƣợc không tuyến tính: 11
3.6.1 Đạo hàm của thuật toán: 11
3.6.2 Thực hiện phần cứng: 12
3.7 Kết luận chƣơng 3: 13
KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO 13
Kết luận: 13

Thiết kế đƣợc sơ đồ của một mạng nơron truyền thẳng nhiều lớp.
3. Mục đích nghiên cứu:
- Nghiên cứu thực hiện mạng nơron nhân tạo trong phần cứng dùng thiết bị tƣơng tự.
- Thiết kế đƣợc mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thƣờng.
4. Phƣơng pháp nghiên cứu:
- Nghiên cứu sách, giáo trình, bài báo, luận văn, các nghiên cứu khoa học khác và các tài liệu liên quan.
- Tiến hành thực hiện thiết kế đƣợc một sơ đồ mạch cụ thể.
5. Kết cấu của luận văn:
Ngoài phần mở đầu, kết luận, các danh mục và tài liệu tham khảo, lận văn đƣợc kết cấu thành 3
chƣơng:
Chƣơng 1: Tổng quan về mạng noron nhân tạo
Chƣơng 2: Lý thuyết về thiết kế phần cứng mạng noron nhân tạo
Chƣơng 3: Thực hiện on-chip lan truyền ngƣợc

CHƢƠNG 1: TỔNG QUAN VỀ MẠNG NORON NHÂN TẠO
1.1 Mô hình nơron nhân tạo:
Dựa vào cấu trúc của noron sinh học đã có nhiều mô hình noron nhân tạo đƣợc đƣa ra; mô hình noron
nhân tạo dạng M-P, do Culloch và Pitts đề xuất năm 1943 có dạng nhƣ sau:
2

Hình 1.1: Mô hình phần tử xử lý thứ i (mô hình một noron)
1.2 Cấu trúc mạng nơron:
Mạng noron bao gồm sự liên kết của nhiều noron. Đầu ra của mỗi noron kết nối với noron khác thông
qua các trọng số, hoặc tự phản hồi trở về đầu vào của chính nó.

thực hiện trọng phần cứng tƣơng tự nên có thể thực hiện chúng trên phần cứng tƣơng tự.


a(.)
x
1
x
i
x
m-1
w
i1
w
ij
w
i(m-1)
w
im
=b
i
x
m
=-1
v
i
Phần tử xử lý thứ i

y
i
3

2.2.2.1 Cấu trúc:
Cấu trúc đƣợc lựa chọn là cấu trúc cho một hệ thống nhỏ, mức năng lƣợng thấp. Việc xây dựng các
khối thành phần cho hệ thống (các noron và khớp thần kinh) là một thƣ viện các khối để có thể chế tạo nhƣ
một CMOS.
2.2.2.2 Sự phát tín hiệu:
Các tín hiệu khác nhau đƣợc truyền thì có liên quan chặt chẽ đến các nhu cầu của bộ nhân ma trận và
khớp thần kinh, và phải đảm bảo yêu cầu:
• Đầu ra từ một noron (đầu vào noron) phải dễ dàng phân phối cho một cột của các khớp thần kinh
• Đầu ra từ một hàng của các khớp thần kinh phải dễ dàng đƣợc tích lũy.
Sử dụng khớp thân fkinh với đầu vào điện áp và đầu ra là dòng điện thì đáp ứng đƣợc yêu cầu.

Hình 2.4: Một khớp thần kinh điện đặc biệt.
2.2.2.3 Bộ nhớ:
Lƣu giữ các tín hiệu tƣơng tự thì không phải là đơn giản; không chính xác, hiệu quả bộ nhớ điện tử
tƣơng tự vẫn tồn tại ngày nay. Do đó, sự lƣu trữ của khớp thần kinh đầy đủ là một liên quan chính trong việc
nghiên cứu ANNs tƣơng tự.
Lƣu trữ điện dung là một phƣơng pháp để lƣu trữ tín hiệu tƣơng tự. Tín hiệu tƣơng tự là tín hiệu điện
đƣợc tích lũy trên tự điện và đọc giá trị này bằng cách sử dụng các cổng ghép trở kháng cao của MOSFET.

Hình 2.5: Lưu trữ điện dung.
4

2.2.2.4 Mạch nhân:
Mạch nhân khớp thần kinh có những đặc điểm chính sau đây hoặc có thể là các đặc điểm tốt hơn:
• Kích thƣớc nhỏ
• Đầu ra dòng điện
• Đầu vào điện áp. Một trong những cái cần phải có là điện trở kháng đầu vào rất cao (nhƣ một cổng
MOS) do đó điện dung trên nút này có thể đƣợc sử dụng cho lƣu trữ khớp thần kinh bền.
Chúng tôi lựa chọn mạch nhân điện trở Mos là một mạch nhân tuyến tính.


Hình 2.15: Noron tang hypebon.
2.2.3.2 Chip khớp thần kinh:
Chíp khớp thần kinh bao gồm một số mạch nhân kết quả bên trong (IPM) nhân vector đầu vào (v
z*
)
với một hàng của ma trận lƣu trữ (V
wk
*). Một số mạch nhân kết quả bên trong đƣợc chỉ ra trên hình 2.16. Sự
5

khác biệt của các đầu ra MRC khớp thần kinh tổng quát thì đƣợc thể hiện bởi khuếch đại thuật toán với mạch
phản hồi MRC, nó đảm bảo yêu cầu ngắn mạch ảo của đầu ra khớp thần kinh. Điện áp kết quả thì đƣợc biến
đổi bởi độ dẫn điện tới dòng điện đầu ra (i
sk
)

Hình 2.16: Mạch nhân kết quả bên trong.
Sơ đồ mạch của một khớp thần kinh đơn đƣợc chỉ ra trên hình 2.17. Số lƣợng khớp thần kinh thì đƣợc
lƣu trữ trong một kiểu khác biệt trên tụ điện ở mỗi điểm khớp; theo cách này sự bù nhờ điện tích đƣa vào
đƣợc loại bỏ, cũng nhƣ điện tích rò rỉ nhờ diot kênh dẫn đƣợc định thiên nghịch đảo của thiết bị chuyển đổi
lấy mẫu; với điều kiện các thành phần phù hợp. Đảm bảo truy cập ngẫu nhiên khớp thần kinh, các thiết bị

tƣơng thích chip noron và chíp khớp thần kinh. Phản ứng bƣớc nhảy của sự kết hợp noron-khớp thần kinh
đƣợc chỉ ra trên hình 2.22.

Hình 2.21: Đo lường đặc điểm chuyển đổi
noron-khớp thần kinh.
Hình 2.22: Đo lương phản ứng bước nhảy
noron-khớp thần kinh.
2.3 Kết luận chƣơng 2:
Trong chƣơng này đã đƣa ra những lý thuyết để thiết kế một mạng noron nhân tạo VLSI tƣơng tự một
lớp. Để xác định noron thứ tự đầu tiên đƣợc sử dụng bằng điện áp và dòng điện liên tục cho tín hiệu đã đƣợc
lựa chọn và một noron định vị cấu trúc nhiều lớp trên một chip và khớp thần kinh trên chip.
Các khối thành phần của một mạng noron: bộ nhớ, mạch nhân và ngƣơng đã đƣợc nghiên cứu chi tiết.
Bộ nhớ có thể sử dụng bộ nhớ lƣu trữ điện đơn giản, Ram kỹ thuật số, sử dụng lƣu trữ kỹ thuật số kết hợp
với mạch điều chỉnh tƣơng tự. Mạch nhân chì có thể sử dụng mạch nhân bốn góc phần tƣ hoặc mạch nhân
MRC gọn nhẹ. Hàm chuyển đổi sử dụng hàm chức năng hypebol không hạn chế khai triển luật học phần
cứng. Cuối cùng là yêu cầu loại bỏ các thông số quá trình trong hệ thống thực.

CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC
Trong chƣơng này chúng tôi sẽ nghiên cứu đƣa luật học lan truyền ngƣợc trên bộ chip ANN tƣơng tự
bằng cách sử dụng một đƣa thêm vào lƣợng nhỏ phần cứng.
3.1 Thuật toán lan truyền ngƣợc:

w ( ) w ( 1) ( ) ( )
l l l l
kj mtm kj k j
t t t z t
 
    
(3.6)
 Giá trị của hàm chuyển: Sử dụng bình phƣơng giá trị hàm chuyển điều khiển sai lệch trọng số
l
j

trong (3.3). Bằng cách sử dụng một hàm chuyển đổi là một sigmoid đặc biệt, những sai lệch trọng số này
sẽ giảm về 0 khi đầu vào mạng noron
l
j
s
thì lớn về số lƣợng; do đó làm bằng phẳng sai lệch noron lớn
l
j

,
không thay đổi trọng số sẽ diễn ra. Vấn đề này có thể loại trừ bằng cách sử dụng hàm chuyển giá trị entropi
hoặc sự nhiễu loạn Fahlmann. Kết luận cuối cùng trong sai lệch trọng số tiếp theo:

( ) ( ( ( )) ) ( )
l l l
j j F j
t g s t t
  


y y y z z z   

(3.8)

Trong đó:
ll
k


thì là chỉ tiêu luật học lớp l.
ll
k
MM
là số thứ tự đầu vào lớp l và

t
là độ dốc
hàm chuyển chức năng noron. Có thể sử dụng:

l
k
l
k
M



(3.9)
 Luật học hàng loạt: thực hiện giảm độ dốc trọng số thì đƣợc cập nhật duy nhất sau mỗi giai đoạn:



3.2 Sự sắp đặt các thuật toán trên VLSI:
Sơ đồ khối của khớp thần kinh và noron mở rộng có thể xem trên hình 3.1 và 3.2 tƣơng ứng. Trên
khớp thần kinh cũng bao gồm phần cứng để tính toán thay đổi trọng số,
w
l
kj

phù hợp với (3.4). Các khớp
thần kinh mở rộng có các đầu vào điện áp và đầu ra dòng điện cũng giống nhƣ khớp thần kinh nguyên bản.

Hình 3.1: Sơ đồ mạch khớp thần kinh lan
truyền ngƣợc.
Hình 3.2: Sơ đồ mạch noron lan truyền
ngƣợc.
 Tiếp cận phần cứng hiệu quả:
Cấu trúc trong hình 3.1 có hai nhƣợc điểm chính: (i) Đối với một khu vực silicon xác định, số lƣợng
các khớp thần kinh đƣợc giảm so với số lƣợng các khớp thần kinh trong một hệ thống chê độ thu hồi, với ba
mạch nhân đƣợc sử dụng thay thế cho một mạch. Ngoài ra, trong hầu hết chế độ thu hồi phần cứng khớp thần
kinh ở trạng thái không hoạt động, đó tất nhiên là điều không mong muốn. (ii) Số lƣợng dây dẫn giữa các
chíp khớp thần kinh và noron thì đƣợc tăng gấp đôi so với một hệ thống chế độ gọi lại. Cả hai bất lợi nghiêm
trọng này có thể hạn chế các ứng dụng của mạng noron thích nghi, nếu kích thƣớc vật lý của nó là quan
trọng. May mắn mạch thay thế có thể vƣợt qua đƣợc những bất lợi này. Hình 3.6: Chip khớp thần kinh thế hệ thứ hai.
3.3.2 Chip noron:
Sơ đồ của một noron tang hypebol thế hệ thứ hai đƣợc chỉ ra trên hình 3.7. Mạch gƣơng dòng điện
đƣợc thêm vào sẽ chắc chắn gây ra sự gia tăng bù đầu ra noron.
Hình 3.7: Noron tang hypebol thế hệ thứ hai. Sơ đồ khối của noron lan truyền ngƣợc đƣợc thấy trong hình 3.8.


Hình 3.20: Tính gần đúng đạo hàm với tỷ số vi sai. 3.5 Thiết kế hệ thống:
Hầu hết các phần cứng cho một ANN với on-
chip lan truyền ngƣợc thì bao gồm trên bộ chip lan truyền ngƣợc. Đối với một hệ thống hoàn chỉnh, thêm vào
một vài ứng dụng cần thiết. Đó là:
 Một bộ nhớ lƣu trữ trọng số kỹ thuật số.
 Hầu hết các trình tự nhân rộng phần cứng O(1), ví dụ các chuyển đổi D/A và A/D để truy cập bộ nhớ
lƣu trữ, và một số phần cứng cập nhật trọng số. Cũng bao gồm:
 Một máy tự động hữu hạn để kiểm soát hệ thống (làm mới trọng số, các đầu vào ứng dụng, chƣơng
trình điều khiển luật học )
11

 Môi trƣờng trong đó để đặt các ANN
3.5.1 Liên kết ASIC:
Sử dụng chip khớp thần kinh 16x16 đơn giản, số lƣợng chíp khớp thần kinh thì giảm xuống, kết nối
với nhau (khi hệ thống hoạt động trong chế độ lan truyền ngƣợc) nhƣ chỉ ra trong hình 3.21 (chip khớp thần
kinh thì đƣợc rút ra có kiến trúc nhƣ hình 1 để cho thuận tiện)
Hình 3.21: Cấu trúc ANN lan truyền ngược.

3.5.2 Phần cứng cập nhật trọng số:
Giá trị bù và độ phân giải trọng số trong các hệ thống VLSI tƣơng tự hạn chế tỷ lệ học ở một phạm vi
cao hơn so với trong phần mềm mô phỏng.

cũng bằng không)
3.6 Lan truyền ngƣợc không tuyến tính:
Một trong những mối quan tâm lớn nhất khi thực hiện giảm độ dốc giống nhƣ các thuật học trong phần
cứng là các tính toán của đạo hàm noron. Nhiều cách tiếp cận khác nhau để làm gần đúng giá trị đạo hàm đã
đƣợc đề xuất trong luận văn: tỉ số chênh lệch (tính toán địa phƣơng hoặc trên toàn bộ) hoặc các phƣơng pháp
gần đúng khác, nhiễu loạn để làm giảm lƣợng bù liên quan đến lƣợng sai lệch, cũng nhƣ triển khai thực hiện
phần lớn bỏ qua đạo hàm
3.6.1 Đạo hàm của thuật toán:
Đạo hàm của thuật toán lan truyền ngƣợc không tuyến tính trong khuân khổ của lan truyền ngƣợc lặp
lại có thể đƣợc tìm thấy trong Hertz. Trong trƣờng hợp truyền thẳng, chúng tôi nhớ lại các quy tắc cập nhật
12

trọng số (3.3) trong đó xác định thay đổi trọng số:

( ) ( ) ( ) '( ( )) ( ) ( )
= '( ( )) ( ) ( )
l l l l l l
kj k j k k j
l l l
N k k j
N
w t t z t g s t t z t
g s t t z t
  



  
(3.13)
Trong đó chúng tôi gọi N giá trị trong miền NLBP. Bây giờ, ý tƣởng cơ bản trong lan truyền ngƣợc

N
t g s t t g s t





  


(3.15)
Trong đó
()
l
Nk
t

là các sai lệch trọng số NLBP, phƣơng trình thay đổi trọng số NLBP có dạng giống nhƣ
phƣơng trình lan truyền ngƣợc ban đầu:

w ( ) ( ) ( )
l l l
kj Nk j
t t z t


(3.16)
Khi giá trị trong miền NLBP
N


Hình 3.24: Noron lan truyền ngược phi tuyến trong thời gian thực.
Noron NLBP thời gian rời rạc: Nhƣ hình dạng thực tế của hàm kích hoạt noron thì không thích hợp
cho thực hiện lan truyền ngƣợc không tuyên tính, không cần thiết phải thực hiện trên các cặp chênh lệch.
Một cách tiếp cận tốt hơn là sử dụng các mạch vốn có (các đầu vào dòng điện và các đầu ra điện áp là cần
thiết). Ngoài ra, nhƣ các chức năng tƣơng tự đƣợc sử dụng để tính toán kích hoạt noron và các sai lệch
13

noron, sẽ là thích hợp hơn để sử dụng cùng một phần cứng cho những tính toán, điều này giúp loại bỏ sự cần
thiết cho các thành phần phù hợp. Điều này là có thể nếu hệ thống không cần thiết để thực hiện chức năng
trong thời gian liên tục, mặc dù đầu ra sẽ phải đƣợc lấy mẫu.
Nhƣ chỉ ra trên hình 3.25 là sơ đồ mạch đơn giản nhƣ của một noron thời gian rời rạc điều này sử dụng
lại các khối hàm kích hoạt và nó có dòng điện đầu vào/điện áp ra.
Hình 3.25: Noron lan truyền ngược không tuyến tính thời gian rời rạc.
3.7 Kết luận chƣơng 3:
Chƣơng này nghiên cứu lý thuyết thiết kế bộ chip ANN ghép liên tầng, bao gồm luật học lan truyền
ngƣợc. Đƣa ra các thuật học cơ bản đã đƣợc và khả năng áp dụng các thay đổi thuật toán phổ biến cho việc
thực hiện VLSI tƣơng tự. Ứng dụng cụ thể cho bộ chip lam truyền ngƣợc với những đặc điểm nhƣ trọng số
đƣợc lƣu trữ trọng một Ram kỹ thuật số, có thể biết đƣợc sự thay đổi trọng số thông qua sử dụng phần cứng
kỹ thuật số rời rạc.
Nghiên cứu về thuật toán lan truyền ngƣợc không tuyến tính, không cần tính toán đạo hàm noron. Đề
xuất các noron khác nhƣ noron lan truyền ngƣợc phi tuyến thời gian liên tục và thời gian rời rạc. Đƣa ra các
mạch ngƣỡng thay đổi trọng số, xung lƣợng và sự suy giảm trọng số trong hệ thống.

KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO