Download miễn phí Tổng quan về mạng Neural Network trong phân tích ảnh
Mục Lục
TổNG QUAN. 3
GIớI THIệU VềMạNG NEURAL . 3
Giới thiệu . 3
Xấp xỉhàm số. 4
Hệthống ñộng (Dynamic) và chuỗi thời gian (Time Series). 4
Phân loại (Classification) và nhóm (Clustering) . 5
MÔ HÌNH TUYếN TÍNH (LINEAR MODELS) . 5
MÔ HÌNH TRựC GIÁC (PERCEPTRON) . 6
Thuật toán Huấn luyện. 7
FEEDFORWARD VÀ RADIAL BASIS FUNCTION NETWORKS. 7
Mạng neural Feedforward (FF) . 7
Mạng ña lớp . 9
Ví dụ . 9
Mạng Radial Basis Network (RBF). 12
Huấn luyện mạng Feedforward và Radial Basis Function . 14
Levenberg-Marquardt . 15
Gauss-Newton. 15
Giảm dốc nhất (Steepest Descent). 15
Lan truyền ngược (Backpropagation). 16
Ví dụminh so sánh các phương pháp huấn luyện khác nhau . 16
MạNG NEURAL ðộNG (DYNAMIC) . 19
MạNG HOPFIELD . 21
Mạng Hopfield rời rạc thời gian. 22
Mạng Hopfield Liên tục thời gian . 23
MạNG KHÔNG GIÁM SÁT (UNSUPERVISED)VÀ MạNG VECTOR LƯợNG TửHÓA (QUANTIZATION) (VQ) . 23
CÁC MINH HọA CƠBảN. 24
BÀI TOÁN PHÂN LOạI (CLASSIFICATION). 25
XấP XỉHÀM Số (FUNCTION APPROXIMATION) . 26
THAM KHảO: . 27
ñộ dài tùy ý. 1 cách thông thừơng x chỉ dữ liệu nhập, vector nhập, giá trị
hồi quy (regressor), hay vector mẫu (pattern vector). ðộ dài vector chỉ số
nút nhập của mạng.
o Dữ liệu xuất ñược ký hiệu là yˆ là xấp xỉ của giá trị ra lý tưởng. là 1 vector
giá trị thực có 1 hay nhiều phần tử chỉ số nút ra của mạng.
o Thông thường tập dữ liệu bao gồm nhiều cặp dữ liệu nhập-xuất. x và y
biểu diễn bởi ma trận với 1 vector nhập vector xuất ở mỗi dòng.
• mạng neural là 1 cấu trúc bao hàm các quan hệ các trọng số của neurons, hay các
ñơn vị (units) với các phép biến ñổi vô hướng không tuyến tính và tuyến tính.
Minh họa ví dụ về mạng neural 1 lớp ẩn với 3 nút nhập, x = {x1,x2,x3} và nút giá
trị lệch (unity bias) nối vào 2 neuron trong lớp ẩn. 2 giá trị ra từ lớp ẩn cùng với
giá trị lệch ñược ñưa vào 1 neuron ở lớp xuất tính ra giá trị xuất vô hướng yˆ .
Lớp chứa các neuron gọi là lớp ẩn vì giá trị xuất của nó không cần xuất ra trực
tiếp trong dữ liệu. các kiểu ñặt trưng của mạng neural ñược ñề cập trong phần
mạng Feedforward và Radial Basis Function.
Các mũi tên tượng trưng cho các tham số giá trị thực hay trọng số của mạng.
• 1 neuron là 1 cấu trúc ñể xử lý các nút nhập, bao gồm cả giá trị lệch, theo hướng
không tuyến tính, cho ra 1 giá trị xuất. ðồng thời, tất cả các nút nhập ñưa vào
neuron ñược gia tố thêm bởi các trọng số. sau ñó lấy tổng và ñưa vào hàm số
không tuyến tuyến gọi là hàm hoạt ñộng σ.
- 4 -
• Như minh họa ở hình trên, giá trị xuất của mạng dược tính như sau:
trong ñó các trọng số là 1 1 2 2
, , 1{ , , , }i j i jw b w b
• Eq (1) là 1 ánh xạ không tuyến tính x yˆ , ở dạng rút gọn, ánh xạ ñược viết:
Trong ñó θ là vector giá trị thực có các phần tử là các tham số (trọng số) của
mạng.
• Mục tiêu của việc huấn luyện mạng là tìm giá trị tham số θ thích hợp ñể với dữ
liệu nhập x bất kỳ có ra 1 giá trị yˆ xấp xỉ gần với y nhất. các thuật toán huấn
luyện sẽ lặp nhiều bước với vector tham số khởi tạo θ và ñược cập nhật tốt hợp
trong mỗi bước lặp.
• Trước khi mạng ñược chấp nhật, cần có bước kiểm nghiệm (validate). Nghĩa là
mạng sẽ ñược chạy thử với 1 số dữ liệu ñã biết. ðơn giản và tốt nhất là thử
nghiệm mạng với tập dữ liệu mà không có trong dữ liệu ñược huấn luyện và dữ
liệu này với dữ liệu huấn luyện ñược tạo ra trong cùng các ñiều kiện tương tự
nhau. Việc huấn luyện mạng thường thất bại trong bước kiểm nghiệm, trong
trường hợp này, ta phải chọn mô hình tốt hơn. Tuy nhiên, ñôi khi ta chỉ cần lặp lại
bước huấn luyện với giá trị tham số khởi tạo θ khác. Một khi mạng neural ñã
ñược kiểm nghiệm thành công, mạng có thể ñược ñưa vào sử dụng.
Xấp xỉ hàm số
• Khi dữ liệu nhập bắt nguồn từ 1 hàm số với các nút xuất giá trị thực trong 1
khoảng liên tục, mạng neural ñược xem như là sự xấp xỉ hàm số truyền thống. 1
ví dụ của bài toán xấp xỉ là nhiệt ñộ của 1 ñối tượng có thể ñược tính bằng ñộ bức
xạ. ví dụ thông thường khác là cỡ giày có thể ước lượng từ chiều cao của người
mang. 2 ví dụ này liên quan ñến mô hình mạng với 1 nút nhập vào 1 nút xuất. 1
mô hình mạnh hơn ở ví dụ 2 là dùng giới tính như nút nhập thứ 2 ñể ước lượng
chính xác hơn.
• Các hàm số thuần túy có thể ñược xấp xỉ bởi 2 kiểu mạng neural:
o Feedforward Neural Networks
o Radial Basis Function Networks
Hệ thống ñộng (Dynamic) và chuỗi thời gian (Time
Series)
• Dữ liệu vào phụ thuộc thời gian, cần ñến “bộ nhớ” (memory) nên ñược nói ñến
như là hệ thống ñộng.
- 5 -
• thông tin quá khứ ñược dùng ñể dự ñoán trạng thái tương lai.
• Ví dụ: dự ñoán giá cả; mô tải tốc ñộ máy dựa vào ñiện áp và tải trọng..
o Ví dụ 1: time-series không có dữ liệu nhập.
o Ví dụ 2: 2 dữ liệu nhập là ñiện áp và tải trọng.
• Mạng neural ñộng có thể dùng FF hay RBF và cần bộ nhớ cho thông tin quá khứ.
Phân loại (Classification) và nhóm (Clustering)
• Phân loại dữ liệu vào trong danh mục, lớp dựa trên tập các ñặt trưng riêng.
• Gọi là mạng phân loại (network classifier).
• Huấn luyện dùng dữ liệu vào từ các lớp khác nhau, dữ liệu ra là vectors chỉ ra
thuộc lớp nào.
• Dữ liệu ra thường là vector các lớp trong ñó 1 chỉ ra dữ liệu thuộc lớp và 0 cho tất
cả lớp còn lại.
• Các kiểu mạng thường dùng ñể giải bài toán phân loại:
o Perceptron
o Vector Quantization (VQ) Networks
o Feedforward Neural Networks
o Radial Basis Function Networks
o Hopfield Networks
Mô hình tuyến tính (Linear Models)
• Minh họa mô hình tuyến tính:
x1, x2, …, xn là các nút nhập, yˆ là nút xuất. mỗi mũi tên ñại diện trong số tương
ứng các nut.
- 6 -
• Biễu diễn bằng phương trình:
• Mô hình tuyến tính với nhiều nút xuất:
Mô hình trực giác (Perceptron)
• Là dạng ñơn giản nhất của mạng neural. Thường ñược dùng trong việc phân loại.
• Minh họa mô hình trực giác với các nút nhập x1, x2, …, xn và 1 nút xuất yˆ :
• nút xuất ñược tính bằng công thức:
trong ñó {w1, w2, …, wn} là trọng số của nút nhập, b là ñộ dốc (bias weigth). Mỗi
trọng số ñại diện bởi mũi tên trong hình trên.
Hàm UnitStep trả về 0 cho các giá trị nhỏ hơn 0, ngược lại trả về 1. Do ñó nút
nhập yˆ có giá trị 0 hay 1 tùy theo giá trị tổng trọng số. Cho nên mô hình trực
giác chỉ ra 2 lớp tương ứng 2 giá trị xuất.
• Trong quá trình huấn luyện, các trọng số (nút nhập và ñộ dốc) ñược ñiều chỉnh ñể
giá trị nhập ánh xạ chính xác ñến 2 lớp.
- 7 -
Thuật toán Huấn luyện
• Mô hình trực giác ñược biểu diễn bằng tham số bởi {w, b}. w là vector cột có ñộ
dài bằng chiều vector nhập x.
• Vector nhập x = {x1,x2,…,xn}, nút xuất ñược biểu diễn:
• Nếu x là ma trận với mỗi dòng là 1 vector thì yˆ là vector cột có giá trị tương ứng
cho mỗi dòng.
• {w, b} nhận ñược trong các bước lặp huấn luyện mạng với các cặp dữ liệu nhập –
xuất ñã xác ñịnh. Mỗi vector nhập là 1 dòng ma trận x, mỗi nút xuất là 1 dòng của
vector dòng yˆ .
• Cho N cập, việc huấn luyện mạng ñược ñịnh nghĩa như sau:
Trong ñó i là các bước lặp, η là ñộ lớn bước nhảy và εi=y- yˆ (x,wi,bi) là vector cột
N phần tử sai số tương ứng N dữ liệu mẫu trong tập huấn luyện. Phần tử của
vector sai số có thề là 1 trong 3 giá trị 0, -1, 1. Ở mỗi bước lặp i, 0 chỉ ra dữ liệu
mẫu phân loại chính xác, các giá trị còn lại là không chính xác.
• Việc huyến luyện sẽ dừng khi tất cả các trọng số {w,b} ñựơc cập nhật sao cho tất
cả dữ liệu mẫu ñều ñựơc phân loại chính xác hay bước lặp i tiến ñến giới hạn
imax.
• ðộ lớn bước nhảy η hay còn gọi là tốc ñộ học (learning rate) có giá trị mặc ñịnh:
mặc dù giá trị η càng lớn có thể tăng tốc ñộ học, tuy nhiên cũng có thể gây ra sự
dao ñộng làm có thể làm chậm sự hội tụ.
Feedforward và Radial Basis Function Networks
[introduction…]
Mạng neural Feedforward (FF)
• Phổ biến và ứng dụng rộng rãi nhất. ñược biết với tên gọi khác là m...
8k2Ka3yi6N5xJd0
