Download Đề tài Nghiên cứu về mạng Nơron miễn phí
MỤC LỤC
MỤC LỤC 1
CHƯƠNG 1: TỔNG QUAN MẠNG NƠRON NHÂN TẠO 2
1. Giới thiệu chung 2
2. Ý tưởng sinh học 2
3. Mô hình nơron nhân tạo cơ bản 4
4. Sử dụng mạng nơron nhân tạo 6
5. Thu thập dữ liệu cho mạng nơron nhân tạo 7
6. Perceptron nhiều lớp 8
6.1. Huấn luyện Perceptron nhiều lớp 9
6.2. Thuật toán backpropagation. 9
6.3. Học quá mức và tổng quát hóa 10
6.4. Chọn lựa dữ liệu 12
CHƯƠNG 2: MÔ HÌNH MẠNG NƠRON NHÂN TẠO 13
1. Mô hình nơron và cấu trúc mạng 13
1.1. Mô hình nơron 13
1.2. Cấu trúc mạng 15
2. Cấu trúc dữ liệu 16
3. Kiểu huấn luyện 17
4. Kết luận 17
CHƯƠNG 3: BACKPROPAGATION 18
1. Tổng quát 18
1.1. Cấu trúc 18
1.2. Huấn luyện mạng 21
2. Huấn luyện nhanh 23
2.1. Giải thuật tốc độ học thay đổi (TRAINDA,TRAINDX) 24
2.2. Giải thuật phục hồi mạng backpropagation (TRAINRP) 24
2.3. Giải thuật conjugate_ gradient 25
2.4. Các thuật toán quasi – newton 27
2.5. Giải thuật Levenberg_Marquardt giảm bộ nhớ (TRAINLM) 28
3. So sánh bộ nhớ và tốc độ 28
4. Cải thiện tính tổng quát hoá 29
4.1. Regularization 30
4.2. Early Stopping 31
5. Kết luận 32
CHƯƠNG 4: GIỚI THIỆU VỀ JOONE 34
1. Giới thiệu chung 34
2. Cấu trúc bên trong của JOONE 35
2.1. Khái niệm cơ bản 35
2.2. Quy tắc truyền tín hiệu 35
2.3. Các loại lớp nơron của JOONE 37
2.4. Các loại dây thần kinh 38
2.5. Monitor : điểm điều khiển trung tâm của mạng nơron 40
3. Tiến trình xử lý trong mạng nơron 40
4. Biểu đồ lớp của JOONE 42
PHỤ LỤC TÀI LIỆU THAM KHẢO 44
/tai-lieu/de-tai-ung-dung-tren-liketly-36167/
Để tải bản DOC Đầy Đủ thì Trả lời bài viết này, mình sẽ gửi Link download choTóm tắt nội dung:
ng hàm cơ sở, học quá mức không có khả năng xảy ra, cũng như sai số huấn luyện hay xác minh lại không rơi vào mức bão hòa.
Những vấn đề liên quan đến cực tiểu cục bộ, và những quyết định sử dụng quá kích thước của mạng, nghĩa là chúng ta phải chạy thử trên nhiều mạng khác nhau, có thể huấn luyện mỗi mạng vài lần (để tránh rơi vào trường hợp cực tiểu cục bộ sai số) và quan sát hiệu suất từng mạng. Điều quan trọng là quan sát sai số xác minh. Tuy nhiên, nên nhớ rằng nên mô phỏng mạng đơn giản hơn là mạng phức tạp, chúng ta cũng thể chọn mạng nhỏ hơn là mạng lớn có khả năng cải thiện sai số xác minh không đáng kể.
Vấn đề đối với kỹ thuật này về việc thí nghiệm lặp đi lặp lại là tập xác minh không thực sự đóng vai trò chọn lựa mạng, nghĩa là nó chỉ là một phần trong quá trình huấn luyện. Độ tin cậy của nó chỉ ở mức độ vừa phải – khi số lần thí nghiệm đủ, chúng ta có khả năng rơi vào trường hợp mạng thực hiện tốt trên tập xác minh. Để thêm độ tin cậy hiệu suất của mô hình cuối cùng thì trong thực tế thường sử dụng thêm một tập thứ ba – là tập kiểm tra. Mô hình cuối cùng được kiểm tra với tập dữ liệu kiểm tra để đảm bảo rằng kết quả của tập xác minh và huấn luyện là thật.
Tóm lại, việc thiết kế mạng (khi các biến ngõ vào đã được chọn) gồm các bước sau:
Chọn cấu hình ban đầu (thường một lớp ẩn có số nơron ẩn bằng nửa tổng số nơron ngõ vào và ngõ ra).
Thực hiện lặp đi lặp lại số thí nghiệm của mỗi cấu hình, giữ lại mạng tốt nhất (thường dựa trên sai số xác minh). Thí nghiệm nhiều lần trên mỗi cấu hình mạng để tránh rơi vào sai số cục bộ.
Trong mỗi lần thí nghiệm, nếu xảy ra việc học chưa đủ (mạng không đạt được mức hiệu suất chấp nhận) thì thử tăng số nơron trong lớp ẩn. Nếu không hiệu quả, thì thêm một lớp ẩn.
Nếu xảy ra học quá mức (sai số xác minh bắt đầu tăng lên) thử bỏ bớt một vài nơron ẩn (và có thể bỏ lớp ẩn).
6.4. Chọn lựa dữ liệu
Các bước mô tả trên đều dựa trên một giả định, đó là dữ liệu huấn luyện, xác minh và kiểm tra phải thay mặt cho mô hình cơ sở (hơn nữa, ba tập này phải độc lập). Nếu dữ liệu huấn luyện không đặc trưng thì giá trị mô hình chỉ là một sự dàn xếp, xấu nhất có thể không sử dụng được.
Tương lai không phải là quá khứ. Dữ liệu huấn luyện đặc trưng cho những gì đã xảy ra. Nếu môi trường thay đổi, mối quan hệ nơron trong mạng không còn phù hợp nữa.
Tất cả các trường hợp phải được khái quát. Mạng nơron nhân tạo chỉ có thể học từ những mẫu được đưa vào. Do đó mạng nơron nhân tạo không thể có một quyết định đúng khi nơron chưa được huấn luyện.
Mạng chỉ có thể học theo cách dễ nhất mà nó có thể.
mỗi epoch tốt hơn). Backpropagation có tính chất tốt như nhau nếu dữ liệu rất ít.
CHƯƠNG 2: MÔ HÌNH MẠNG NƠRON NHÂN TẠO
Mô hình mạng Nơron tổng quát có dạng như sau:
Ngày nay mạng Nơron có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng trong nhiều lĩnh vực như nhận dạng, định dạng, phân loại, xử lý tín hiệu, hình ảnh v.v…
1. Mô hình nơron và cấu trúc mạng
1.1. Mô hình nơron
Cấu trúc một Nơron
Ngõ vào một nơron có thể là đại lượng vô hướng hay có hướng, đại lượng này được nhân với trọng số tương ứng để đưa vào nơron, hay có thể cộng thêm ngưỡng (bias), thường bằng 1. Dưới đây là mô hình một nơron với ngõ vào vô hướng p không có ngưỡng b (hình bên trái) và có ngưỡng b (hình bên phải). Ngõ vào vô hướng p được nhân với trọng số vô hướng w tạo thành wp, đối số wp (hình bên trái) qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp). Hình bên phải là nơron có ngưỡng b, giá trị b được cộng với wp rồi qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp+b). Có thể điều chỉnh những thông số của nơron như trọng số và ngưỡng (w và b) để đạt được yêu cầu mong muốn nghĩa là “huấn luyện” mạng.
Hàm truyền
Có rất nhiều hàm truyền áp dụng trong mạng nơron nhân tạo, trong đó ba hàm thường sử dụng nhất là Hard Limit, Linear, Log-Sigmoid.
Tổng quát với một hàm truyền có đầu vào là một hay một nhóm vector thì đầu ra là
a = f ( p * w + b ).
Với a: đầu ra
p: đầu vào
w: trọng số
b: ngưỡng
f: hàm truyền
Vậy một ngõ vào với các hàm truyền khác nhau sẽ cho các kết quả khác nhau. Để có giải pháp tối ưu thì cần có kinh nghiệm sử dụng các hàm truyền hay phải tốn một khoảng thời gian để thử nghiệm hàm truyền.
Nơron với Vector nhập
Một nơron được cho trên hình vẽ sau với vector nhập p = [p1 , p2 , ……pR ], trọng số W = w1,1, w1,2,……w1,R, ngưỡng b và hàm truyền f . Tổng đối số và ngưỡng tạo ở ngõ ra n là
n = w1,1p1 + w1,2,p2 + ……w1,R pR + b
hay n = W*p + b
Nếu có nhiều nơron thì cách biểu diễn trên không hiệu quả, do đó có thể định nghĩa một lớp gồm nhiều nơron như sau.
1.2. Cấu trúc mạng
Hai hay nhiều nơron kết hợp thành một lớp, và một mạng riêng biệt có thể chứa một hay nhiều lớp nơron.
Một lớp nơron
Trong hình dưới mô tả một lớp nơron với: R: số phần tử của vectơ đầu vào
S: số nơron trong lớp
a: vector ngõ ra của lớp nơron
Ma trận trọng số W:
Một lớp mạng được vẽ gọn như sau:
Mạng nhiều lớp nơron
Mạng có nhiều lớp, mỗi lớp có một ma trận W, một ngưỡng b và một vectơ ngõ ra a. Thông thường giá trị ra của một lớp là giá trị vào của lớp tiếp theo. Mỗi lớp trong mạng đảm nhiệm vai trò khác nhau, lớp cho kết quả ở đầu ra của mạng được gọi là lớp ngõ ra _ output layer, tất cả các lớp còn lại được gọi là lớp ẩn _ hidden layers. Mạng đa lớp có khả năng xử lý rất lớn. Chẳng hạn như một mạng có hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể được huấn luyện đến một hàm gần đúng với một số kết nối cố định.
2. Cấu trúc dữ liệu
Cấu trúc định dạng của dữ liệu vào ảnh hưởng đến việc mô phỏng của mạng. Có hai loại mạng static network và dynamic network. Hai kiểu vector đầu vào cơ bản là kiểu xảy ra đồng thời (concurrently) và kiểu xảy ra liên tục theo thời gian (sequentially).
Kiểu đầu vào xảy ra đồng thời được mô phỏng trong mạng tĩnh (không có hồi tiếp hay trễ), thứ tự của các vector đầu vào không quan trọng và chúng không ảnh hưởng lẫn nhau.
Kiểu đầu vào xảy ra liên tục được mô phỏng trong mạng dynamic. Thứ tự các giá trị đầu vào rất quan trọng. Trong trường hợp này, giá trị đầu ra thu được là do giá trị vào hiện tại và giá trị vào trước đó. Nếu thay đổi thứ tự của dữ liệu vào thì sẽ làm thay đổi dữ liệu ra.
3. Kiểu huấn luyện
Trong phần này mô tả hai kiểu huấn luyện khác nhau.
Incremental training: trọng số và ngưỡng của mạng được cập nhập mỗi khi có dữ liệu vào mạng. Kiểu này ứng dụng trong cả hai mạng tĩnh và động, tuy nhiên thường dùng trong mạng động nhiều hơn, như là những bộ lọc thích ứng.
Batch training: trọng số và ngưỡng của mạng chỉ được cập nhập sau khi tất cả dữ liệu đã vào mạng, dùng trong cả hai mạng tĩnh và động.
4. Kết luận
Đầu vào của một nơron gồm ngưỡng b và tổng cá...
