MỤC LỤC
LỜI NÓI ĐẦU ...................................................................................................................... 3
Chương 1: NGHIÊN CỨU CHUNG VỀ BÀI TOÁN DỰ BÁO THỜI TIẾT................. 5
1.1.
Mở đầu.................................................................................................................... 5
1.2.
Quy trình thực hiện dự báo................................................................................... 6
1.3.
Phân loại các phương pháp dự báo........................................................................ 9
1.3.1.
Phương pháp ngoại suy.................................................................................. 9
1.3.2.
Mô hình ứng dụng mạng nơron ................................................................... 11
1.3.3.
Phương pháp dựa luật................................................................................... 11
1.3.4.
Mô hình kinh tế lượng.................................................................................. 11
Phương pháp dự báo sử dụng văn bản......................................................... 14
1.4.6.
Phương pháp Synôp ..................................................................................... 15
1.4.7.
Phương pháp tổng hợp ................................................................................. 15
1.4.8.
Phương pháp số trị........................................................................................ 15
1.4.9.
Phương pháp thống kê.................................................................................. 16
1.5.
Phương pháp giải với mạng nơron nhân tạo ....................................................... 16
1.6.
Đánh giá dự báo.................................................................................................... 19
1.7.
Kết luận................................................................................................................. 21
2.5.
Mạng lan truyền ngược .................................................................................... 33
2.5.1. Cấu trúc mạng............................................................................................... 33
2.5.2. Thuật toán...................................................................................................... 35
2.5.3. Ứng dụng của mạng nơron nhân tạo .................................................................... 40
Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM............................................................... 43
3.1.
Mô tả bài toán....................................................................................................... 43
3.2.1. Khởi tạo trọng số............................................................................................... 47
3.2.2. Hằng số học....................................................................................................... 48
3.2.3. Số lượng nơron lớp ẩn....................................................................................... 49
3.2.4. Cách thức cập nhật trọng số.............................................................................. 49
3.2.5. Vấn đề xác định lỗi............................................................................................ 50
3.2.6. Mẫu vào............................................................................................................. 50
3.3. Kết quả thực nghiệm ................................................................................................ 50
3.3.1. Lựa chọn công cụ phát triển.............................................................................. 50
3.3.2. Cấu trúc chương trình ....................................................................................... 51
KẾT LUẬN......................................................................................................................... 59
TÀI LIỆU THAM KHẢO.................................................................................................. 60
PHỤ LỤC.......................................................................................................................... 601
2
LỜI NÓI ĐẦU
Dự báo thời tiết ra đời từ xa xưa, từ khi có sự xuất hiện của con người và càng
đang được áp dụng trong nhiều lĩnh vực trong đó có thủy văn từ nhiều năm trước và đã
thu được nhiều thành tựu.
Với những ưu thế vượt trội của việc ứng dụng mạng nơron nhân tạo như tính
mềm dẻo, khả năng dung thứ lỗi cao, giải quyết được các vấn đề phi tuyến thích hợp
trong việc xử lý dữ liệu có tính biến động lớn,… Đó là những lý do để em chọn đề tài:
Mạng nơron nhân tạo và ứng dụng trong dự báo thời tiết, đề tài mong muốn ứng dụng
phương pháp này để đóng góp những cải tiến mới trong công tác dự báo thời tiết.
Bố cục đề tài:
Chương 1: Nghiên cứu chung về bài toán dự báo thời tiết.
Chương 2: Lý thuyết và ứng dụng của mạng nơron nhân tạo.
Chương 3: Chương trình thử nghiệm dự báo thời tiết ứng dụng của mạng nơron
lan truyền ngược.
Mặc dù đã cố gắng song đề tài khó tránh khỏi những thiếu sót. Em rất mong nhận
được những ý kiến đóng góp của Thầy Cô giáo cũng như của các bạn sinh viên để em có
thể hoàn thiện hơn đề tài của mình.
Em xin chân thành cảm ơn sự giúp đỡ của các thầy cô trong khoa, sự ủng hộ của gia
đình bạn bè và đặc biệt là sự hướng dẫn, chỉ bảo tận tình của Cô giáo - Thạc sĩ Nguyễn
Hiền Trinh đã giúp em trong quá trình thực tập để hoàn thành đề tài này.
Em xin chân thành cảm ơn!
Sinh viên
Nguyễn Thị Oanh
4
Chương 1
NGHIÊN CỨU CHUNG VỀ BÀI TOÁN DỰ BÁO THỜI TIẾT
1.1.
lực nghiên cứu để tìm cách nâng cao chất lượng công tác dự báo thời tiết nhưng cho đến
nay người ta vẫn chưa khẳng định được chính xác thời tiết của ngày hôm sau sẽ ra sao.
Dự báo thời tiết cần có một hệ thống thu nhập và trao đổi số liệu trên toàn cầu cùng
với các công cụ để xử lý làm căn cứ cho việc dự báo. Hệ thống quan trắc là cơ sở đầu tiên
của hệ thống dự báo thời tiết. Bên cạnh đó, hệ thống thông tin liên lạc có vai trò cực kỳ
quan trọng. Khâu cuối cùng trong hệ thống dự báo thời tiết là chỉnh lý các số liệu đã thu
nhập và sử dụng các phương pháp khác nhau đưa ra kết quả dự báo.
Như vậy, các phương pháp dự báo thời tiết được đề cập đến trong đề tài chỉ những
mắt xích cuối cùng trong hệ thống dự báo thời tiết.
1.2.Quy trình thực hiện dự báo
Dự báo là một quá trình phức tạp nhưng về cơ bản có thể thực hiện theo các bước sau:
1. Xác định mục tiêu
2. Xác định dự báo cái gì
3. Xác định khía cạnh thời gian
4. Xem xét dữ liệu
5. Lựa chọn mô hình
Mô hình không
thích hợp
6. Đánh giá mô hình
Mô hình thích hợp
7. Chuẩn bị dự báo
8. Trình bày kết quả dự báo
9. Theo dõi kết quả dự báo
Hình 1.1: Quy trình dự báo
6
liệu có thể được lấy từ các trạm khí tượng, vệ tinh, rađa, tầu thời tiết, máy bay thời tiết, các
7
phương tiện truyền thông,… Tùy theo loại dữ liệu mà có cách phân loại và xử lý phù hợp,
ví dụ như dữ liệu ảnh, dữ liệu âm thanh hay số liệu có đơn vị đo khác nhau thì sẽ khác
nhau. Trong đề tài tác giả sử dụng dữ liệu được quy về các đơn vị thống nhất: nhiệt độ °C,
độ ẩm: %, mưa: %, tốc độ gió: km/h, hướng gió: °, mây: % (tùy theo nhiều mây hay ít
mây).
Bước 5: Lựa chọn mô hình
Việc quyết định xem mô hình dự báo nào là thích hợp liên quan đến nhiều yếu tố dữ
liệu đầu vào, các yêu cầu về thời gian, yêu cầu và kết quả đầu ra, tài nguyên sẵn có,…
Quy trình lựa chọn mô hình dự báo có thể được lựa chọn dựa trên một số chiến lược dự
báo như sau:
Tiền định: Dựa trên mối quan hệ mật thiết giữa hiện tại và tương lai. Các mô hình
chuỗi thời gian thích hợp với chiến lược này.
1.
Triệu chứng: Dựa trên những dấu hiệu hiện tại để dự báo cho tương lai.
2.
Hệ thống: Dựa trên ý tưởng cho rằng xu hướng phát triển trong tương lai sẽ tuân
thủ theo một quy tắc nào đó, chẳng hạn các lý thuyết kinh tế - xã hội.
Đề tài này sử dụng chiến lược dự báo tiền định, với các điều kiện hiện tại của nước ta
như: cơ sở hạ tầng còn hạn chế, trang bị chưa đủ hiện đại, hệ thống quan trắc và thông tin
liên lạc chưa đáp ứng được đầy đủ các yêu cầu của công tác dự báo, phương pháp Synôp
thường dùng chưa mang lại độ chính xác dự báo cao,… phương pháp ứng dụng mạng
1.3.
Phân loại các phương pháp dự báo
Dự báo bao gồm các phương pháp dựa trên đánh giá và các phương pháp dựa trên
thống kê. Các phương pháp và các mối quan hệ giữa các phương pháp như sau:
1.3.1. Phương pháp ngoại suy
Phương pháp ngoại suy là một trong những phương pháp đơn giản để dự báo.
Phương pháp ngoại suy là phương pháp sử dụng các số liệu thống kê trong quá khứ làm
đầu vào. Trong phương pháp ngoại suy chỉ có số liệu quá khứ của đối tượng cần dự báo
là cần thiết. Các số liệu quá khứ này sẽ được khớp theo một hàm nào đó hoặc sử dụng
mạng nơron thông minh với một trục x là trục thời gian, một trục y là các số liệu quá khứ.
Các giá trị trong tương lai sẽ được dự báo bằng cách tính giá trị của hàm tại các thời điểm
trong tương lai. Tùy theo hàm được lựa chọn để khớp số liệu mà ta có các mô hình dự
9
báo khác nhau. Các hàm dự báo tiêu biểu nhất là hàm tuyến tính, mô hình dự báo hàm mũ
và hàm Logistic tương ứng với các mô hình dự báo tuyến tính, mô hình dự báo hàm mũ
và mô hình dự báo hàm Logistic.
-
Mô hình tuyến tính
Là mô hình đơn giản nhất với hàm được dùng để khớp số liệu là hàm tuyến tính
y=mx + b. Phương pháp thông dụng nhất để khớp n số liệu quá khứ vào hàm tuyến tính
là phương pháp bình phương tối thiểu. Trong đó, y là hàm tuyến tính của x (trục x là trục
thời gian, trục y là các số liệu quá khứ). Theo phương pháp này thì hệ số m, b sẽ được
tính:
2
- Mô hình hàm mũ
Mô hình hàm mũ phổ biến để tính các đại lượng tăng trưởng như dân số,… Phương
trình của hàm mũ được biểu diễn: y=b.mx. Nếu lấy log cả hai vế ta sẽ có:
ln(y) = x.ln(m) + ln(b)
Khi đó, dùng phương pháp bình phương tối thiểu để khớp hàm trên với số liệu quá
khứ đã được biến đổi tương ứng, ta sẽ tìm được các hệ số a=ln(m) và c = ln(b). Và m, b sẽ
được tính:
m = ea và b=ec
10
1.3.2. Mô hình ứng dụng mạng nơron
Là mô hình có khả năng “học” từ các dữ liệu quá khứ, có thể cập nhật các tham số.
Nếu lựa chọn được các tham số tối ưu thì đó là mô hình xấp xỉ rất tốt đường cong dịch
chuyển của đối tượng cần dự báo. Kết quả cũng có độ lệch chính xác cao. Đây là mô hình
được lựa chọn cho bài toán dự báo thời tiết của đề tài, cụ thể các vấn đề liên quan đến
mạng nơron sẽ được trình bày trong chương 2.
1.3.3. Phương pháp dựa luật
Các phương pháp ngoại suy truyền thống có giới hạn chính là bỏ qua tri thức của
người quản lý về các tình huống. Dự báo dựa trên luật là một kiểu của hệ thống chuyên
gia, đưa ra các vấn đề bằng cách chuyển các tri thức về dự báo thành một tập các luật. Các
luật này sử dụng tri thức chuyên gia và các đặc trưng của dữ liệu cùng với một số phương
pháp ngoại suy đơn giản để thực hiện dự báo.
Phương pháp dự báo dựa trên luật kết hợp phương pháp đánh giá tri thức theo miền.
Ưu điểm cơ bản của dự báo luật là kết hợp được các tri thức một cách dễ dàng.
để đưa cho các thành viên khác. Những người tham gia được yêu cầu đưa ra những nhận
xét để bảo vệ hay thay đổi ý kiến gốc của mình dựa trên những gì mà người khác viết ra.
Một lần nữa, những câu trả lời được gom lại và được đưa cho những người tham gia,…
Trong lần cuối cùng, những người tham gia được yêu cầu đánh giá lại ý kiến ban đầu của
họ trên quan điểm được thể hiện bởi các thành viên khác. Hệ thống chuyên gia sử dụng
các luật của chuyên gia. Các mô hình: ý kiến chuyên gia, phân tích kết hợp, tự mồi và
kinh tế lượng có thể giúp cho quá trình phát triển của hệ chuyên gia.
1.3.6. Mô hình tương tự
Dễ thấy rằng, không có kỹ thuật dự báo nào là thích hợp cho mọi tình huống. Dự báo
kết hợp cung cấp cho chúng ta cách thức để bù đắp những thiếu sót của một phương pháp
dự báo cụ thể nào đó. Bằng cách chọn những phương pháp bổ sung, sự thiếu sót của một
kỹ thuật có thể được đền bù bằng ưu điểm của những kỹ thuật khác.
Một mô hình kết hợp giữa ngoại suy và các ý kiến chuyên gia là mô hình tương quan.
Mô hình này cho phép so sánh, đánh giá theo phương pháp ngoại suy đối với các đại
lượng dự báo được kiểm chứng là có xu hướng phát triển theo đường ngoại suy. Các hệ
12
số cho phương trình ngoại suy sẽ được chỉ định dựa trên các ý kiến chuyên gia, so sánh,
đánh giá và hiệu chỉnh. Phương pháp này khác với phương pháp ngoại suy ở chỗ: ở
phương pháp ngoại suy, các hệ số sẽ được tính toán dựa trên các số liệu quá khứ, trong
khi đó các hệ số của phương pháp này có được hoàn toàn là do đánh giá, so sánh tương
quan của một đối tượng khác.
1.4.
Một số phương pháp với bài toán dự báo thời tiết
Dự báo thời tiết là một khoa học và là một nghệ thuật. Rất nhiều phương pháp đã
được ứng dụng cho dự báo thời tiết. Phương pháp cụ thể nàp được áp dụng phụ thuộc
liên quan đến việc xác định kịch bản dự báo của một ngày và nhớ đến một ngày trong quá
khứ khi kịch bản thời tiết là khá tương tự. Người dự báo có thể dự báo rằng thời tiết trong
dự báo rất giống như trong quá khứ.
Ví dụ, hôm nay rất ấm nhưng có khối khí lạnh đang đến gần khu vực này. Ta đến điều
kiện thời tiết tương tự một tuần trước đó, cũng một ngày ấm nhưng có khối khí lạnh đang
đến gần. Vào ngày đó cũng nhớ có sấm sét, mưa to vào buổi chiều khi khối khí lạnh tràn
vào khu vực. Do đó, sử dụng phương pháp tương tự, ta có thể dự báo rằng khối khí lạnh
cũng sẽ tạo ra sấm sét và mưa to vào buổi chiều.
Phương pháp tương tự là khó sử dụng vì không thể tìm được sự tương tự hoàn toàn.
Hiện tượng thời tiết đa dạng hiếm khi lặp lại ở cùng một địa phương nơi mà chúng đã
từng xảy ra. Tuy nhiên qua thời gian dài, khi nhiều dữ liệu thời tiết được thu thập thì cơ
hội tìm được một sự tương tự tốt cho tình huống thời tiết hiện tại có thể khá hơn và dự
báo tương tự có thể được cải thiện.
1.4.5. Phương pháp dự báo sử dụng văn bản
Văn bản đưa ra một cách tổng quan về các thông tin thời tiết quan trọng trong 24 giờ
đã qua cũng như là các biểu thị quan trọng của thời tiết trong 24 giờ tới. Tổng kết dữ liệu
ngày trước của thành phố để biết lượng mưa cũng như nhiệt độ cao thấp. Sau đó, đồ thị
được vẽ trên bản đồ trong một số giờ để tìm xu hướng chuyển động của các khối khí, hệ
thống thời tiết. Những bản đồ này được phân tích và thời tiết trong tương lai sẽ được dự
báo. Dự báo sử dụng văn bản là khó thực hiện dự báo chỉ sử dụng duy nhất thông tin
văn bản về thời tiết.
Hầu hết các phương pháp trình bày ở trên được sử dụng từ vài thập kỷ trước khi máy
tính chưa phát triển đủ mạnh để thực hiện các dự báo số trị. Ngày nay, chúng được sử
14
dụng để đánh giá mức độ hiệu quả của các dự báo thời tiết: so sánh với dự báo quán tính
hoặc với chuẩn khí hậu.
Sau đây xin giới thiệu một số phương pháp dự báo thời tiết nghiệp vụ (những phương
đặc biệt là các nước phát triển. Phương pháp này sử dụng sức mạnh của máy tính điện tử,
bằng rất nhiều cách khác nhau để giải hệ phương trình mô tả khí quyển để suy ra các biến
khí quyển như áp suất, nhiệt độ, vận tốc gió,… Chất lượng dự báo mưa lớn cao hơn hẳn
các phương pháp trên và sản phẩm số của mô hình dự báo có thể đảm bảo những yêu cầu
của mô hình dự báo thủy văn đối với lũ lụt, lũ quét. Một trong những nhân tố quyết định
gây nên sự hình thành và phát triển mưa lớn trong các hiện tượng thời tiết nguy hiểm như
xoáy thuận nhiệt đới,… là đối lưu mây tích. Các quá trình đối lưu này đóng vai trò quan
trọng trong chu trình vận chuyển năng lượng của khí quyển và do đó phân bố lại sự đốt
nóng không đồng đều trên bề mặt trái đất. Ngoài phụ thuộc vào độ hội tụ ẩm mực thấp,
đối lưu mạnh còn phụ thuộc vào tính bất ổn định của khí quyển,…Các quá trình quy mô
vừa này chỉ có thể tính được bằng các mô hình số trị. Với các phương pháp số trị, hiên
nay những trung tâm khí tượng lớn trên thế giới có thể đưa ra những dự báo thời tiết trên
phạm vi toàn cầu trước hàng tuần mà phương pháp Synôp cổ điển không thể nào thực
hiện được.
1.4.9. Phương pháp thống kê
Phương pháp thống kê lấy số liệu quá khứ làm đầu vào. Phương pháp này có ưu
điểm mang tính chất khách quan, đơn giản và dễ xây dựng mô hình cũng như sử dụng
trong nghiệp vụ. Độ chính xác của mô hình phụ thuộc rất nhiều vào việc lựa chọn các
tham số dự báo và quá trình xử lý số liệu. Bên cạnh đó, do đặc điểm cơ bản của phương
pháp thống kê là coi những quá trình xảy ra ở hiện tại và tương lai đều tuân theo các quy
luật thu được từ số liệu trong quá khứ, dẫn tới kết quả của mô hình dự báo phụ thuộc vào
độ dài tập mẫu. Chuỗi số liệu tập mẫu quá ngắn sẽ chứa trong nó những quy luật mà hiện
tại không có, còn chuỗi số liệu quá dài có thể gây mất ổn định hệ thống.
1.5.
Phương pháp giải với mạng nơron nhân tạo
Trong những năm gần đây, nhiều phương pháp như mô hình mờ, mạng nơron mờ,
mạng nơron thời gian hồi quy,… được áp dụng rộng rãi cho việc giải quyết các bài toán
phi tuyến phức tạp trong đó có dự báo thời tiết.
điểm này của mạng cho phép ta hi vọng một hệ có thể học tập để nâng cao khả năng
phân tích và dự báo trong khi hoạt động.
-
Khả năng tổng quát hoá tốt và phân lớp mạng.
Do đó, ứng dụng mạng nơron phù hợp vào bài toán dự báo thời tiết vì quy luật biến
đổi của dữ liệu thời tiết phức tạp và khó có thể xác định dựa trên các công thức toán học
hay ý kiến chủ quan của các chuyên gia.
Trong khí tượng học, đã có nhiều nhà khí tượng trên thế giới và Việt Nam sử dụng
mạng nơron nhân tạo như công cụ thống kê cho bài toán phức tạp giúp hiệu chỉnh sản
phẩm mô hình số, tái tạo và bổ sung số liệu, tính toán tổng lượng ozon trong khí quyển,…
Kết hợp mạng nơron với lý thuyết mờ là một hướng nghiên cứu mới trong nhiều năm
gần đây và đã có những kết quả cụ thể trong nhiều lĩnh vực ứng dụng trong đó có dự báo
thời tiết.
Về mặt lý thuyết, mạng nơron và hệ thống mờ là các hệ thống tương đương theo
nghĩa chúng có khả năng chuyển đổi được, tuy nhiên trong thực tế mỗi hệ thống lại có
những ưu, nhược điểm riêng. Ví dụ, đối với mạng nơron, tri thức có thể tự động thu được
bởi thuật toán hồi quy nhưng quá trình luyện lại tương đối chậm và việc phân tích mạng
đã luyện là khó khăn trong khi các hoạt động của các hệ thống mờ có thể giải thích được
dựa trên các luật mờ và như vậy tốc độ thực thi của chúng có thể điều chỉnh được.
17
Lý thuyết mờ thích hợp với bài toán dự báo thời tiết ở chỗ:
Thứ nhất, trong dữ liệu thời tiết đã có sẵn tính mờ. Ví dụ, ta thường bắt gặp những
mệnh đề sau: càng về đêm trời càng lạnh, gió chuyển về hướng tây, xu hướng bớt tuyết,
đôi chỗ có mưa, mưa rải rác trên diện rộng,… Tất cả các giá trị này, cùng với các đặc
18
1.6.
Đánh giá dự báo
Nội dung chính của việc đánh giá dự báo là so sánh giữa kết quả dự báo và số liệu đo
bằng lý thuyết xác suất và thống kê toán học. Có rất nhiều cách đánh giá khác nhau, dưới
đây là một số phương pháp thường được sử dụng.
Giả sử Yt là giá trị quan trắc, Yt’ là giá trị dự báo, m là tổng số mẫu để đánh giá, những
giá trị trung bình có thêm gạch ngang trên đầu (Yt , Yt ' ) .
Sai số dự báo: et = Yt - Yt’
t = 1, 2, …, m
Sau đây là một số phép đo để so sánh khi cần đánh giá các mô hình dự báo khác nhau.
a. Sai số trung bình:
1 m
et
m t 1
ME
Thông số ME giúp đo sai số trung bình giữa dự báo và quan trắc. Nếu ME=0 có
nghĩa rằng, xét về trung bình, dự báo là hoàn toàn chính xác. ME càng gần 0 càng tốt.
b. Sai số trung bình tổng bình phương:
m
Yt Yt ' Yt
Yt
Y
2
t
'
'
Yt
'
2
Thông số R cho ta ước lượng về sự tương đồng giữa giá trị dự báo và giá trị quan
trắc. Nếu R=1 có nghĩa là mọi điểm trong hệ trục tọa độ quan trắc – dự báo đều nằm
trên đường chéo chính.
e. Sai số trung bình phần trăm:
MPE
báo và quan trắc. Giá trị lý tưởng là MAE = 0.
h.
Sai số trung bình phần trăm tuyệt đối:
MAPE
100 m et
m t 1 Yt
MAPE đưa ra đánh giá về độ chính xác tương đối của mô hình. Cũng giống như chỉ số
trung bình phần trăm MPE, MAPE cũng sẽ cho ra kết quả không tốt nếu như YT+t nhỏ
gần đến 0.
i. Chỉ số kỹ năng
Để so sánh dự báo A với dự báo B dựa trên một chỉ số đánh giá nào đó (ME, RMSE,
R, …ký hiệu chung là S), ta sử dụng chỉ số kỹ năng:
Skill A, B
S A SB
SP SB
Trong đó SP là giá trị lý tưởng cho chỉ số S, ví dụ với ME, RMSE là 0, với R là 1. Chỉ
số Skill(A, B) càng lớn thì mô hình A càng tốt hơn mô hình B và ngược lại.
20
Ngoài các chỉ số đánh giá được nói trên, người ta còn sử dụng một số chỉ số khác, ví
dụ số dự báo có sai số lần lượt nhỏ hơn 1 và 2 đơn vị, số cặp dự báo – quan trắc chính xác
hoàn toàn,…
diễn ra trong các nơron sinh vật.
Quá trình nghiên cứu và phát triển mạng nơron nhân tạo có thể được chia thành 4 giai
đoạn như sau:
- Giai đoạn một: Giai đoạn một có thể tính từ nghiên cứu của William (1980) về tâm
lý học với sự liên kết các nơron thần kinh. Từ năm 1940 Mc.Colloch và Pitts đã cho biết:
nơron có thể được mô hình hóa như thiết bị ngưỡng (giới hạn) để thực hiện các phép tính
logic. Cũng thời gian đó Wiener đã xét các mối liên hệ giữa các nguyên lý phản hồi và
chức năng bộ não.
- Giai đoạn hai: Giai đoạn hai vào những năm 1960, gần như đồng thời một số mô
hình nơron hoàn hảo hơn đã được đưa ra, đó là mô hình Perceptron của Rosenblatt hay
Adaline của Widrow.
Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó
cũng có hạn chế vì không dùng được cho các hàm logic phức tạp. Còn Adaline là mô
hình tuyến tính, tự chỉnh, được dùng rộng rãi trong điều khiển thích nghi, tách nhiễu, mô
hình này vẫn đang được phát triển và ứng dụng cho đến ngày nay.
- Giai đoạn ba: Giai đoạn ba có thể được tính là khoảng đầu của những năm 80 của
thế kỷ 20. Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến
Grossberg, Kohonen và Hopfield. Đóng góp lớn của Hopfield là hai mạng phản hồi:
mạng rời rạc năm 1983 và mạng liên tục năm 1984. Đặc biệt, ông đã dự kiến nhiều khả
năng tính toán lớn của mạng nơron mà một nơron không có khả năng đó. Cảm nhận của
Hopfield đã được Rumelhart, Hinton đề xuất thuật toán truyền ngược sai số nổi tiếng để
huấn luyện mạng nơron nhiều lớp nhằm giải quyết nhiều lớp bài toán phức tạp.
22
- Giai đoạn bốn: Giai đoạn bốn là từ năm 1987 đến nay. Hàng năm thế giới đều mở
hộ nghị toàn cầu chuyên ngành nơron. Các công trình nghiên cứu để hoàn thiện thêm về
lý thuyết mạng nơron như: mở rộng hoàn thiện các lớp mạng, phân tích tính ổn định của
mạng, kết hợp lý thuyết mạng nơron với các lý thuyết khác. Hàng loạt các lĩnh vực khác
thần kinh được cấu tạo gồm các đốt và có thể dài từ vài micro mét đến vài mét tùy từng
kết cấu cụ thể. Đầu ra này có thể truyền tín hiệu đến các nơron khác.
Khớp thần kinh: Khớp thần kinh là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh
của các nơron khác. Chúng có cấu trúc màng đặc biệt để tiếp nhận các tín hiệu khi có sự
chênh lệch về nồng độ ion giữa bên trong và bên ngoài. Nếu độ lệch về nồng độ càng lớn
thì việc truyền các ion càng nhiều và ngược lại. Mức độ thẩm thấu của các ion có thể coi
là một đại lượng thay đổi tùy thuộc vào nồng độ như một giá trị đo thay đổi được gọi là
trọng số.
24
2.3.
Mạng nơron nhân tạo
2.3.1. Mô hình một nơron nhân tạo
Trên cơ sở mô hình nơron sinh vật tổng quát, người ta đề xuất mô hình nơron nhân
tạo gồm 2 thành phần chính: bộ tổng các liên kết đầu vào và bộ kích hoạt.
-1
W1
θ
W2
v(t)
.