ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NGUYỄN PHƯƠNG CHÍNH

GIẢI PHÁP PHÁT HIỆN VÀ
NGĂN CHẶN TRUY CẬP TRÁI PHÉP
VÀO MẠNG LUẬN VĂN THẠC SĨ


MỤC LỤC
MỞ ĐẦU 1
Đặt vấn đề 1
Nội dung của đề tài 1
Cấu trúc luận văn 2
CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG IPS 3
1.1 Lịch sử ra đời 3
1.2 Hệ thống IDS 4
1.2.1 Một hệ thống IDS bao gồm các thành phần 4
1.2.2 Phân loại các hệ thống IDS 5
1.2.2.1 Network-based Intrusion Detection System (NIDS) 5
1.2.2.2 Host-based Intrusion Detection System (HIDS) 7
1.2.2.3 Hybrid Intrusion Detection System 8
1.3 Hệ thống IPS 9
1.3.1 Phân loại IPS 10
1.3.2 Các thành phần chính 11
1.3.2.1 Module phân tích gói (packet analyzer) 11
1.3.2.2 Module phát hiện tấn công 11
1.3.2.3 Module phản ứng 14
1.3.3 Mô hình hoạt động 15
1.3.4 Đánh giá hệ thống IPS 17
1.4. Kết chương 18
I

CHƯƠNG 2 : TÌM HIỂU VÀ NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHÁT HIỆN
TẤN CÔNG TRONG HỆ THỐNG IPS 21
2.1 Tổng quan về phương pháp phát hiện bất thường 21
2.1.1 Thế nào là bất thường trong mạng? 21
2.1.2 Các nguồn dữ liệu dùng cho phát hiện bất thường 22
2.1.2.1 Network Probes 23

3.4.2 So sánh SNORT và MINDS 64
3.4.3.1 Tấn công dựa trên nội dung 64
3.4.3.2 Hoạt động scanning 65
3.4.3.3 Xâm phạm chính sách 66
3.5 Kết chương 66
KẾT LUẬN 68
Hướng phát triển của luặn văn: 69
TÀI LIỆU THAM KHẢO
II

BẢNG CÁC TỪ VIẾT TẮT, KÝ HIỆU
Từ viết tắt Đầy đủ Tiếng Việt

IPS
IDS
NIDS

HIDS

OOB IPS

In-line IPS

UDP
TCP

FTP
DNS
ROC


Simple Network
Management Protocol
Management information
base
Fuzzy cognitive map
Multi-layered Perceptron

Self-Organizing Maps

Hệ thống ngăn chặn truy cập trái phép
Hệ thống phát hiện truy cập trái phép
Hệ thống phát hiện truy cập cho mạng

Hệ thống phát hiện truy cập cho máy trạm

Hệ thống IPS bố trí bên ngoài

Hệ thống IPS bố trí thẳng hàng

Giao thức truyền dữ liệu UDP
Giao thức truyền dữ liệu TCP

Giao thức truyền file FTP
Dịch vụ phân giải tên miền
Đường cong đặc trưng hoạt động

Tấn công từ chối dịch vụ
Giao thức định tuyến OSPF
Tập hớp giao thức quản lý mạng đơn giản


Detection System

Máy trạng thái hữu hạn
Hệ thống chuyên gia phát hiện truy cập
trái phép
Thế hệ tiếp theo của hệ thống chuyên gia
phát hiện truy cập trái phép
Hệ thống phát hiện truy cập EMERALD Nhân tố dị biệt địa phương
Hệ thống phát hiện truy cập Minnesota

III

THÔNG TIN HÌNH VẼ/BẢNG
Hình vẽ/bảng Trang

Hình 1.1 : Hệ thống Network-based Intrusion Detection
Hình 1.2 : Hệ thống Host-based Intrusion Detection
Hình 1.3: Hệ thống Hybrid Intrusion Detection
Hình 1.4 : Mô hình thêm luật phương pháp phát hiện dựa trên dấu
hiệu
Hình 1.5: Mô hình thêm luật phương pháp phát hiện dựa trên phát
hiện bất thường
Hình 1.6 : Mô hình hoạt động của hệ thống IPS
Hình 1.7 : Minh họa đường cong ROC
Hình 2.1: Mô hình hệ thống phát hiện bất thường dựa trên tập luật
Hình 2.2: Mô hình mạng nơron
Hình 2.3: Cấu trúc một hệ thống phát hiện bất thường sử dụng SOM

31
40
41
43

44

45
47
50
50

54
III Hình 3.10: Mô tả hoạt động của môđun tổng hợp
Hình 3.11: Mô hình hoạt động của hệ thống MINDS
Hình 3.12: Bảng kết quả đầu ra của hệ thống MINDS – cột đầu tiên là
giá trị bất thường
Bảng 3.1: Danh sách các cảnh báo chưa rút gọn
Bảng 3.2: Danh sách các cảnh báo sau khi đã rút gọn
Bảng 3.3: Những đặc điểm chọn “dựa trên thời gian”
Bảng 3.4: Những đặc điểm chọn “dựa trên kết nối”

56
59
62

57

các cuộc tấn công mới.
Nội dung của đề tài
Xuất phát từ vấn đề nêu trên, nội dung của đề tài sẽ bao gồm những vấn đề sau:
2

 Nghiên cứu, tìm hiểu các vấn đề tông quan về hệ thống IPS bao gồm phân loại,
chức năng cơ bản và hoạt động, các hướng phát triển.
 Tìm hiểu hệ thống IPS dựa trên phát hiện bất thường, phân tích ưu nhược điểm
của hướng tiếp cận này. Nghiên cứu các kỹ thuật được sử dụng như: Phân tích
thống kê, mạng Neutral, Hệ chuyên gia, Máy trạng thái hữu hạn, Khai phá dữ
liệu ….
 Nghiên cứu cụ thể một kỹ thuật sử dụng trong phát hiện bất thường đó là kỹ thuật
Khai phá dữ liệu (data mining). Đưa ra các đánh giá, so sánh hệ thống sử dụng kỹ
thuật nay so với các kỹ thuật khác.
Cấu trúc luận văn
Luận văn sẽ được chia thành 3 chương chính dựa vào nội dung nêu trên:
 Chương 1: Giới thiệu tổng quan về hệ thống IPS , những thành phần và chức
năng chính của hệ thống.
 Chương 2: Tìm hiểu các phương pháp phát hiện tấn công dựa trên phát hiện bất
thường đang được áp dụng hiện nay như: Phân tích thống kê, Mạng Neutral, Hệ
chuyên gia….
 Chương 3: Tìm hiểu về kỹ thuật Khai phá dữ liệu cũng như hệ thống IPS có sử
dụng phương pháp phát hiện bất thường ứng dụng khai phá dữ liệu.
3 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG IPS
1.1 Lịch sử ra đời
Hệ thống Firewall (tường lửa) cổ điển đã được ứng dụng trong hệ thống mạng để
bảo vệ mạng khỏi các cuộc tấn công hoặc truy nhập trái phép từ rất lâu. Tuy nhiên

của hệ thống IDS và IPS.
1.2 Hệ thống IDS
IDS là từ viết tắt tiếng anh của Intrusion Detection System hay còn gọi là hệ
thống phát hiện các truy nhập trái phép. IDS có nhiệm vụ rà quét các gói tin trên mạng,
phát hiện các truy nhập trái phép, các dấu hiệu tấn công vào hệ thống từ đó cảnh báo
cho người quản trị hay bộ phận điều khiển biết về nguy cơ xảy ra tấn cống trước khi
nó xảy ra.
Một hệ thống phát hiện các truy nhập trái phép có khả năng phát hiện tất cả các
luồng dữ liệu có hại từ mạng vào hệ thống mà các Firewall không thể phát hiện được.
Thông thường các cuộc tấn công trên mạng thuộc các kiểu tấn công: từ chối dịch vụ,
phá hoại các dữ liệu trên các ứng dụng, các cuộc tấn công vào máy trạm như thay đổi
quyền trên máy, đăng nhập bất hợp pháp và truy nhập vào các tệp tin nhạy cảm hoặc là
các loại Virus, Trojan, Worm độc hại khác.
1.2.1 Một hệ thống IDS bao gồm các thành phần
 Bộ phát hiện (Sensor): Là bộ phận làm nhiệm vụ phát hiện các sự kiện có khả
năng đe dọa an ninh của hệ thống mạng, bộ phát hiện có chức năng rà quét nội
dung của các gói tin trên mạng, so sánh nội dung với các mẫu và phát hiện ra các
dấu hiệu tấn công hay còn gọi là sự kiện.
 Bộ giao diện (Console):Là bộ phận làm nhiệm vụ giám sát các sự kiện, các cảnh
báo được phát hiện và sinh ra từ các Sensor và điều khiển hoạt động của các bộ
Sensor.
 Bộ xử lý (Engine): Có nhiệm vụ ghi lại tất cả các báo cáo về các sự kiện được
phát hiện bởi các Sensor trong một cơ sở dữ liệu và sử dụng một hệ thống các
luật để đưa ra các cảnh báo trên các sự kiện an ninh nhận được cho hệ thống hoặc
cho người quản trị.
Như vậy, hệ thống IDS hoạt động theo cơ chế “phát hiện và cảnh báo”. Các
Sensor là bộ phận được bộ trí trên hệ thống tại những điểm cần kiểm soát, Sensor bắt
5

các gói tin trên mạng, phân tích gói tin để tìm các dấu hiệu tấn công, nếu gói tin có dấu

Hình 1.1: Hệ thống Network-based Intrusion Detection

Port mirroring được sử dụng trong một switch mạng để gửi một bản sao của tất
cả các gói tin trên mạng khi nó đi qua cổng của Switch tới một thiết bị giám sát mạng
trên cổng khác của Switch đó. Nó thường được sử dụng để các thiết bị mạng cần giám
sát luồng trên mạng, ví dụ hệ thống IDS, Port mirroring trên Switch của Cisco System
thường được gọi là Switched Port Analyzer (SPAN) hoặc của 3Com là Roving
Analysis Port (RAP).
Network tap là một thiết bị phần cứng cung cấp phương tiện để truy nhập vào
luồng dữ liệu đi ngang qua một máy tính mạng. Các máy tính mạng bao gồm cả
Internet là một tập hợp các thiết bị như máy tính, router, switch và nối với các hệ
thống khác. Các kết nối có thể được tạo ra bằng nhiều công nghệ khác nhau như là
Etherenet, 802.11, FDDI và ATM. Trong nhiều trường hợp nó được xem như là một
thành phần thứ 3 để giám sát luồng dữ liệu trao đổi giữa hai điểm trên mạng, điểm A
và điểm B. Nếu mạng giữa điểm A và điểm B chứa một kết nối vật lý, một network tap
là giải pháp tốt cho việc giám sát. Network tap có ít nhất là 3 cổng kết nối, một cổng
A, một cổng B, và một cổng giám sát. Để đặt Network tap giữa điểm A và điểm B, cáp
mạng giữa hai điểm A, B được thay thế bằng một cặp dây, một dây đấu vào cổng A và
dây kia đấu vào cổng B. Network tap cho qua tất cả các dữ liệu giữa A và B vì thế giao
tiếp giữa hai điểm A và B vẫn diễn ra bình thường, tuy nhiên dữ liệu trao đổi đã bị
Network tap sao chép và đưa vào thiết bị giám sát thông qua cổng giám sát.
7

Trong hệ thống Network-based Intrusion Detection System (NIDS), các Sensor
được đặt ở các điểm cần kiểm tra trong mạng, thường là trước miền DMZ hoặc ở vùng
biên của mạng, các Sensor bắt tất cả các gói tin lưu thông trên mạng và phân tích nội
dung bên trong của từng gói tin để phát hiện các dấu hiệu tấn công trong mạng.
Theo chức năng sử dụng, hệ thống NIDS còn được phân thành hai hệ thống nhỏ
đó là Protocol-based Intrusion Detection System (PIDS – Hệ thống phát hiện truy cập
dựa trên giao thức) và Application Protocol-based Intrusion Detection System (APIDS

based IDS và Hệ thống Host-based IDS. Nó kết hợp một hoặc nhiều các thành phần
thích hợp của hai hệ thống lại với nhau. Các thông tin thu thập được trên máy trạm
(Host agent data) kết hợp với thông tin thu thập được ở trên mạng để có được sự phân
tích một cách chi tiết về hiện trạng hệ thống mạng.
9 Hình 1.3: Hệ thống Hybrid Intrusion Detection
1.3 Hệ thống IPS
IPS là viết tắt tiếng anh của Intrusion Prevention System hay thường được gọi là
hệ thống ngăn chặn truy nhập trái phép.
Hiện nay, hệ thống IDS/IPS đã được triển khai rộng rãi trên toàn thế giới, với đặc
điểm mô hình triển khai đơn giản, cách thức phát hiện các truy nhập hiệu quả đã góp
phần nâng cao độ tin cậy của hệ thống an ninh.
IPS là hệ thống kết hợp giữa hệ thống IDS và hệ thống Firewall, nó có ba thành
phần chính đó là: Hệ thống Firewall, hệ thống IDS và thành phần trung gian kết nối
hai hệ thống trên lại với nhau.
Firewall: là thành phần bảo vệ hệ thống mạng ở vùng biên, Firewall căn cứ trên
tập luật mà nó được thiết lập từ trước để xác định cho phép hay không cho phép các
gói tin được hay không được phép đi qua nó.
IDS: làm nhiệm vụ rà quét tất cả các gói tin trước khi hoặc sau khi đi vào mạng,
đọc nội dung gói tin, phát hiện ra các dấu hiệu tấn công chứa đựng trong gói tin, nếu
phát hiện có dấu hiệu tấn công, nó sinh ra cảnh báo cho hệ thống.
Thành phần trung gian kết nối: Thành phần trung gian kết nối nhận các cảnh báo
và thông tin đưa ra từ hệ thống IDS, phân tích mức độ cảnh báo, tiến hành tác động lên
hệ thống Firewall để cấu hình lại tập luật trên đó nhằm ngăn chặn các cuộc tấn công.
10

Như vậy, hệ thống IPS là một hệ thống chủ động, có khả năng phát hiện và ngăn
ngừa các truy nhập trái phép, có khả năng ngăn chặn các cuộc tấn công, các nguy cơ

1.3.2 Các thành phần chính
Hệ thống IPS gồm 3 module chính: module phân tích gói, module phát hiện tấn
công ( kế thừa từ IDS), module phản ứng. Dưới đây ta xét cụ thể các module đó:
1.3.2.1 Module phân tích gói (packet analyzer)
Module này có nhiệm vụ phân tích cấu trúc thông tin trong các gói tin. Card
mạng (NIC) của máy giám sát được đặt ở chế độ “không phân biệt” (promiscuous
mode), tất cả các gói tin qua chúng đều được copy lại và chuyển lên lớp trên. Bộ phân
tích gói đọc thông tin từng trường trong gói tin, xác định chúng thuộc kiểu gói tin nào,
dịch vụ gì… Các thông tin này được chuyển đến module phát hiện tấn công.
1.3.2.2 Module phát hiện tấn công
Đây là module quan trọng nhất trong hệ thống, có khả năng phát hiện các cuộc
tấn công. Nó chính là hệ thống IDS mà chúng ta đã xem xét ở trên. Nó cũng chính là
thành phần mà chúng ta áp dụng các phương pháp khác nhau để cải tiển nhằm nâng
cao hiệu quả hoạt động. Việc nghiên cứu, tìm hiểu các phương pháp nhằm tăng khả
năng phát hiện tấn công chính là mục đích chính của luận văn này. Có một số phương
pháp để phát hiện các cuộc tấn công, xâm nhập đó là: Misuse Detection (dò sự lạm
dụng) và Anomaly Detection (dò sự không bình thường).
Misuse Detection:
Phương pháp này phân tích các hoạt động của hệ thống, tìm kiếm các sự kiện
giống với các mẫu tấn công đã biết trước. Thông thường hệ thống sẽ lưu trữ trong cơ
sở dữ liệu những gói tin có liên quan đến kiểu tấn công từ trước dưới dạng so sánh
được, trong quá trình xử lý sự kiện sẽ được so sánh với các thông tin trong cơ sở dữ
liệu nếu giống hệ thống sẽ đưa ra cánh báo hoặc ngăn chặn. Các mẫu tấn công biết
trước này gọi là các dấu hiệu tấn công. Do vậy phương pháp này còn được gọi là
phương pháp dò dấu hiệu (Signature Detection).
12 Hình 1.4 : Mô hình thêm luật phương pháp phát hiện dựa trên dấu hiệu
Một số ví dụ cho các dấu hiệu như: một lệnh telnet cố gắng sử dụng “username”

tiến trình họat động trên CPU, số lượng một loại gói tin được gửi vượt quá
mức…
 Self-learning Detection (Dò tự học): kỹ thuật dò này bao gồm hai bước, khi thiết
lập hệ thống phát hiện tấn công, nó sẽ chạy ở chế độ tự học thiết lập một profile
về cách cư xử của mạng với các họat động bình thường. Sau thời gian khởi tạo,
hệ thống sẽ chạy ở chế độ sensor theo dõi các hoạt động bất thường của mạng so
sánh với profile đã thiết lập. Chế độ tự học có thể chạy song song với chế độ
sensor để cập nhật bản profile của mình nhưng nếu dò ra tín hiệu tấn công thì chế
độ tự học phải dừng lại tới khi cuộc tấn công kết thúc.
 Anomaly protocol detection (Dò theo bất thường): kỹ thuật dò này căn cứ vào
họat động của các giao thức, các dịch vụ của hệ thống để tìm ra các gói tin không
hợp lệ, các họat động bất thường là dấu hiệu của sự xâm nhập, tấn công. Kỹ thuật
này rất hiệu quả trong việc ngăn chặn các hình thức quét mạng, quét cổng để thu
thập thông tin của các hacker.
Phương pháp dò sự không bình thường của hệ thống rất hữu hiệu trong việc phát
hiện các cuộc tấn công kiểu từ chối dịch vụ. Ưu điểm của phương pháp này là có thể
phát hiện ra các kiểu tấn công mới, cung cấp các thông tin hữu ích bổ sung cho
phương pháp dò sự lạm dụng, tuy nhiên chúng có nhược điểm là thường tạo ra một số
lượng tương đối lớn các cảnh báo sai làm giảm hiệu suất họat động của mạng. Tuy
14

nhiên phương pháp này sẽ là hướng được nghiên cứu nhiều hơn, hoàn thiện các nhược
điểm, đưa ra ít cảnh báo sai để hệ thống chạy chuẩn xác hơn. Chúng ta sẽ tìm hiểu kỹ
hơn về các phương pháp sử dụng để phát hiện bất thường trong Chương 2 : “Tìm hiểu
và nghiên cứu các phương pháp phát hiện tấn công trong hệ thống IPS ” và
Chương 3: “Phương pháp phát hiện bất thường dựa trên Khai phá dữ liệu” là nội
dung chính của luận văn.
1.3.2.3 Module phản ứng
Khi có dấu hiệu của sự tấn công hoặc xâm nhập, module phát hiện tấn công sẽ
gửi tín hiệu báo hiệu có sự tấn công hoặc xâm nhập đến module phản ứng. Lúc đó

động.
Ba module trên họat động theo tuần tự tạo nên hệ thống IPS hoàn chỉnh. Một hệ
thống IPS được xem là thành công nếu chúng hội tụ được các yếu tố: thực hiện nhanh,
chính xác, đưa ra các thông báo hợp lý, phân tích được toàn bộ thông lượng, cảm biến
tối đa, ngăn chặn thành công và chính sách quản lý mềm dẻo.
1.3.3 Mô hình hoạt động
Từ cấu tạo của IPS ta có thể thấy mô hình hoạt động của một hệ thống IPS bao
gồm 5 giai đoạn chính: Giám sát, Phân tích, Liên lạc, Cảnh báo và Phản ứng. Hình 1.6 : Mô hình hoạt động của hệ thống IPS.
Giám sát Phân tích
Liên lạc
Cảnh báo Phản ứng
16

 Giám sát: có nhiệm vụ thu thập các thông tin về lưu thông trên mạng, công việc
sẽ do các Sensor đảm nhiệm. Kết quả của quá trình này sẽ là các thông tin đầy đủ
về trạng thái của toàn mạng. Nhưng nhìn chung chúng ta thường khó có thể thu
thập được một lượng thông tin toàn diện như vậy vì nó sẽ tiêu tốn rất nhiều tài
nguyên do đó người ta thường thu thập thông tin theo thời gian nghĩa là thu thập
liên tục trong một khoảng thời gian hoặc thu thập theo từng chu kì nhất định.
 Phân tích: đây chính là giai đoạn thiết yếu nhất trong một hệ thống IPS. Sau khi
thu thập thông tin hệ thống sẽ tiến hành phân tích tùy theo môi trường mạng có
các cách phân tích khác nhau. Nhưng nói chung hệ thống sẽ xem xét trong luồng
những thông tin thu được những dấu hiệu khả nghi để đưa ra cảnh báo. Như đã
biết ở trên có 2 cách chính để phát hiện dấu hiệu khả nghi là đối sánh mẫu và
phân tích hành vi bất thường.
 Liên lạc: giai đoạn này cũng là một giai đoạn quan trọng trong hệ thống, nó đảm
bảo các thành phần trao đổi thông tin được với nhau khi cần thiết như gửi các