ĐẠI HỌC QUỐC GIA TP.HCM
TRƯỜNG ĐẠI HỌC BÁCH KHOA
KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH
LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC
Xây dựng ứng dụng thu thập
dữ liệu tự động từ các Website
HỘI ĐỒNG 2 - HỆ THỐNG THÔNG TIN
Chủ tịch: TS. Võ Thị Ngọc Châu
GVHD: ThS. Đặng Trần Trí
GVPB: ThS. Nguyễn Văn Đoàn
---o0o---
SVTH 1: Nguyễn Trung Kiên 50501352
SVTH 2: Lê Quang Minh 50501668
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
TP. HỒ CHÍ MINH, 1/2010
Trang 2
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
LỜI CAM ĐOAN
“Chúng tôi cam đoan rằng, ngoại trừ các kết quả tham khảo từ các công trình khác như đã
ghi rõ trong luận văn, các công việc trình bày trong luận văn này là do chính chúng tôi thực
hiện và chưa có phần nội dung nào của luận văn này được nộp để lấy một bằng cấp ở trường
này hoặc trường khác”.
Nguyễn Trung Kiên Lê Quang Minh
Trang 3
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
LỜI CẢM ƠN
Sau khoảng thời gian được học tập và rèn luyện tại trường Đại Học Bách Khoa TP.HCM,
dưới sự chỉ bảo tận tình của các thầy cô trong các phòng khoa, nay chúng em đã gần mãn khoá
học, đang trong giai đoạn hoàn thành luận văn tốt nghiệp và sắp sửa trở thành một người kỹ sư
công nghệ thông tin có thể góp sức xây dựng cho sự phát triển xã hội, đất nước. Để được như
ngày hôm nay chúng em vô cùng biết ơn tất cả các thầy cô trong Khoa Khoa Học và Kỹ Thuật
dựng một công cụ hỗ trợ có khả năng giúp con người trong những bài toán thu thập dữ liệu,
một cách tự động. Công cụ sẽ cố gắng làm thay cho con người ở một số công đoạn, giúp giảm
thời gian và sức lực của con người trong việc thu thập dữ liệu từ các website. Ý tưởng này nếu
thành công sẽ đem lại được rất nhiều lợi ích vì nhu cầu thu thập dữ liệu trên web hiện nay đã
trở thành một nhu cầu rất phổ biến và thiết thực.
Trang 5
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
MỤC LỤC
1 Giới thiệu....................................................................................................................................12
1.1 Mở đầu.................................................................................................................................12
1.2 Yêu cầu và mục tiêu của đề tài............................................................................................12
1.2.1 Yêu cầu.........................................................................................................................12
1.2.2 Mục tiêu........................................................................................................................13
1.3 Bố cục báo cáo.....................................................................................................................13
2 Tìm hiểu và phân tích sơ bộ.......................................................................................................14
2.1 Tìm hiểu các kiến thức tổng quan.......................................................................................14
2.1.1 World Wide Web..........................................................................................................14
2.1.2 Web Crawler.................................................................................................................15
2.1.3 Web Scraper.................................................................................................................16
2.1.4 Phân loại Web...............................................................................................................17
2.1.4.1 Phân loại dựa vào sự thể hiện của tính động........................................................17
2.1.4.2 Phân loại dựa vào cách thức tạo ra tính động.......................................................18
2.1.4.3 Khả năng của các web crawler.............................................................................19
2.2 Phân tích sơ bộ....................................................................................................................19
3 Các kiến thức nền tảng và các công nghệ liên quan..................................................................23
3.1 HTML..................................................................................................................................23
3.2 XML.....................................................................................................................................24
3.3 XHTML...............................................................................................................................25
3.3.1 Tính chuẩn của một tài liệu XML (well-formed)........................................................25
3.3.2 Tên các phần tử và tên các thuộc tính của phần tử phải ở dạng chữ in thường..........25
Trang 7
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
5.4.2 Extractor ......................................................................................................................53
5.4.3 Các Helper....................................................................................................................54
6 Hiện thực.....................................................................................................................................56
6.1 Môi trường phát triển ứng dụng..........................................................................................56
6.2 Giao diện sử dụng của WDE...............................................................................................57
6.3 Đặc tả dữ liệu đầu vào bằng XML......................................................................................59
6.3.1 Đặc tả thông tin chung cho Bot....................................................................................59
6.3.2 Đặc tả các trang............................................................................................................60
6.3.3 Đặc tả bảng cơ sở dữ liệu.............................................................................................65
6.4 Cấu trúc cơ sở dữ liệu..........................................................................................................66
6.4.1 Danh sách các bảng......................................................................................................66
6.4.2 Chi tiết các bảng...........................................................................................................66
6.5 Front.....................................................................................................................................69
6.5.1 Bot Manager.................................................................................................................69
6.6 Core......................................................................................................................................71
6.6.1 Robot.............................................................................................................................72
6.6.1.1 Quản lý tiến trình của Robot.................................................................................72
6.6.1.2 Thực hiện quy trình thu thập dữ liệu....................................................................74
6.6.2 Crawler.........................................................................................................................75
6.6.2.1 Simple Crawler: ....................................................................................................76
6.6.2.2 Advanced Crawler:................................................................................................77
6.6.2.2.1 wdeBrowser....................................................................................................77
6.6.3 Extractor.......................................................................................................................80
6.6.3.1 Expression Extractor.............................................................................................80
6.6.3.2 XPath Extractor.....................................................................................................81
6.6.3.3 Selector Extractor..................................................................................................81
Trang 8
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
Hình 5-11. Quá trình tạo mới một Bot..........................................................................................48
Hình 5-12. Quá trình chỉnh sửa một Bot.......................................................................................49
Hình 5-13. Quá trình xóa một Bot.................................................................................................49
Hình 5-14. Quá trình nhận dữ liệu đặc tả đầu vào XML..............................................................50
Hình 5-15. Kiến trúc thành phần CORE.......................................................................................51
Hình 5-16. Quá trình hoạt động tổng quát của ROBOT...............................................................52
Hình 5-17. Crawler gồm có 2 crawler engine là Simple và Advanced........................................53
Hình 5-18. Extractor gồm có 3 Extractor con...............................................................................54
Hình 6-19. Giao diện chính của WDE..........................................................................................57
Hình 6-20. Giao diện nhập / chỉnh sửa dữ liệu đặc tả đầu vào XML...........................................57
Hình 6-21. Giao diện quản lý hoạt động Bot và xem dữ liệu trích xuất được.............................58
Hình 6-22. Sơ đồ cấu trúc cơ sở dữ liệu của chương trình...........................................................66
Hình 6-23. Sơ đồ tuần tự của tác vụ start Bot...............................................................................69
Hình 6-24. Sơ đồ tuần tự của tác vụ resume Bot..........................................................................69
Trang 10
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
Hình 6-25. Sơ đồ tuần tự của tác vụ pause Bot.............................................................................70
Hình 6-26. Sơ đồ tuần tự của tác vụ stop Bot...............................................................................70
Hình 6-27. Sơ đồ class giữa Robot - Crawler - Extractor.............................................................71
Hình 6-28. Sơ đồ tuần tự thể hiện quá trình hoạt động tổng quát của Robot...............................72
Hình 6-29. Quá trình thu thập dữ liệu tổng quát...........................................................................74
Hình 6-30. Sơ đồ class của các Crawler........................................................................................75
Hình 6-31. Sơ đồ tuần tự hoạt động của Simple Crawler.............................................................76
Hình 6-32. Sơ đồ tuần tự hoạt động của Advanced Crawler........................................................77
Hình 6-33. Sơ đồ class của các Extractor......................................................................................80
Trang 11
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
1 Giới thiệu
1.1 Mở đầu
Với sự phát triển mạnh mẽ của Internet trong những năm gần đây, đặc biệt là sự bùng nổ
khả năng mở rộng, tùy biến được để có thể sử dụng với nhiều website khác nhau.
1.3 Bố cục báo cáo
Phần 1: Giới thiệu đề tài, yêu cầu và mục tiêu của đề tài
Phần 2: Tìm hiểu các kiến thức nền tảng và phân tích sơ bộ vấn đề đề tài đặt ra
Phần 3: Tìm hiểu các công nghệ liên quan, các kiến thức cần thiết để có thể xây dựng và
phát triển ứng dụng của đề tài
Phần 4: Phân tích chính
Phần 5: Thiết kế ứng dụng, kiến trúc các thành phần của ứng dụng
Phần 6: Hiện thực ứng dụng, các kỹ thuật sử dụng, các lưu đồ giải thuật, mã giả
Phần 7: Sử dụng, thử nghiệm thực tế và các đánh giá về kết quả thu được
Phần 8: Các hạn chế và hướng phát triển lên sau này
Phần 9: Tổng kết
Phần 10: Tài liệu tham khảo
Trang 13
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
2 Tìm hiểu và phân tích sơ bộ
Để có thể đi sâu vào các vấn đề đề tài đặt ra, trước hết chúng ta cùng tìm hiểu một số kiến
thức khái quát để có cái nhìn tổng quan về bài toán.
2.1 Tìm hiểu các kiến thức tổng quan
2.1.1 World Wide Web
World Wide Web (WWW, hay gọi tắt là Web) là một ứng dụng phổ biến và phát triển
mạnh mẽ nhất của Internet hiện nay. World Wide Web là một mạng lưới bao gồm các tài liệu
siêu văn bản (hypertext) được đặt trên các máy tính nằm trong mạng Internet [1]. Các siêu văn
bản này có khả năng liên kết lẫn nhau thông qua các siêu liên kết (hyperlink). Sử dụng một
trình duyệt web (web browser), con người có thể xem được các trang web (web page, cũng
chính là một siêu văn bản) trên màn hình máy vi tính, nội dung các trang web có thể có chữ,
hình ảnh, video, thậm chí có thể tương tác với người sử dụng thông qua các thiết bị như bàn
phím, chuột. Cũng chính nhờ các hyperlink mà các trang web có thể liên kết được với nhau
thông qua chỉ một cú click chuột, đây là khả năng đem lại sự mở rộng vô cùng lớn cho world
wide web.
các web page. Tùy thuộc vào chiến lược của crawler, các node có thể được duyệt theo chiều sâu
hoặc duyệt theo chiều rộng. Trong thực tế, quá trình crawling web sẽ phải đối diện với rất nhiều
vấn đề khó khăn như: kích thước khổng lồ của world wide web, các trang web HTML được
viết không chuẩn, hạn chế ghé thăm một URL đã được ghé thăm trước đó, các trang web động,
nội dung các trang web được cập nhật thường xuyên v.v… Tuy nhiên đề tài luận văn này sẽ chỉ
cần một số khả năng của web crawler nên sẽ chỉ giải quyết một số vấn đề cụ thể và sẽ được
trình bày kỹ hơn trong các phần sau của báo cáo.
2.1.3 Web Scraper
Các trang web chủ yếu được viết bằng các ngôn ngữ đánh dấu như HTML, XHTML và
được nhắm đến đối tượng sử dụng là con người chứ không phải máy tính. Các trang web lại
chứa đựng nhiều thông tin có ích mà con người có thể muốn thu thập và lưu trữ lại, chính vì thế
mà các web scraper được ra đời. Web Scraper là một thuật ngữ để chỉ các phần mềm có khả
năng bóc tách và trích xuất thông tin chứa trên các web page một cách tự động [1]. Công việc
này được gọi là web scraping, web harvesting hoặc web data extraction. Các web scraper khác
với web crawler ở chỗ, trong khi web crawler tập trung vào việc duyệt các trang web thông qua
các liên kết hyperlink, thì web scraper lại tập trung vào việc chuyển đổi nội dung không cấu
trúc của các trang web (chủ yếu được viết bằng HTML) sang thành nội dung có cấu trúc, sau đó
bóc tách, trích xuất phần thông tin mong muốn và lưu trữ lại vào các cơ sở dữ liệu hoặc
spreadsheet. Các web scraper cũng có thể thực hiện thêm các công đoạn phân tích dữ liệu sau
khi đã trích xuất được để phục vụ cho một mục đích nào đó. Một số ứng dụng của web scraping
bao gồm: so sánh giá cả thị trường trực tuyến, nghiên cứu thị trường, thu thập thông tin để
thống kê, theo dõi thông tin thời tiết trên các website dự báo thời tiết, tổng hợp tin tức từ nhiều
website v.v…
Một số kỹ thuật được sử dụng trong web scraping có thể kể ra như:
• So trùng: một kỹ thuật đơn giản nhưng khá hiệu quả để tìm kiếm các phần nội dung chữ
có sự tương đồng với nhau (do nội dung trang web chủ yếu là ở dạng ký tự). Kỹ thuật
này thường sử dụng regular expression (biểu thức chính quy) để so trùng và tìm kiếm.
• Lập trình HTTP: ta có thể lấy được nội dung trang web bằng cách gửi một yêu cầu
HTTP đến web server, cũng giống như cách web browser làm. Đây cũng là một kỹ
thuật được sử dụng bởi các web crawler.
một trang web, khi được gửi ở hai thời điểm khác nhau có thể sẽ nhận được hai nội dung khác
nhau.
Theo máy khách (client-based dynamism): những trang web có khả năng tùy biến theo
người sử dụng (client) sẽ được xếp vào mục này. Ví dụ một trang tin tức tổng hợp có khả năng
chọn lọc các tin tức khác nhau, tùy thuộc vào sở thích của người sử dụng đang đăng nhập.
Trang 17
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
Những trang kiểu này thường không thể trực tiếp truy xuất vào được mà phải vượt qua một
bước xác thực danh tính (authentication).
Theo truy vấn (input dynamism): đây là những trang có nội dung phụ thuộc vào truy vấn
của người sử dụng. Một ví dụ điển hình là những trang có các mẫu nhập liệu (form), chẳng hạn
một trường nhập liệu để tìm kiếm một hoặc nhiều món hàng trong cơ sở dữ liệu của trang web.
Những trang kiểu này cũng không luôn luôn truy xuất trực tiếp được (tùy thuộc vào phương
thức truyền các tham số - GET hoặc POST – chi tiết về vấn đề này sẽ được phân tích ở phần 4),
các trang kết quả nhận được cũng thường có số lượng rất lớn (tùy thuộc số tổ hợp của các tham
số truy vấn). Đây cũng thường là những trang web không thể crawl được hoàn toàn bởi các
crawler, và được gọi là Web ẩn (hidden Web, deep Web, invisible Web).
2.1.4.2 Phân loại dựa vào cách thức tạo ra tính động
Thực thi các chương trình nằm trên máy chủ (server-side programs): Trong kỹ thuật
này, một chương trình sẽ được thực thi trên máy chủ và sinh ra toàn bộ nội dung HTML của
trang web, sau đó được gửi đến máy khách yêu cầu. Ví dụ tiêu biểu cho loại này là CGI hoặc
Java Servlet. Những chương trình phía máy chủ này cũng thường được dùng để xử lý các truy
vấn từ người sử dụng.
Nhúng mã với sự thực thi phía máy chủ (embedded code with server-side execution):
các trang web động sẽ chứa cả nội dung HTML tĩnh cùng với các đoạn mã được nhúng vào
cùng với HTML. Khi một yêu cầu được nhận, các đoạn mã nhúng này sẽ được thực thi trên
máy chủ và sẽ sinh ra các đoạn code HTML thay thế cho chúng. Kỹ thuật này khác kỹ thuật
trên ở chỗ không phải toàn bộ mà chỉ một phần nội dung HTML được sinh động. Các mã
nhúng này có thể là PHP, Java Scriplet, ASP hoặc các mã server-side khác.
Nhúng mã với sự thực thi phía máy khách (có thể có cả sự thực thi ở phía máy chủ)
Mã nhúng thực thi server-
side
Mã nhúng thực thi client-
side
Các crawler truyền thống
(Web nổi)
Một vài crawler (Web ẩn)
Các crawler cá nhân
(Các web tùy biến)
Không có
Hình 2-3. Phân loại web cùng khả năng của các web crawler
2.2 Phân tích sơ bộ
Có thể thấy được rằng, ứng dụng mà đề tài cần xây dựng chính là một chương trình vừa
có thể crawl web một cách tự động, vừa có khả năng bóc tách, trích xuất dữ liệu như một web
scraper. Nhìn chung ứng dụng sẽ cần 2 module chính: crawler module và data extractor module.
Crawler module sẽ giúp ứng dụng “duyệt” nhiều trang web tương tự một cách tự động (ví dụ
Trang 19
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
các trang phân trang của cùng một trang danh mục), với mỗi trang web được duyệt qua crawler
module sẽ tải nội dung trang web về và lưu trữ tạm. Nội dung trang web sau đó được chuyển
cho data extractor module, data extractor module có nhiệm vụ phân tích, xử lý nội dung trang
web, chuyển đổi nó sang một cấu trúc trung gian nào đó để thuận tiện cho bước bóc tách, trích
xuất dữ liệu.
Các điểm khác biệt mấu chốt giữa ứng dụng đề tài cần xây dựng và các generic web
crawler hiện nay đó là:
• Ứng dụng không cần phải cố gắng crawl càng nhiều web page trên WWW càng tốt như
các web crawler khác
• Ứng dụng không nhất thiết phải thường xuyên viếng thăm lại các trang web để cập nhật
nội dung
• Ứng dụng phải có tính tùy biến cao, phục vụ cho các mục đích cụ thể chứ không như
Crawler của ứng dụng
trong đề tài
Hình 2-4. Phạm vi của thành phần crawler của ứng dụng trong đề tài
Thành phần data extractor của ứng dụng sẽ không có nhiều khác biệt với các web scraper
khác. Ứng dụng phải có thể bóc tách, trích xuất các dữ liệu (có sự tương đồng, do người sử
dụng đặc tả) một cách tự động.
Ngoài ra, trong lĩnh vực trích xuất thông tin (Information Retrieval, [1]) cũng có một
hướng nghiên cứu khác khá gần gũi với lĩnh vực khai phá dữ liệu (data mining) và trí tuệ nhân
tạo (artificial intelligence). Hướng nghiên cứu này sẽ xây dựng, phát triển các công cụ có khả
năng tự động crawl và trích xuất thông tin một cách hoàn toàn tự động, không cần hoặc cần rất
ít sự can thiệp của con người, và hơn nữa các công cụ này còn có khả năng tự học (machine
learning) thông qua các dữ liệu mẫu [11], nhờ đó nó có thể ứng dụng được trên nhiều loại trang
web có cấu trúc khác nhau một cách tự động. Ưu điểm của hướng tiếp cận này là tính tự động
Trang 21
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
cao, có thể chạy được trên nhiều website khác nhau (cùng lĩnh vực) một cách tự động. Tuy
nhiên các công cụ kiểu này thường chỉ có thể sử dụng cho các lĩnh vực cụ thể và phổ biến
(domain-specific), chẳng hạn như lĩnh vực tin tức trực tuyến.
Vì lý do hạn chế về thời gian nên đề tài luận văn này sẽ không đi theo hướng này. Hướng
tiếp cận của đề tài sẽ là xây dựng một ứng dụng có khả năng giải quyết các vấn đề trích xuất
thông tin rất rời rạc và cụ thể. Ứng dụng cũng sẽ được xây dựng như một framework có khả
năng mở rộng được, tùy biến được bởi người sử dụng, để có thể sử dụng cho nhiều loại website
khác nhau, nhược điểm là mỗi khi sử dụng ứng dụng cho một website có cấu trúc khác, người
sử dụng sẽ phải đặc tả lại các thông số đầu vào.
Trang 22
Luận văn tốt nghiệp Xây dựng ứng dụng thu thập dữ liệu tự động từ các website
3 Các kiến thức nền tảng và các công nghệ liên quan
3.1 HTML
HTML (HyperText Markup Language – ngôn ngữ đánh dấu siêu văn bản) là một ngôn
ngữ đánh dấu được thiết kế ra để tạo nên các trang web. HTML được xem như là một ứng dụng
phần tử HTML cần có một thẻ mở và một thẻ đóng, tuy nhiên điều này không luôn luôn đúng,
có nhiều phần tử không cần thẻ đóng, ví dụ các thẻ<br>, <hr> và <li>. Ngoài ra khi lồng nhau,
các phần tử HTML cũng không cần thiết phải lồng nhau theo đúng thứ tự (tức là thẻ nào mở
trước thì phải đóng sau) ví dụ sau là hợp lệ trong HTML:
<p>đoạn văn này được <b>in đậm</p></b>
Sự lồng nhau không đúng thứ tự của các phần tử HTML được gọi là overlapping (phủ lên
nhau), mặc dù điều này không được phép trong đặc tả SGML, nhưng lại được chấp nhận bởi
hầu hết các trình duyệt hiện nay.
Từ các đặc điểm trên ta có thể nhận thấy HTML không phải là một ngôn ngữ có cú pháp
chặt chẽ, các đặc điểm như không cần đóng thẻ hoặc không cần lồng nhau đúng thứ tự sẽ là các
trở ngại cho công việc đọc và phân tích văn bản HTML (HTML parsing), đặc biệt nếu sử dụng
phương pháp tìm kiếm so trùng. Chính vì vậy, chúng ta cần phải chuyển đổi nội dung viết bằng
HTML sang một định dạng ngôn ngữ khác có sự chặt chẽ hơn về cú pháp, điều này sẽ đem lại
thuận lợi hơn cho quá trình xử lý về sau. Một ngôn ngữ đánh dấu được định nghĩa ra để thay
thế cho HTML đó chính là XHTML.
3.2 XML
XML (Extensible Markup Language – ngôn ngữ đánh dấu mở rộng) là một ngôn ngữ
đánh dấu mà người sử dụng có thể tự tạo ra các thẻ riêng của mình. Giống như HTML, XML
cũng được dựa trên SGML. Tuy nhiên, XML được thiết kế nhằm mục đích truyền tải và lưu trữ
thông tin, trong khi HTML tập trung vào việc thể hiện thông tin đó như thế nào. Về tính cấu
trúc của nội dung, XML có thể dùng để định nghĩa các cấu trúc ngẫu nhiên tùy ý trong khi
HTML hoàn toàn bị giới hạn.
Ví dụ của một tài liệu XML đầy đủ:
<?xml version=”1.0” encoding=”UTF-8”?>
<students>
<student>
<id>50501352</id>
<full-name>Bill Gates</full-name>
</student>
Trang 24
Copyright: Tài liệu đại học ©