Đề tài: Tìm hiểu nguyên lý SE
framework Lucene & ứng dụng Nutch
GVHD: Ths Hoàng Anh Việt
Nguyễn Thế Anh 20080070
Trần Anh Thơ 20082569
Nguyễn Vương Quyền 20082142
Nguyễn Văn Hưng 20081293
Nhóm sinh viên:
1
Nội dung

Nguyên lý và mô hình SE (Search engine)

Lucene

Nutch
2
Nguyên lý và mô hình SE
3
1. Giới thiệu
4
1. Giới thiệu

SE là phần mềm nhằm tìm ra các trang trên mạng
Internet có nội dung theo yêu cầu người dùng.

Crawler-Based Search Engines: lần tìm các trang
trên mạng, rồi tự động phân tích các trang lấy về và
đưa vào cơ sở dữ liệu của nó.

Human-Powered Directories: các thư mục Internet

3. Nguyên lý
9
3. Nguyên lý

Robot đi thu thập thông tin trên mạng.

Robots phải liên tục cập nhật các site cũ.

Tiến hành phân tích, tìm trong cơ sở dữ liệu chỉ
mục & trả về những tài liệu thoả yêu cầu.
10
4. Mô hình
4.1. Bộ tìm duyệt Crawler

Page selection

Interest Driven: dựa vào mức độ quan tâm của người
sử dụng với các trang đó.

Popularity Driven: dựa vào mức độ phổ biến của
trang.

Location Driven: xác định mức độ quan trong của
trang P dựa vào địa chỉ của nó.
11
4. Mô hình
4.1. Bộ tìm duyệt Crawler

Mô hình crawler



Có thể cập nhật khối lượng lớn.

Loại bỏ trang không tồn tại.

Kho dữ liệu được thiết kế phân tán.
14
4. Mô hình
4.2. Kho dữ liệu repository

Nguyên tắc phân tán trang

Phân tán đồng bộ

Tất cả các nút được xử lý đồng nhất. Một trang có
thể được gán cho một nút bất kỳ trong hệ thống.
Các nút sẽ chứa các phần của tập hợp các trang
tuỳ theo khả năng lưu trữ của nút.

Phân tán băm

Việc định vị các trang vào các nút dựa trên định
danh của trang.
15
4. Mô hình
4.2. Kho dữ liệu repository

Phương pháp tổ chức vật lý

Trong một nút đơn, có 3 thao tác có thể thực hiện:


Dựa vào chính nội dung của văn bản đó, hoặc tiêu đề
hay tóm tắt nội dung của văn bản đó.

Các bước:

Cho một tập hợp n tài liệu, thực hiện tính toán tần
số xuất hiện của các mục từ trong tài liệu đó.

Xác định tổng tần số xuất hiện TFk (Total
Frequency) cho mỗi từ bằng cách cộng những tần
số của mỗi mục từ duy nhất trên tất cả n tài liệu.
19
4. Mô hình
4.3. Bộ lập chỉ mục Indexer

Tính trọng số của mục từ

Trọng số của mục từ: là tần số xuất hiện của mục từ
trong toàn bộ tài liệu.

Lập chỉ mục tự động cho tài liệu là xác định tự động
mục từ chỉ mục cho các tài liệu.

Bước tiếp theo là chuẩn hoá mục từ.
20
4. Mô hình
4.4. Bộ tìm kiếm thông tin

Search engine tương tác với user thông qua giao

Cung cấp các API hỗ trợ cho việc đánh chỉ mục và tìm kiếm

Hiện tại, Lucene đã được mở rộng ra nhiều ngôn ngữ khác nhau như C#,
PHP, C, C++, Python, Ruby…
24
Giới thiệu (ếp)

Lucene có thể được sử dụng để tích hợp chức năng tìm kiếm vào ứng dụng
sẵn có hoặc xây dựng một search engine hoàn chỉnh

Hỗ trợ thực hiện

Phân tích dữ liệu (dạng văn bản) để đánh chỉ mục: Analyze
document

Đánh chỉ mục (Index document & Index)

Thực hiện việc xây dựng câu truy vấn và tìm kiếm trong chỉ
mục: Build query, run query
25