TIỂU LUẬN
ĐỀ TÀI: “Áp dụng kỹ thuật phân tích dữ liệu
trực tuyến (OLAP) phục vụ công tác quản lý và
điều hành” 1 MỞ ĐẦU 3
Chương 1
TỔNG QUAN CÁC PHƯƠNG PHÁP
KHAI THÁC DỮ LIỆU
1.1. GIỚI THIỆU CÁC PHƯƠNG PHÁP KHAI THÁC DỮ
LIỆU
Việc dùng các phương tiện tin học để tổ chức và khai thác các
CSDL đã được phát triển từ những năm 60, nhiều CSDL đã được
tổ chức, phát triển và khai thác ở mọi qui mô và khắp các lĩnh vực
hoạt động của xã hội.
Sự phát triển nhanh chóng của một lượng lớn dữ liệu được thu
thập và lưu trữ trong các CSDL lớn đã vượt ra ngoài khả năng của
con người có thể hiểu được chúng nếu không có những công cụ hỗ
trợ tốt. Tình huống này đã đặt chúng ta trong hoàn cảnh nhiều dữ
liệu nhưng thiếu thông tin, thiếu tri thức. Với một khối lượng lớn
dữ liệu như vậy rõ ràng là các phương pháp thủ công truyền thống
áp dụng để phân tích dữ liệu như chia bảng không còn là phù hợp
nữa Chính vì vậy, có một kỹ thuật mới ra đời đó là “Khai phá dữ
liệu”.
Khai phá dữ liệu là một ngữ tương đối mới, nó ra đời vào
khoảng những năm cuối của của thập kỷ 1980. Các nhà thống kê
xem "khai phá dữ liệu như là một quá trình phân tích được thiết kế
thăm dò một lượng cực lớn các dữ liệu nhằm phát hiện ra các mẫu
thích hợp và/hoặc các mối quan hệ mang tính hệ thống giữa các
sáng tỏ các mô tả và dự đoán. Trong bước này, kết quả tìm được
sẽ được biến đổi sang dạng phù hợp với lĩnh vực ứng dụng và dễ
hiểu hơn cho người dùng.
1.1.5. Sử dụng các tri thức phát hiện được
Các tri thức khám phá được sẽ được củng cố, kết hợp lại
thành một hệ thống, đồng thời giải quyết các xung đột tiềm năng
trong các tri thức đó. Các giai đoạn của quá trình khám phá tri 5
thức có mối quan hệ chặt chẽ với nhau trong bối cảnh chung của
hệ thống.
1.2. QUÁ TRÌNH KHAI PHÁ DỮ LIỆU
Khai phá dữ liệu là hoạt động trọng tâm của quá trình khám
phá tri thức. Thuật ngữ khai phá dữ liệu còn được một số nhà khoa
học gọi là phát hiện tri thức trong cơ sở dữ liệu.
Quá trình khai phá dữ liệu bắt đầu với kho dữ liệu thô và kết
thúc với tri thức được chiết xuất ra.
Hình. Kiến trúc hệ thống khai phá dữ liệu
Kiến trúc của hệ thống khai phá dữ liệu có thể chia thành các
thành phần chính như trong hình.
1.3. CÁC PHƯƠNG PHÁP KHAI KHÁ DỮ LIỆU
1.3.1. Phân lớp dữ liệu
Mục tiêu của phân lớp dữ liệu đó là dự đoán nhãn lớp cho các
mẫu dữ liệu. Quá trình gồm hai bước: xây dựng mô hình, sử dụng
mô hình để phân lớp dữ liệu (mỗi mẫu một lớp).
thành các lớp. Các giá trị của đối tượng dữ liệu chưa biết sẽ được
dự đoán, dự báo. 7
1.4. XỬ LÝ PHÂN TÍCH TRỰC TUYẾN
1.4.1. Về xử lý phân tích trực tuyến
Xử lý phân tích trực tuyến (OLAP) là một kỹ thuật sử dụng
cách thể hiện dữ liệu đa chiều gọi là các khối nhằm cung cấp khả
năng truy xuất nhanh đến dữ liệu của kho dữ liệu. Tạo khối cho dữ
liệu trong các bảng chiều và bảng sự kiện trong kho dữ liệu và
cung cấp khả năng thực hiện các truy vấn tinh vi và phân tích cho
các ứng dụng khách.
OLAP được đặt ra để xử lý các truy vấn liên quan đến lượng
dữ liệu rất lớn mà nếu cho thực thi các truy vấn này trong hệ thống
OLTP sẽ không thể cho kết quả hoặc sẽ mất rất nhiều thời gian.
1.4.2. Mô hình dữ liệu đa chiều
Các nhà quản lý kinh doanh có khuynh hướng suy nghĩ theo
“nhiều chiều”. Ví dụ như họ có khuynh hướng mô tả những gì mà
công ty làm như sau:
“Chúng tôi kinh doanh các sản phẩm trong nhiều thị
trường khác nhau, và chúng tôi đánh giá hiệu quả thực hiện
của chúng tôi qua thời gian”.
Những người thiết kế kho dữ liệu thường lắng nghe cẩn
thận những từ đó và họ thêm vào những nhấn mạnh đặc
biệt của họ như:
“Chúng tôi kinh doanh các sản phẩm trong nhiều thị
đa chiều.
9
Chương 2
HỆ THỐNG TRỢ GIÚP QUYẾT ĐỊNH
SỬ DỤNG PHÂN TÍCH ĐA CHIỀU TRONG
XỬ LÝ PHÂN TÍCH TRỰC TUYẾN
2.1. KIẾN TRÚC KHỐI OLAP
2.1.1. Giới thiệu dịch vụ OLAP của Microsoft SQL Server
Dịch vụ OLAP là một server tầng giữa phục vụ cho phân tích
xử lý trực tuyến. Hệ thống dịch vụ OLAP là một công cụ mạnh
trong việc xây dựng các khối đa chiều của dữ liệu cho phân tích và
cung cấp khả năng truy xuất nhanh đến thông tin khối cho các
khách.
Kiến trúc dịch vụ OLAP được chia thành 2 phần: Phần server
(được đại diện bởi OLAP server) và phần khách (là dịch vụ
PivotTable).
Hình. Kiến trúc OLAP
Các đặc điểm của dịch vụ OLAP: 10
11
Mô hình OLAP nhiều chiều (MOLAP) lưu trữ dữ liệu cơ sở
và thông tin tổng hợp trong các cấu trúc đa chiều gọi là các khối.
Các cấu trúc này được lưu bên ngoài cơ sở dữ liệu data mart hoặc
kho dữ liệu.
2.1.3.2. Mô hình OLAP quan hệ (ROLAP)
Mô hình OLAP quan hệ (ROLAP) lưu trữ dữ liệu cơ sở và
thông tin tổng hợp trong các bảng quan hệ. Các bảng này được lưu
trữ trong cùng cơ sở dữ liệu như là các bảng của data mart hoặc
kho dữ liệu.
Lưu trữ các khối trong cấu trúc ROLAP là tốt nhất cho các
truy vấn dữ liệu không thường xuyên.
2.1.3.3. Mô hình lai OLAP (HOLAP)
Mô hình OLAP lai (HOLAP) là sự kết hợp giữa MOLAP và
ROLAP.
2.1.3.4. So sách các mô hình
Bảng sau so sánh tổng hợp ba mô hình lưu trữ hỗ trợ OLAP:
MOLAP ROLAP HOLAP
Lưu trữ dữ liệu cơ sở Khối
Bảng quan hệ
Bảng quan hệ
Lưu trữ thông tin tổ
ng
hợp
có khả năng tạo và quản lý dữ liệu OLAP đa chiều, đồng thời cung
cấp dữ liệu cho khách qua dịch vụ PivotTable.
Các thao tác của thành phần Server bao gồm việc tạo các
khối dữ liệu đa chiều từ kho cơ sở dữ liệu quan hệ và lưu trữ 13
chúng trong các cấu trúc khối đa chiều (MOLAP), trong cơ sở dữ
liệu quan hệ (ROLAP) hoặc kết hợp cả hai (HOLAP).
2.1.5.2. Kiến trúc thành phần Khách
Thành phần khách là dịch vụ PivotTable giao tiếp với OLAP
server và cung cấp giao diện cho các ứng dụng khách sử dụng truy
cập dữ liệu OLAP trên server. Các ứng dụng khách có thể sử dụng
dịch vụ PivotTable để lấy dữ liệu từ cơ sở dữ liệu OLAP.
2.2. HỆ THỐNG TRỢ GIÚP QUYẾT ĐỊNH
2.2.1. Một số định nghĩa về DSS
Khái niệm về Hệ trợ giúp quyết định, DSS (Decision
Support System), lần đầu tiên được Scott Morton đưa ra vào đầu
năm 1970, ông định nghĩa là “Các hệ thống dựa trên tương tác
máy tính, giúp người ra quyết định dùng dữ liệu và các mô hình để
giải quyết những bài toán không cấu trúc”.
Ba định nghĩa khác về DSS cùng được đưa ra vào năm 1980
bởi Moore và Chang; Bonczek, Holsapple và Whinston; Keen,
Moore và Chang chỉ ra rằng khái niệm “Cấu trúc”, “không cấu
trúc”, không đủ ý nghĩa trong trường hợp tổng quát. Một bài toán
có thể được mô tả như là có cấu trúc hoặc không cấu trúc chỉ liên
quan tới người ra quyết định, do vậy họ định nghĩa DSS là:
sau đây.
2.2.3. Phân tích “What- if”
Một người làm mô hình tạo ra những dự đoán và những giả
định để đánh giá dữ liệu vào. Công việc này nhiều khi để đánh giá
tương lai không chắc chắn. Khi mô hình được giải quyết, các kết
quả tất nhiên phụ thuộc vào những dữ liệu này.
Phân tích nhạy cảm cố gắng kiểm tra sự tác động của những
sự thay đổi của dữ liệu vào trên những giải pháp được đề nghị
(Các biến kết quả). Kiểu này của phân tích nhạy cảm được gọi là
phân tích “ What – if”, bởi vì nó được cấu trúc như là “ Điều gì sẽ 15
xảy ra cho giải pháp nếu biến vào, giả thiết, hoặc giá trị các tham
số được thay đổi ”.
2.2.4. Những đặc tính và những khả năng của DSS
Những đặc tính và khả năng chính của DSS
1. Cung cấp trợ giúp chính cho người ra quyết định trong
những tình huống không cấu trúc hoặc nửa cấu trúc;
2. Sự trợ giúp được cung cấp cho các mức quản lý khác nhau
từ người thực thi đến các nhà quản lý;
3. Sự trợ giúp cho cá nhân và cho cả nhóm;
4. DSS trợ giúp cho các giai đoạn của quá trình ra quyết
định: Giai đoạn trí tuệ, thiết kế, lựa chọn và cài đặt;
5. DSS trợ giúp cho sự đa dạng của quá trình ra quyết định và
các kiểu quyết định;
6. DSS thích nghi và mềm dẻo;
Hệ con quản trị mô hình trong DSS bao gồm các thành phần
sau:
1. Cơ sở mô hình.
2. Hệ quản trị cơ sở mô hình.
3. Ngôn ngữ dùng trong mô hình.
4. Danh mục mô hình.
5. Thực hiện, tích hợp và điều khiển mô hình.
Các phần tử này và giao diện với những thành phần khác của
DSS được cho ở hình vẽ.
2.2.8. Hệ thống tri thức
Nhiều bài toán phi cấu trúc và bán cấu trúc rất phức tạp,
chúng yêu cầu những tri thức tinh thông, những tri thức này cần
thiết được bổ sung vào cho những khả năng bình thường của DSS,
những tri thức nâng cao được trang bị một thành phần được gọi là
quản trị tri thức.
2.2.9. Hệ thống giao diện người dùng 17
Thành phần hội thoại của DSS là phần mềm và phần cứng
cung cấp giao diện người dùng DSS.
2.2.10. Người dùng trong hệ thống DSS
DSS có hai lớp người dùng: Các nhà quản lý và các nhà
chuyên môn.
2.2.11. Sự phân lớp DSS và sự trợ giúp của chúng
Có nhiều cách phân loại DSS, sau đây là một số cách điển
hình:
Là đơn vị Nghiên cứu, Đào tạo đầu Ngành Bưu chính Viễn
thông, Học viện xác định nguồn nhân lực chính là tài sản quý giá
nhất, là tài sản cần được đầu tư một cách bài bản, chuyên nghiệp
và có định hướng lâu dài . Với đội ngũ cán bộ trên 800 người, Học
viện là một trong các đơn vị có mật độ tri thức cao nhất trong
Ngành.
3.1.1.2. Công tác đào tạo
Học viện là đơn vị đào tạo đa ngành, đa nghề với nhiều loại
hình đào tạo (Chính qui, Tại chức, Từ xa, Liên thông, Văn bằng
2 ) và hệ đào tạo (Cao đẳng, Đại học, Cao học, Nghiên cứu sinh)
khác nhau
3.1.2. Đặt vấn đề
3.1.2.1. Về kho dữ liệu
Kho dữ liệu là kho lưu trữ dữ liệu lưu trữ bằng thiết bị điện tử
của một tổ chức. Các kho dữ liệu được thiết kế để hỗ trợ việc phân
tích dữ liệu và lập báo cáo 19
Trong quá trình hoạt động kinh doanh, các dữ liệu của doanh
nghiệp phát sinh ngày càng nhiều. Người ta muốn tận dụng nguồn
dữ liệu này để sử dụng cho những mục đích hỗ trợ cho công việc
kinh doanh ví dụ như cho mục đích thống kê hay phân tích. Quá
trình tập hợp và thao tác trên các dữ liệu này có những đặc điểm
sau:
1. Dữ liệu tích hợp.
2. Theo chủ đề.
3.1.2.5. Nhiệm vụ khai phá dữ liệu của luận văn
Trong khuôn khổ luận văn này, tôi sử dụng kĩ thuật OLAP để
khai phá dữ liệu, trong kho dữ liệu nhiều chiều. Các dữ liệu về (i)
công tác quản lý sinh viên; (ii) kết quả học tập của sinh viên và
học viên; (iii) công trình nghiên cứu khoa học của thày cô giáo
trong Học viện Công nghệ Bưu chính Viễn thông…
Dựa trên dữ liệu cơ bản đó, để thực hiện công tác trợ giúp
quyết định, phục vụ quản lý, điều hành công tác đào tạo và nghiên
cứu khoa học trong Học viện Công nghệ Bưu chính Viễn thông,
luận văn sẽ:
1. Tổ chức dữ liệu, dưới dạng kho dữ liệu;
2. Thể hiện dữ liệu dưới dạng đồ hoạ, phục vụ quyết định
trực quan;
3. Sử dụng kĩ thuật OLAP, thể hiện dữ liệu dưới các dạng
bảng xoay khác nhau, tiện cho việc xử lí dữ liệu và ra
quyết định.
3.2. YÊU CẦU VỀ HỆ THỐNG, THIẾT KẾ HỆ THỐNG
3.2.1. Cơ sở dữ liệu về đào tạo và nghiên cứu khoa học
Hiện tại, Học viện chưa quản lý tác nghiệp rộng trên cơ sở dữ
liệu trực tuyến. Dữ liệu thường được tổ chức trong các cơ sở dữ
liệu đơn lẻ. Nhiệm vụ của đề tài luận văn là thiết kế cơ sở dữ liệu
tích hợp, cho phép lưu mọi thông tin về đào tạo và nghiên cứu
khoa học của cán bộ, học viên và sinh viên của Học viện. 21
Hệ quản trị cơ sở dữ liệu là SQL SERVER. Giao diện là
EXCEL, rồi được xử lý nhờ các chức năng OLAP của bảng tính.
Hệ quản trị cơ sở dữ liệu có thể giải thích kết quả trả lời câu
hỏi dữ liệu theo vết khai thác câu hỏi.
3.3. DỮ LIỆU TRỢ GIÚP QUYẾT ĐỊNH
Dữ liệu được mô tả, tổ chức và lưu trữ dưới dạng các bảng
quan hệ trong các cơ sở dữ liệu theo mô hình quan hệ.
Tuy nhiên, chúng được thể hiện lại trong các bảng tính, phù
hợp việc điều hành của cán bộ. Một số dữ liệu minh hoạ ở đây
được thể hiện dưới dạng bảng tính MS EXCEL.
3.4. THỬ NGHIỆM THỂ HIỆN DỮ LIỆU
3.4.1. Thể hiện đồ hoạ
3.4.2. Sử dụng bảng xoay của MS EXCEL
3.5. KẾT LUẬN CHƯƠNG
Dựa trên các kĩ thuật, phương pháp luận xử lý dữ liệu trực
tuyến, nhằm tăng cường công tác quản lý nguồn nhân lực tại Học
viện Công nghệ Bưu chính Viễn thông, đề tài luận văn đã tổ chức
cơ sở dữ liệu về đào tạo và nghiên cứu khoa học, sử dụng hệ quản
trị cơ sở dữ liệu SQL SERVER.
23
KẾT LUẬN
Một số vấn đề đã giải quyết:
Luận văn đã tìm hiểu các phương pháp khai phá dữ liệu, quá
trình khai phá dữ liệu, giới thiệu về OLAP, một kỹ thuật sử dụng
cách thể hiện dữ liệu đa chiều nhằm cung cấp khả năng truy xuất