1 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
PHẠM QUỐC HÙNG
NGHIÊN CỨU MÔ HÌNH BUSINESS
INTELLIGENCE (BI) ÁP DỤNG PHÂN TÍCH DỮ
LIỆU NẠP THẺ TRONG DOANH NGHIỆP VIỄN
THÔNG
Chuyên nghành: Khoa học máy tính
Mã số: 60.48.01
TÓM TẮT LUẬN VĂN THẠC SỸ
HÀ NỘI – 2012
2 Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
toàn cảnh hoạt động của tổ chức từ quá khứ, đến hiện tại cũng như
các dự đoán trong tương lai được áp dụng trong các lĩnh vực như: y
tế, giáo dục, tài chính, viễn thông sử dụng để thu thập, lưu trữ, phân
tích, tổng hợp xử lý dữ liệu nhằm giúp các nhà quản lý đưa ra các
quyết định hiệu quả. Việc đó giúp cho các nhà quản lý đưa ra các
quyết định hiệu quả hơn như: Xác định được vị trí và sức cạnh tranh
của doanh nghiệp, phân tích thói quen sử dụng dịch vụ của khách
hàng, xây dựng và xác định chiến lược kinh doanh, dự đoán tương lai
của doanh nghiệp, và yếu tố quan trọng là giữ được khách hàng có
giá trị và dự đoán khách hàng tiềm năng.
Có thể nói rằng, các nhà cung cấp dịch vụ viễn thông đang
quản lý một khối lượng khách hàng lớn như hiện nay, kèm theo đó là
các dịch vụ giá trị gia tăng, khối lượng thông tin và công việc khổng
4 lồ, nhưng dữ liệu đó không có khả năng liên kết với nhau, nên các
nhà quản lý dù có nỗ lực đến đâu cũng khó có thể kiểm soát tất cả
mọi hoạt động của tổ chức theo cách truyền thống. Bên cạnh đó, việc
ứng dụng phần mềm quản lý kinh doanh tại các doanh nghiệp viễn
thông trên toàn quốc còn mang tính riêng lẻ và tự phát. Hậu quả của
việc này là các phần mềm không đồng bộ, cấu trúc dữ liệu rời rạc
không tập trung, gây lãng phí và tốn kém.
Trước thực trạng một số hạn chế như hiện nay, học viên đề
xuất việc “Xây dựng hệ thống phân tích số liệu nạp thẻ trong
doanh nghiệp viễn thông” dựa trên kiến trúc của hệ thống hỗ trợ
quyết định BI với mong muốn nâng cao chất lượng công tác điều
hành, quản lý, khai thác kinh doanh các dịch vụ.
Nội dung và mục tiêu của luận văn gồm 3 phần chính:
Chương 1: Kinh doanh thông minh. Cung cấp cái nhìn tổng
nào đến việc hỗ trợ ra quyết định,? Lợi ích mà BI mang lại cho
doanh nghiệp tổ chức?
1.1 Giới thiệu
Các doanh nghiệp đã nhận ra rằng họ chỉ có thể thành công
bằng tiên phong trong vấn đề nhận ra các xu hướng và cơ hội của thị
trường, từ đó đáp ứng nhanh cho các nhu cầu của khách hàng mới.
Thêm vào đó, các nhân viên cần phải ưu tiên cho hoạt động của
doanh nghiệp và phí tổn để bảo đảm có được hiệu quả sử dụng cao
nhất của tài nguyên doanh nghiệp và tạo các quyết định trong công
việc một cách hiệu quả nhất
Ngày nay, việc áp dụng các nền tảng công nghệ thông tin
vào công việc kinh doanh ngày càng được các doanh nghiệp quan
tâm và áp dụng. Đó là các hệ thống Quản trị doanh nghiệp (ERP),
Quản lý mối quan hệ khách hàng(CRM), Hệ thống tính cước và
chăm sóc khách hàng (BCCS)… giúp quản lý và điều hành toàn bộ
doanh nghiệp. Nhiều doanh nghiệp hiện nay đã hoạt động hoàn toàn
dựa trên các hệ thống này, hay nói cách khác họ đã “số hóa” hoạt
động của toàn doanh nghiệp. Ở các nước phát triển, thuật ngữ
Business Intelligence (BI - tạm dịch là giải pháp kinh doanh thông
minh hoặc trí tuệ doanh nghiệp) không còn mới mẻ, tuy nhiên, ở Việt
Nam chúng ta lĩnh vực này vẫn đang ở mức sơ khai.
7 1.1.1 Business Intelligence là gì ?
BI là một qui trình có tích hợp công nghệ mà các doanh
nghiệp dùng để kiểm soát khối lượng dữ liệu khổng lồ đến từ nhiều
nguồn khác nhau và khai thác nguồn dữ liệu đó.
1.2 Khái niệm về mô hình BI
1.2.1 Khái niệm hệ hỗ trợ ra quyết định BI
-
Công cụ phân tích
trực tuyến
- Các phân tích đa
chiều
- Các KPI
- Dự báo
- Phân tích thống
kê dữ liệu
-
Mạng nơron thần
kinh
Khai phá dữ liệuHình 1-1: Hỗ trợ ra quyết định
8 1.2.3 Mục tiêu và nhiệm vụ của kinh doanh thông minh
Mục đích của hệ thống BI được là giải pháp biến đổi dữ liệu
từ kho dữ liệu hoặc dữ liệu chủ đề thành thông tin và tri thức, từ cách
tổng hợp, phân tích các thông tin đó doanh nghiệp có được các tư
duy chiến lược, hành động hiệu quả hoặc giá trị của hệ thống BI
mang đến sự đúc kết các ý tưởng đem lại.
1.3 Kiến trúc và thành phần mô hình BI
Vấn đề cốt lõi trong hỗ trợ quyết định BI là phân tích dữ liệu
trực tuyến (OLAP) và khai phá dữ liệu (Data Mining) trong kho dữ
liệu (Data Warehouse) vì dữ liệu dùng trong BI là dữ liệu tổng hợp
Định nghĩa: “Kho dữ liệu (Data Warehouse) là tập hợp của
các CSDL tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức
10 năng trợ giúp quyết định mà mỗi đơn vị dữ liệu đều liên quan tới một
khoảng thời gian cụ thể”.
1.3.2.1 Một data warehouse thường có các tính chất sau :
Dữ liệu có tính tích hợp, Dữ liệu gắn thời gian và có tính lịch
sử:,Dữ liệu tổng hợp và chi tiết, Lưu trữ lâu dài, Bất biến theo thời
gian, Dữ liệu chỉ đọc:
1.3.2.2 Các lớp kiến trúc của một Data Warehouse thông thường
1.3.2.3 Kho dữ liệu chủ đề (Datamart)
Có thể chia Datamart ra làm 2 loại:
Datamart phụ thuộc: chứa những dữ liệu được lấy từ kho dữ
liệu và những dữ liệu này sẽ được trích lọc, tinh chế, tích hợp lại ở
mức cao hơn để phục vụ một chủ đề nhất định.
Datamart độc lập: không giống như Datamart phụ thuộc, nó
được xây dựng trước kho dữ liệu và dữ liệu được lấy từ các nguồn dữ
liệu tác nghiệp
1.3.3 Xử lý dữ liệu trực tuyến (OLAP)
1.3.3.1 Khái niệm
OLAP là một kỹ thuật sử dụng các biểu diễn dữ liệu đa chiều
gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến
dữ liệu của kho dữ liệu.
1.3.3.2 Phân tích đa chiều
Các thao tác phân tích trên dữ liệu đa chiều:
- Cuộn lên (Roll up):
11
Trong chương này sẽ nhấn mạnh về hai thành phần chính
của khai phá dữ liệu, tương đối phổ biến nhất trong công tác dự báo
hiện nay và được các doanh nghiệp ứng dụng công nghệ Business
Intelligence
2.1 Mô hình và hỗ trợ quyết định
2.1.1 Vai trò của các mô hình toán học
Một hệ hỗ trợ quản trị cung cấp việc hỗ trợ ra quyết định với
thông tin và tri thức được trích rút ra từ dữ liệu thông qua việc áp
dụng các mô hình toán học và các giải thuật. Trong một vài trường
hợp, hành động này có thể giảm bớt việc tính tổng và phần trăm,
được biểu diễn bởi các đồ thị đơn giản, trong khi đó những phân tích
thí nghiệm yêu cầu việc phát triển tối ưu hóa nâng cao và mô hình
máy học.
2.1.2 Các mô hình toán học hỗ trợ ra quyết định
Các mô hình toán học chính cho việc ra quyết định bao gồm:
Mô hình dự báo (predictive model)
Mô hình tự học và nhận mẫu
Mô hình tối ưu (optimazation models)
Mô hình quản lý dự án (project management models)
Mô hình phân tích nguy cơ (risk analysis models)
Mô hình đường đợi (waitiong line models)
14 2.1.2.1 Mô hình dự báo
Mô hình này được sử dụng nhiều đáng kể trong cách hệ
thống hỗ trợ quản trị, cũng như đối với mô hình tối ưu, yêu cầu dữ
liệu đầu vào có liên quan tới các sự kiện trong tương lai.
2.1.2.2 Mô hình máy học và nhận biết mẫu
Mục tiêu của mô hình này là phát triển khả năng thông minh
2.1.2.6 Mô hình đường đợi
Mục đích của lý thuyết hàng đợi là điều tra hiện tượng tắc
nghẽn xảy ra khi nhu cầu và khả năng cung cấp của một dịch vụ
ngẫu nhiên trong hoạt động hàng ngày
2.2 Vận dụng phương pháp toán học để phân loại dữ liệu
Các giải thuật được đề cập bao gồm: Cây quyết định
(decision trees), Phân lớp sử dụng Naïve Bayes, Thuật toán K – Láng
giềng gần nhất.
2.2.1 Cây quyết định
Trong lĩnh vực học máy, cây quyết định là một kiểu mô hình
dự báo (predictive model), nghĩa là một ánh xạ từ các quan sát về
một sự vật/hiện tượng tới các kết luận về giá trị mục tiêu của sự
vật/hiện tượng. Mỗi một nút trong (internal node) tương ứng với một
biến; đường nối giữa nó với nút con của nó thể hiện một giá trị cụ thể
16 cho biến đó. Mỗi nút lá đại diện cho giá trị dự đoán của biến mục
tiêu, cho trước các giá trị của các biến được biểu diễn bởi đường đi
từ nút gốc tới nút lá đó. Kỹ thuật học máy dùng trong cây quyết định
được gọi là học bằng cây quyết định, hay chỉ gọi với cái tên ngắn
gọn là cây quyết định
2.2.2 Phân lớp sử dụng Naïve Bayes
Là phương pháp học phân lớp có giám sát và dựa trên xác
suất. Việc phân loại dựa trên các giá trị xác suất của các khả năng
xảy ra của các giả thiết. Là một trong các phương pháp học máy
thường được sửa dụng trong các bài toán thực tế.
2.2.3 K – láng giềng gần nhất
Thuật toán K láng giềng gần nhất nên được dùng khi các ví
dụ được biểu diễn là các vector trong không gian số thực. Số lượng
CNTT không phải là đồng đều và được chú trọng như nhau
Mỗi đơn vị một kiểu
Như đã nói ở trên, tình trạng hiện nay của các đơn vị viễn
thông sử dụng các phần mềm quản lý do doanh nghiệp trong nước
phát triển hoặc do đơn vị tự phát triển, do đó đã không nhất quán về
18 cấu trúc dữ liệu, dữ liệu rời rạc không tập chung gây khó khăn trong
công tác quản lý hoặc tích hợp hệ thống cơ sở dữ liệu dùng chung
3.1.2 Áp dụng BI vào các doanh nghiệp viễn thông như thế nào?
“Vấn đề quan trọng trong hoạt động kinh doanh viễn thông là khả
năng nắm bắt thông tin về ai đã bán cái gì cho ai và khi nào?”. Do
đó, việc thiết lập các báo cáo tổng hợp, thống kê sản lượng, dự báo
và kế hoạch bán hàng sẽ có thể mất vài giờ, thậm chí vài ngày nếu
thực hiện thủ công trên Excel hoặc tổng hợp trên văn bản giấy do
mất nhiều thời gian thiết lập báo cáo, kiểm tra, so sánh đối chiếu các
số liệu. Đây là điều thường xảy ra ở rất nhiều doanh nghiệp không có
hệ thống quản lý hiệu quả. Và quan trọng hơn là các số liệu báo cáo
luôn có độ sai lệch lớn giữa các đơn vị, phòng ban, các nhân viên
làm báo cáo và nhà quản lý sẽ không biết số liệu nào là đáng tin cậy.
3.1.3 Phân tích hệ thống báo cáo di động hỗ trợ quyết định
Hệ thống báo cáo số liệu, biểu đồ phân tích hiện tại của đơn
vị Viễn thông được xây dựng dựa trên nhu cầu thực tế của người
dùng, do đó một trong những nhiệm vụ quan trọng khi xây dựng hệ
thống là thu thập, phân tích và xử lý đầy đủ các biểu mẫu và tiêu chí
báo cáo hiện tại đang được sử dụng trong công tác báo cáo tình hình
hoạt động sản xuất kinh doanh tại đơn vị.
Dựa vào kết quả thu thập và phân tích ở trên học viên sẽ thiết
kế hệ thống báo cáo, biểu đồ để phục vụ hệ thống báo cáo phục vụ
Hình 3-1: Mô hình kết nối trích xuất dữ liệu
3.2.3 Đề xuất mô hình triển khai thử nghiệm
Dữ liệu, số liệu của các hệ thống như ERP, CRM, (CSS),
Prepaid…, các dữ liệu đó sẽ được công cụ ETL sẽ trích rút, làm sạch
thông tin loại bỏ dữ liệu lỗi, dữ liệu nhiễu,… theo các tiêu chí lỗi
được định nghĩa bởi nhà cung cấp và chuyển về kho dữ liệu chung
của hệ thống. Với hệ thống cơ sở dữ liệu đã được xây dựng, các
thông tin sẽ được đưa về những khu vực lưu trữ thích hợp.
Quy trình diễn ra như sau:
21
Hình 3-2: Đề xuất mô hình triển khai
Kho dữ liệu bao gồm các thành phần thiết yếu như sau:
- Các nguồn dữ liệu tác nghiệp ODS (Operating Data Sources).
- Chuyển đổi và xuất ra dữ liệu
- Tóm lược và làm giàu dữ liệu
- Hệ thống quản lí các CSDL của kho dữ liệu.
- Quản lý các dữ liệu hướng chủ đề (datamart).
- Công cụ báo cáo truy nhập và phân tích, các báo cáo thống kê,
biểu đồ thể hiện dữ liệu
3.2.4 Thiết kế cấu trúc dữ liệu theo hướng chủ đề (datamart) thử
nghiệm
Để thiết kế cơ sở dữ liệu học viên sử dụng phương pháp
được ứng dụng rộng rãi và hiệu quả là: Giản đồ hình sao(Star
Diagram) và Giản đồ hình tuyết rơi (Snowflake)
3.3 Ứng dụng triển khai thử nghiệm
Với đặc thù riêng biệt của ngành viễn thông, hệ thống hỗ trợ
ra quyết định khi triển khai phải đáp ứng nhu cầu xử lý rất lớn - có
hiện thiết kế báo cáo bằng excel theo các bước thực hiện như sau
Bước 1: Tại bảng sheet 1 trong file excel thực hiện viết câu lệnh
SQL để thực hiện phân tich, thống kê, tổng hợp số liệu báo cáo theo
tiêu chí của lãnh đạo
Hình 3-4: Mẫu thiết kế câu lệnh báo cáo
Bước 2: Sau khi đã hoàn thành viết lệnh lấy dữ liệu ở sheet 2 trong
file excel thực hiện thiết kế giao diện của báo cáo
24
Hình 3-5: Thiết kế giao diện báo cáo
Bước 3: Hiển thị số liệu báo cáo tổng hợp nạp thẻ theo ngày
Hình 3-6: Hiển thị số liệu báo cáo nạp thẻ theo ngày
Hiển thị theo hình thức biểu đồ của báo cáo thống kế số liệu tổng
hợp nạp thẻ theo ngày
25
Hình 3-7: Biểu đồ báo cáo nạp thẻ tổng hợp
3.3.3 Đánh giá kết quả thử nghiệm
Trong quá trình cài đặt thử nghiệm theo mô hình đề xuất,
học viên nhận thấy được một số lợi ích được đối chiếu so sánh trong
hình dưới đây
Các yếu tố \ Kết
quả
Chưa triển khai Khi triển khai