LỜI CAM ĐOAN
Tôi xin cam đoan:
1 Những nội dung trong luận văn này là do tôi thực hiện dưới sự hướng
dẫn trực tiếp của PGS. TS. Phan Huy Khánh.
2 Mọi tham khảo dùng trong luận văn đều được trích dẫn rõ ràng tên tác
giả, tên công trình, thời gian, địa điểm công bố.
3 Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi
xin chịu hoàn toàn trách nhiệm.
Tác giả
Võ Phi Thanh
MỤC LỤC
DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG ANH IV
DANH MỤC CÁC HÌNH V
DANH MỤC CÁC BẢNG VI
MỞ ĐẦU 1
1. Lý do chọn đề tài 1
2. Mục tiêu và nhiệm vụ 2
3. Đối tượng và phạm vi nghiên cứu 3
4. Phương pháp nghiên cứu 3
5. Ý nghĩa khoa học và thực tiễn của đề tài 3
6. Bố cục của luận văn 3
CHƯƠNG 1 TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY 5
1.1. KHO DỮ LIỆU 5
!"#
$%&'()*+(",
1.2. ĐIỆN TOÁN ĐÁM MÂY 16
*#
!*-
H"T#
3.3. XÂY DỰNG VÀ TRIỂN KHO DỮ LIỆU TRÊN GOOGLE APP ENGINE 66
_("P"J?@5(678(69578:##
18Q65(6%(8Q6`#,
H% a6#,
$H "@>(4(" Z578A
3.4. ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM 77
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 79
TÀI LIỆU THAM KHẢO 80
PHỤ LỤC 82
DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG VIỆT
CSDL Cơ sở dữ liệu
CBGV Cán bộ giáo viên
CNTT Công nghệ thông tin
CT Chương trình
DS Danh sách
ĐTĐM Điện toán đám mây
HP Học phần
HSSV Học sinh sinh viên
HT Hệ thống
KQ Kết quả
QL Quản lý
SXKD Sản xuất kinh doanh
TCCN Trung cấp chuyên nghiệp
TCKTQB Trung cấp kinh tế Quảng Bình
DANH MỤC CÁC TỪ VIẾT TẮT TIẾNG ANH
API Application Programming Interface
DW Data Warehouse
ETL Extract Transform Load
HTTP Hypertext Transfer Protocol
Top 10 lĩnh vực công nghệ chiến lược năm 2010 và
sự phát triển trong những năm gần đây
32
2.1 Mô hình giải pháp ĐTĐM 43
2.2 Quá trình tích hợp dữ liệu 44
2.3 Biểu đồ ca sử dụng người quản lý đào tạo 46
2.4 Biểu đồ ca sử dụng học sinh 47
2.5 Biểu đồ ca sử dụng giáo viên 47
2.6 Biểu đồ ca sử dụng người quản trị hệ thống 48
2.7 Biểu đồ ca sử dụng người dùng hệ thống 48
3.1 Sơ đồ kho dữ liệu đào tạo 59
3.2 Lược đồ quan hệ CSDL điểm học sinh 60
3.3 Đăng ký tài khoản GAE bước 1 65
3.4 Đăng ký tài khoản GAE bước 2 66
3.5 Đăng ký tài khoản GAE bước 3 66
3.6 Đăng ký tài khoản GAE bước 4 67
3.7 Giao diện ứng dụng GAE 68
3.8 Cấu trúc thư mục Project 69
3.9 Giao diện đăng nhập hệ thống 71
3.10 Giao diện chương trình quản lý đào tạo 71
3.11 Giao diện chương trình quản lý giáo viên 72
3.12 Giao diện chương trình quản lý học tập 73
3.13 Giao diện chương trình quản lý học phần 74
3.14 Giao diện chương trình quản ly thư viện 75
3.15 Giao diện chương trình quản lý phòng học 76
DANH MỤC CÁC BẢNG
Số hiệu
bảng
Tên bảng Trang
2.1 Số doanh nghiệp đang hoạt động SXKD 3 năm gần đây 35
lớn, chi phí sử dụng các phần mềm, quản lý hệ thống cũng tăng. Trong khi
nhu cầu lưu trữ, xử lý thông tin nhanh chóng, chính xác nên các doanh
nghiệp, các tổ chức tăng cường ứng dụng CNTT. Do áp lực cạnh tranh, mong
muốn ứng dụng CNTT hiệu quả nhưng lại giảm chi phí luôn đặt ra.
Trong thời gian gần đây, chủ đề ĐTĐM được nhắc đến nhiều nhất trong
các sự kiện công nghệ, bất kỳ tạp chí công nghệ, các trang Web, blog về IT
đều đề cập đến ĐTĐM. Theo khảo sát mới đây của hãng nghiên cứu Gartner,
tốc độ phát triển ĐTĐM trên toàn thế giới đã đạt mức 17% hàng năm trong
khi hơn 50% doanh nghiệp, tổ chức tham gia đều triển khai điện toán đám
mây dưới hình thức này hay hình thức khác. [25]
Hiện nay, ĐTĐM được dự đoán là “cơn sóng thần công nghệ”. Không
nằm ngoài xu thế chung của thế giới, Việt Nam dần tiếp cần ĐTĐM thông
qua các nhà cung cấp như Google, IBM, Microsoft, Nhiều công ty tại Việt
Nam đã triển khai ĐTĐM như FPT, Sacombank, Misa,
Để giảm thiểu chi phí và tăng cường ứng dụng CNTT trong quản lý đào
tạo nhằm tăng hiệu quả đào tạo thì việc ứng dựng điện toán đám mây mang
lại nhiều lợi ích.
Mặt khác, quản lý dữ liệu đào tạo gồm nhiều dữ liệu không tương thích
với nhau, khi dữ liệu ngày càng khổng lồ thì việc truy xuất, thống kê, phân
1
loại càng khó khăn. Nhà quản lý còn mong muốn phân tích dữ liệu có khả
năng hỗ trợ các quyết định thì xây dựng kho dữ liệu giúp ích được điều đó.
Trong khi đó nhu cầu đào tạo của Trường Trung cấp Kinh tế Quảng Bình
ngày càng mở rộng, với chủ trương nhà trường mở nhiều mã ngành mới nhằm
đa dạng hóa ngành nghề đào tạo và đáp ứng nhu cầu xã hội. Hiện trạng quản
lý dữ liệu chưa đồng bộ, tính hệ thống chưa cao, việc tiếp cận nguồn dữ liệu
cần thiết đối với cán bộ, giáo viên, học sinh, người quản lý còn hạn chế.
Công tác lưu trữ dữ liệu chưa đảm bảo, chủ yếu lưu trữ trên từng máy do từng
cá nhân phụ trách. Chưa tiến hành phân tích dữ liệu để hỗ trợ các quyết định
của nhà quản lý. Thông qua mối quan hệ chương trình đào tạo, các khâu quản
Về thực tiễn, đề tài xây dựng ứng dụng nhằm giảm chi phí nguồn lực
CNTT, quản lý dữ liệu đào tạo khoa học, hỗ trợ nhà quản lý đưa ra quyết định
kịp thời góp phần nâng cao hiệu quả đào tạo của nhà trường.
6. Bố cục của luận văn
Luận văn gồm có 3 chương:
Chương 1: Tìm hiểu kho dữ liệu và điện toán đám mây
Tìm hiểu, nghiên cứu về kho dữ liệu (Data Warehouse), một số khái
niệm cơ bản, đặc điểm, phân loại, sử dụng
Tìm hiểu, nghiên cứu tổng quan về điện toán đám mây (Cloud
Computing), một số khái niệm cơ bản, tìm hiểu về kiến trúc, mô hình chung
của điện toán đám mây, tìm hiểu một số sản phẩm ứng dụng công nghệ này.
3
Chương 2: Phân tích và thiết kế hệ thống
Phân tích hiện trạng công tác đào tạo tại Trường TCKTQB, nhu cầu cầu
xây dựng kho dữ liệu và đề xuất giải pháp ứng dụng ĐTĐM xây dựng kho
dữ liệu
Chương 3: Xây dựng ứng dụng
Thiết kế kho dữ liệu, thiết kế báo cáo, phân tích dữ liệu. Xây dựng và
triển khai kho dữ liệu trên nền tảng đám mây của Google
4
CHƯƠNG 1
TÌM HIỂU KHO DỮ LIỆU VÀ ĐIỆN TOÁN ĐÁM MÂY
1.1. KHO DỮ LIỆU
1.1.1. Khái niệm về Kho dữ liệu
Có nhiều cách định nghĩa về Kho dữ liệu (Data Warehouse - DW)
Kho dữ liệu là kho lưu trữ dữ liệu lưu trữ bằng thiết bị điện tử của một tổ
chức. Các kho dữ liệu được thiết kế để hỗ trợ việc phân tích dữ liệu và lập báo
cáo. [12]
Kho dữ liệu là tập hợp các CSDL tích hợp, hướng chủ đề, ổn định, gắn
với thời gian, được thiết kế để hỗ trợ cho chức năng ra quyết định trong công
Khái niệm: Data Mart cũng là một cơ sở dữ liệu có những đặc điểm
giống với kho dữ liệu nhưng quy mô của nó nhỏ hơn và lưu trữ dữ liệu
về một lĩnh vực, một chuyên ngành cụ thể.
Phân loại Data Mart: Gồm Data Mart phụ thuộc và Data Mart độc lập
Siêu dữ liệu (Metadata): Metadata là một loại “dữ liệu về dữ liệu”, nó
được xây dựng nhằm mục đích mô tả cấu trúc nội dung về dữ liệu bên trong
cơ sở dữ liệu. Metadata có ý nghĩa đặc biệt quan trọng trong việc xây dựng
và tổ chức lưu trữ dữ liệu của Data Warehouse.
1.1.3. Kiến trúc kho dữ liệu
a. Kiến trúc kho dữ liệu
Mô hình kiến trúc của kho dữ liệu cơ bản gồm có ba thành phần:
Nguồn dữ liệu, khu vực xử lý và kho dữ liệu.
6
Hình 1.1. Mô hình kiến trúc kho dữ liệu
- Nguồn dữ liệu: Nguồn dữ liệu của kho dữ liệu có thể từ rất nhiều
nguồn khác nhau và có cấu trúc dữ liệu khác nhau, bao gồm các hệ thống
trong và ngoài của một tổ chức, rất phong phú về chủng loại. Các hệ thống
nằm trong được coi như các hệ thống nguồn hoặc các hệ thống đã có sẵn. Dữ
liệu từ các hệ thống nguồn thường hỗn tạp và chứa nhiều cấu trúc khác nhau
ví dụ: các cơ sở dữ liệu, từ các file excel, các file thô, hay dạng XML Vì thế
trước khi đưa vào kho dữ liệu cần phải chuyển đổi và tích hợp dữ liệu.
- Vùng xử lý: Dữ liệu phát sinh từ các hoạt động hàng ngày được thu
thập, xử lý để phục vụ công việc cụ thể của một tổ chức thường được gọi là
dữ liệu tác nghiệp và hoạt động thu thập xử lý loại dữ liệu này được gọi là xử
lý giao dịch trực tuyến (OLTP). Dữ liệu tại các CSDL tác nghiệp được lấy
từ nhiều nguồn khác nhau nên dễ bị nhiễu, hỗn tạp dẫn đến dữ liệu không
sạch, không toàn vẹn. Do đó việc kiểm tra dữ liệu, làm sạch dữ liệu phải
được tiến hành ngay tại đây nhằm bảo đảm tính toàn vẹn, tính đúng đắn,
tính nhất quán dữ liệu trước khi đưa vào kho dữ liệu đích. Thông thường
người ta sử dụng các công cụ trích xuất, chuyển đổi và nạp dữ liệu (ETL).
thống đối tượng có thể kết nối với nhiều đối tượng khác. Mô hình này thể
hiện cách nhìn của người sử dụng về nhiều vấn đề trong tác nghiệp. Trong sơ
đồ hình sao, dữ liệu được xác định và phân loại theo 2 kiểu:
- Các sự kiện được tổ chức thành bảng sự kiện
- Phạm vi, hay các chiều của dữ liệu, được tổ chức thành các bảng
chiều.
Hình 1.3. Mô hình hình sao
9
Mô hình sao không hỗ trợ tốt cho các bảng chứa các thuộc tính phân
cấp. Mô hình bông tuyết (SnowFlake Schema) đưa ra giải pháp cho mô hình
sao khi bảng có thuộc tính phân cấp.
- Lược đồ hình tuyết rơi (Snowflake): Lược đồ này là mở rộng của lược
đồ hình sao. Khi một bảng chiều trở lên phức tạp hàm chức các quan hệ dữ
liệu thì có thể tách thành nhiều bảng. Các bảng được tách có quan hệ với bảng
chiều tạo lên hình dạng tuyết rơi. Công việc này cũng chính là chuẩn hóa dữ
liệu cho bảng chiều.
Hình 1.4. Mô hình bông tuyết
Tùy theo thực tế mà ta lựa chọn lược đồ hình sao hay hình tuyết rơi.
Việc lựa chọn được cân nhắc giữa hai yếu tố: thời gian đáp ứng truy vấn và
mức độ kiểm soát tính chặt chẽ dữ liệu. Mô hình bông tuyết có thể thích hợp
khi dữ liệu bảng chiều trở lên quá lớn và nhiều thuộc tính. Tuy sự khác nhau
10
thể hiện rất rõ về mặt lý thuyết nhưng khi thực hiện chúng trong thực tế có thể
dẫn tới các kết quả khác nhau.
- Mô hình dữ liệu nhiều chiều (lược đồ kết hợp: Là kết hợp giữa sơ đồ
hình sao dựa trên bảng sự kiện và những bảng chiều không chuẩn hóa theo
các chuẩn 1, 2, 3 và sơ đồ hình tuyết rơi trong đó tất cả các bảng chiều đều đã
được chuẩn hóa. Trong sơ đồ loại này chỉ những bảng chiều lớn là được
chuẩn hóa còn những bảng khác chứa một khối lượng lớn các cột dữ liệu
chưa được chuẩn hóa.
Chỉ xây dựng quầy dữ liệu (Data Mart). Kiến trúc này phù hợp cho các
Phòng, Ban trong tổ chức có nhu cầu riêng.
Chỉ xây dựng kho dữ liệu. Trong kiến trúc này, các phép xử lý đối với
các nguồn dữ liệu như: làm sạch, tích hợp, tổng hợp, v.v. sẽ được sử dụng
chung cho mọi ứng dụng.
12
Xây dựng kho dữ liệu và cả quầy dữ liệu. Mỗi bộ phận có tiểu kho,
được đặt trong một cơ cấu thống nhất được gọi là tổng kho, hay kho dữ liệu
liên hợp. Đây chính là kiến trúc ba tầng đã phân tích.
Kiến trúc Client/Server gồm hai lớp chình: lớp Server và lớp Client.
Server thực hiện các chương trình trong kho, quầy dữ liệu và lưu trữ dữ liệu
vào kho. Client thực hiện các chương trình khai thác, lập báo cáo, lưu trữ dữ
liệu cục bộ, v.v.
Xây dựng chương trình và dự kiến ngân sách
Xây dựng chương trình gồm: Chương trình hành động với chương trình
dự án. Chương trình hành động bao gồm các kế hoạch tổng hợp về các ứng
dụng kho dữ liệu và vai trò của nó trong tổ chức, xã hội. Chương trình dự án
là các kế hoạch thực hiện cụ thể kho dữ liệu, nó phải phù hợp với thứ tự ưu
tiên công việc mà chương trình hành động nêu trên đề ra.
Dự trù ngân sách tương xứng với chương trình phát triển hệ thống, bao
gồm tất cả các kinh phí hoạt động: Phân tích, thiết kế, cài đặt, duy trì, v.v.
- Phân tích các yêu cầu hệ thống
Yêu cầu về kiến trúc: Kiến trúc hệ thống là rất quan trọng, nó quyết định
nhiều tính chất và các khả năng của kho dữ liệu. Kiến trúc là cơ sở để thiết lập
các thành phần của một kho dữ liệu nhằm đáp ứng các nhu cầu hiện tại và
tương lai của một tổ chức. Khi xây dựng kho dữ liệu cần lưu ý tới ba loại kiến
trúc sau: Kiến trúc dữ liệu, kiến trúc chương trình ứng dụng, kiến trúc công
nghệ.
Yêu cầu người phát triển hệ thống: Những người xây dựng hệ thống
thường quan tâm đến những vấn đề cụ thể của kho dữ liệu. Họ có những yêu
14
nghiệp và đưa chúng vào một khuôn dạng thích hợp cho các ứng dụng thông
tin. Có nhiều công cụ có sẵn thường chỉ có ích cho việc tinh chế những dữ
liệu đơn giản. Do đó việc phát triển những thủ tục tinh chế cho một số lĩnh
vực ứng dụng là cần thiết cho việc tinh chế dữ liệu. Các công đoạn thực hiện
bao gồm: Bóc tách dữ liệu; lọc, làm sạch dữ liệu; thẩm định dữ liệu; gộp, kết
tập dữ liệu; tải dữ liệu vào kho; lưu trữ, phân tán, phân phối dữ liệu.
Quá trình này gồm các bước sau:
Hình 1.6. Quá trình tạo lập dữ liệu của kho dữ liệu
- Duy trì và triển khai kho dữ liệu
Triển khai liên quan đến ngoài kho dữ liệu, siêu dữ liệu còn liên quan
đến việc thực hiện, quản lí các nhu cầu về công cụ truy vấn của người sử
dụng đầu cuối, lưu trữ các dữ liệu cũ. Giai đoạn triển khai đưa những thành
phần phụ và cố định vào kho dữ liệu. Giai đoạn triển khai đưa vào các phần
trang trí và những bộ phận bất động vào kho dữ liệu. Tại giai đoạn này, công
cụ truy nhập và phân tích đã phải được lựa chọn để cung cấp tập kết quả. Việc
triển khai kho dữ liệu ảnh hưởng tới 3 vùng chính:
- Công ty.
- Toàn bộ thông tin trợ giúp.
15
- Những người sử dụng đầu cuối.
1.2. ĐIỆN TOÁN ĐÁM MÂY
1.2.1 Khái niệm về điện toán đám mây
a. Lịch sử phát triển
Hình 1.7. Sáu mô hình máy tính [3]
(Adapted from Voas and Zhang (2009))
16
Thuật ngữ điện toán đám mây xuất hiện bắt nguồn từ ứng dụng điện toán
lưới (grid computing) trong thập niên 1980, tiếp theo là điện toán theo nhu
cầu (utility computing) và phần mềm dịch vụ (SaaS).
bằng công nghệ, hình thức nào và phương thức quản lý như thế nào để tạo ra
và duy trì các dịch vụ đó, mà chỉ quan tâm làm thế nào để có thể truy cập sử
dụng dịch vụ và mức độ an toàn, tin cậy của dịch vụ được cung cấp có đáp
ứng được như cầu của mình hay không.
1.2.2. Kiến trúc điện toán đám mây
Kiến trúc mô hình ĐTĐM gồm bốn tầng như sau:
Tầng ứng dụng
(Aplication Layer)
Tầng nền tảng
(Platform Layer)
Tầng tài nguyên hợp nhất
(Unified Resource Layer)
Tầng thiết bị
(Fabric Layer)
Hình 1.8. Kiến trúc ĐTĐM [5]
Tầng kết cấu thiết bị (Fabric Layer): Tầng này chịu trách nhiệm cung cấp
các tài nguyên khác nhau như là sức mạnh tính toán, các kho lưu trữ, các tài
nguyên mạng và kho mã. Điều này có nghĩa là không giới hạ các nguồn tài
18
Copyright: Tài liệu đại học ©