1
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
Đồng Thị Tuyết Chinh
TÌM HIỂU MÔ HÌNH QUẢN LÝ VÀ TRUY XUẤT DỮ LIỆU ĐÁM MÂY
IDRAGON ỨNG DỤNG CHO THIẾT BỊ DI ĐỘNG
Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01
TÓM TẮT LUẬN VĂN THẠC SĨ
HÀ NỘI - 2012
2 Luận văn được hoàn thành tại:
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: ……………………………………………………………
(Ghi rõ học hàm, học vị) Phản biện 1: ……………………………………………………………………………
Phản biện 2: …………………………………………………………………………
Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công
người sử dụng đầu cuối, qua môi trường Internet (các đám mây công cộng –
public). Nhu cầu đặt ra là cần xây dựng các sản phẩm đám mây cho mạng nội bộ
hoặc trong doanh nghiệp (các dịch vụ đám mây riêng – private) và đặc bi
ệt là các
ứng dụng đám mây thích hợp cung cấp cho các thiết bị di động.
Ý tưởng của đồ án được xây dựng dựa trên việc tìm hiểu một số công nghệ
quản lý, lưu trữ, truy xuất, đồng bộ dữ liệu đám mây thông qua các nghi thức là
các chuẩn giao tiếp (protocol) như: NFS, CIFS, WebVAD,…, trên cơ sở đó xây
dựng ứng dụng phát triển phần mềm cho thiết bị di động – ứng dụng trong điệ
n
toán đám mây iDragon Cloud.
Căn cứ vào những vấn đề tìm hiểu và nghiên cứu như trên, luận văn bao
gồm 3 chương:
Chương 1: Lưu trữ và thao tác dữ liệu trong điện toán đám mây
Giới thiệu điện toán đám mây (khái niệm, lịch sử, các dạng điện toán đám
mây); mô hình kiến trúc điện toán đám mây; tìm hiểu lưu trữ dữ liệu trong điện
toán đám mây; các thao tác dữ liệ
u trong dịch vụ đám mây.
Chương 2: Giới thiệu điện toán đám mây iDragon
Mô hình điện toán đám mây iDragon; các dịch vụ nền tảng trong điện toán
đám mây iDragon; lưu trữ và truy xuất dữ liệu trong đám mây iDragon.
Chương 3: Ứng dụng điện toán đám mây iDragon cho thiết bị di động
Các mô hình phát triển phần mềm dựa trên dữ liệu đám mây; mô hình ứng
dụng dữ liệu đám mây cho thiết bị
di động; xây dựng ứng dụng điện toán đám
mây iDragon cho thiết bị di động.
5
mạng toàn cầu như Internet để sử dụng các ứng dụng và tài nguyên từ xa.
6
Giai đoạn 5: điện toán lưới (grid computing) cung cấp năng lực tính toán và
năng lực lưu trữ dùng chung thông qua một hệ thống tính toán phân tán.
Giai đoạn 6: điện toán đám mây cung cấp các tài nguyên dùng chung trên
Internet theo một cách đơn giản và cân bằng.
1.3. Các loại đám mây
Điện toán đám mây thường được phân loại làm ba loại đám mây chính, theo
vị trí của đám mây là: đám mây công cộng (public cloud), đám mây cục bộ
(private cloud), đám mây lai (hybrid cloud).
1.3.1. Đám mây công cộng
Đám mây công cộng là những đám mây mở cho người dùng mà ứng dụng
lưu trữ, các nguồn tài nguyên khác có sẵn và được cung cấp bởi một số nhà cung
cấp dịch vụ thông qua mạng Internet. Một số các nhà cung cấp dịch vụ như:
Google, Amazon, Microsoft…
Các đám mây công cộng cung cấp tiềm năng tốt nhất về hiệu quả chi phí,
nhưng vấn đề bảo mật dữ liệu chỉ cung cấp trên danh nghĩa dựa vào các ph
ần hỗ
trợ sẵn có. Đám mây công cộng thường tính lệ phí sử dụng hàng tháng cho mỗi
GB kết hợp với phí chuyển băng thông, người dùng có thể mở rộng lưu trữ theo
yêu cầu và sẽ không tốn chi phí mua phần cứng lưu trữ.
1.3.2. Đám mây riêng
Đám mây cục bộ còn được gọi là: “điện toán đám mây nội bộ” hay “đám
mây riêng” là thế hệ tiếp theo của ảo hóa. Trong đám mây cục bộ cơ sở hạ tầng
điện toán đám mây chỉ hoạt động cho một tổ chức duy nhất không chia sẻ cho các
tổ chức khác cho dù quản lý nội bộ hoặc bởi một bên thứ ba và lưu trữ trên máy
nội bộ hay bên ngoài. Đám mây cục b
ộ tương tự như ảo hóa ở mức độ máy chủ,
máy trạm và ứng dụng, điện toán đám mây cục bộ có tính năng nâng cao, thu hút
ra còn có các hệ điều hành và dịch vụ cần thiết cho một ứng dụng cụ thể. Nói cách
khác, PaaS là IaaS cộng thêm một số phần mềm riêng dành cho một ứng dụng cho
trước.
dSaaS (data Storage as a Service – lưu trữ dữ liệu nh
ư là dịch vụ) cung cấp
không gian lưu trữ mà khách hàng có thể sử dụng, bao gồm cả băng thông lưu
trữ.
2.1. SaaS
Một thực thi đầu tiên trong dịch vụ đám mây là phần mềm như một dịch vụ
(SaaS) – các ứng dụng nghiệp vụ được tổ chức bởi các nhà cung cấp và chuyển
giao như một dịch vụ. SaaS có nguồn gốc từ nhà cung cấp dịch vụ (ASP –
Application Service Providers).
Ban đầu, phần mềm như một dịch vụ (SaaS) không chỉ đơn giản thực hiện
trên Internet, vì lợi ích an ninh và độ tin cậy, các dị
ch vụ này sẽ sử dụng mạng
riêng ảo (VPN – Virtual Private Networks). Một VPN cơ bản có thể tạo một mạng
công cộng từ mạng cục bộ (bằng cách sử dụng một số hình thức mã hóa) thay vì
phải mua kết nối chuyên dụng, việc này cho phép truyền dữ liệu an toàn qua mạng
công cộng như Internet.
Ví dụ về phần mềm như dịch vụ như: Yahoo Mai, Yahoo là nhà cung cấp
dịch vụ email lớn nh
ất với khoảng 260triệu người sử dụng, Facebook, eBay,
Skype, GoogleApps, một số công ty sử dụng trang web xã hội Facebook như là
một mạng nội bộ miễn phí cho nhân viên của mình. Trang bán đấu giá trực tuyến
EBay là cơ sở của hơn 500.000 doanh nghiệp nhỏ, Skype (miễn phí cuộc gọi trực
tuyến và video) được sử dụng bởi các doanh nghiệp nhỏ trên toàn thế giới và
GoogleApps (tin nhắn và các công cụ cộng tác) có hơn một triệu doanh nghiệp s
ử
dụng.
9
động, có thể mở rộng, thu hẹp; cung cấp địa chỉ cụ thể và các dịch vụ tiêu chuẩn
cho truy xuất và bảo mật dữ liệu của khách hàng.
10
Một số ví dụ về các nền tảng như một dịch vụ (PaaS) bao gồm: Google App
Engine, AppJet, Etelos, Qrimp, và Force.com đó là môi trường phát triển chính
thức cho Salesforce.com
3. Lưu trữ dữ liệu trong điện toán đám mây
3.1. Ưu điểm của lưu trữ dữ liệu đám mây
Lưu trữ một lượng rất lớn các thông tin trên mạng cục bộ (LAN) là khá tốn
kém. Năng lực lưu trữ dữ liệu điện tử của các thiết bị như máy chủ tập tin, các
mạng lưu trữ khu vực (SAN) và mạng lưu trữ đính kèm (NAS) cung cấp hiệu suất
cao, tính sẵn sàng cao có thể truy cập thông qua giao diện tiêu hỗ trợ.
Lưu trữ dữ liệu đám mây có nhiều thu
ận lợi là: giá rẻ, không yêu cầu cài
đặt, không cần thay thế, có hệ thống sao lưu và phục hồi, đã không có các yêu cầu
vật lý (không đòi hỏi điều kiện môi trường, không có nhân viên quản lý).
3.2. Nhược điểm của lưu trữ dữ liệu đám mây
Hiệu suất của các đám mây dữ liệu lưu trữ được giới hạn bởi băng thông. Tốc
độ Internet và WAN chậm khoảng 10-100 lần so với tốc độ mạng LAN.
Tính sẵn có của dữ liệu lưu trữ đám mây là một vấn đề nghiêm trọng. Đám
mây cung cấp dữ liệu dựa trên khả năng kết nối mạng giữa mạng LAN, WAN và
nhà cung cấp dịch vụ đ
ám mây. Trong khi đó, kết nối mạng có thể bị ảnh hưởng
khi có sự gián đoạn mạng lưới toàn cầu, năng lượng mặt trời, cắt đứt cáp ngầm và
vệ tinh hư hại khi mạng lưới bị hư hỏng.
Các nhà cung cấp sử dụng các giao thức mạng trong lưu trữ dữ liệu đám mây
có thể gây không tương thích với tập tin bình thường phục vụ trên mạng LAN.
Truy cậ
p vào đám mây dữ liệu lưu trữ thường liên quan đến chương trình được tạo
một tập hợp các giao diện dịch vụ cung cấp theo yêu cầu. Một phần quan trọng
của bất kỳ DaaS là sự hỗ trợ của khách hàng. Các giao thức chuẩn hỗ trợ bao gồm:
iSCSI (Internet Small Computer System Interface), CIFS / NFS (Common Internet
File System/ Network File System) hoặc WebDAV (Web-based Distributed
Authoring and Versioning) cho việc lưu trữ tập tin mạng.
12 Hình 1.8: Giao diện lưu trữ dữ liệu tiêu chuẩn
Quản lý lưu trữ thường được thực hiện theo khối của các giao diện lưu trữ
dữ liệu chuẩn, hoặc thông qua một API, hoặc thông qua một giao diện người dùng
dựa trên trình duyệt. Giao diện này có thể được dùng để gọi các dịch vụ dữ liệu
như ảnh chụp hoặc sao chép dữ liệu. Trong mô hình này, chúng ta trừu tượng
không gian lưu trữ cơ bản tiếp xúc với các giao diện này bằng s
ử dụng một hộp
chứa (container), được coi như một nhóm các dữ liệu được lưu giữ và là một điểm
kiểm soát để áp dụng dịch vụ dữ liệu tổng hợp.
DaaS cung cấp là một không gian lưu trữ dạng bảng lưu trữ cho phép mở
rộng quy mô theo chiều ngang, thêm các trường dữ liệu theo yêu cầu lưu trữ, chứ
không phải là ảo hóa các trường cơ sở d
ữ liệu quan hệ.
Một cải tiến của mô hình dữ liệu này là mô hình dữ liệu dạng bảng được
thể hiện như hình sau:
13 Hình 1.9: Giao diện lưu trữ dữ liệu cho cơ sở dữ liệu/ bảng dữ liệu
Một loại thứ ba của giao diện chức năng lưu trữ dữ liệu, là giao diện xử lý
tất cả các đối tượng dữ liệu truy cập thông qua một URI (Uniform Resource
Identifier) duy nhất. Dữ liệu được lấy về thông qua sử dụng giao thức chuẩn
liệu người dùng được đám mây giữ lại có thể được sử dụng để tìm
các đối tượng dữ liệu và container thông qua thực hiện truy vấn các giá trị siêu dữ
liệu cụ thể.
3.3.4. Quản lý dữ liệu và hộp chứa
Khi tạo mới một container trong một container hiện tại, các container mới
sẽ kế thừa tương tự các thiết lập siêu dữ liệu của hệ thống dữ liệu cha mẹ. Tất
nhiên, các dữ có thể được ghi đè vào container hoặc lưu trữ theo cấp độ cá nhân.
3.3.5. Mô hình tham chiếu cho giao diện lưu trữ đám mây
Mô hình này cho thấy nhiều loại giao diện lưu trữ điện toán đám mây có
thể hỗ trợ cả các loại ứng dụng khác nhau. Tất cả các giao diện lưu trữ được cung
cấp theo yêu cầu, lấy dữ liệu từ kho tài nguyên và công suất truy xuất dữ liệu tùy
thuộc vào dung lượng mà dịch vụ cung cấp. Dịch vụ dữ liệu áp dụng cho các
thành phần dữ liệu cá nhân được xác định bở
i các hệ thống siêu dữ liệu. Siêu dữ
liệu quy định cụ thể các yêu cầu dữ liệu trên cơ sở dữ liệu cá nhân hoặc nhóm các
dữ liệu (container).
16 Hình 1.12: Mô hình tham chiếu lưu trữ dữ liệu đám mây
3.3.6. Siêu dữ liệu trong lưu trữ đám mây
CDMI sử dụng nhiều loại siêu dữ liệu khác nhau của siêu dữ liệu, bao gồm:
siêu dữ liệu HTTP, siêu dữ liệu hệ thống, siêu dữ liệu người dùng và hệ thống lưu
trữ siêu dữ liệu.
3.3.7. Định danh đối tượng
Mỗi đối tượng được lưu trữ trong một hệ thống CDMI sẽ có một định danh
đối tượng duy nhất trên toàn cầu (Object ID) được giao tại thời điểm tạo. ID đối
tượng CDMI là một chuỗi nhưng có những quy định làm thế nào nó được tạo ra và
làm thế nào nó có tính duy nhất.
4. Thao tác dữ liệu trong dịch vụ đám mây
4.1. Các thành phần trong dịch vụ đám mây
Về cơ bản, “điện toán đám mây” được chia ra thành 5 lớp riêng biệt, có tác
động qua lại lẫn nhau: lớp khách hàng, lớp ứng dụng, lớp nền tảng, lớp cơ sở hạ
tầng, lớp máy chủ.
4.2. Thao tác dữ liệu trong dịch vụ đám mây
4.2.1. Mô hình đối tượng cho CDMI
Hình 1.15: Mô hình giao diện CDMI
Trong điều khiển lưu trữ dữ liệu, chúng ta sẽ quan tâm đến đối tượng
container và các đối tượng dữ liệu. Trong mô hình khách hàng có thể thực hiện
lệnh PUT để lấy địa chỉ container và tạo ra một container mới với tên được chỉ
định. Một container được tạo ra, khách hàng có thể thực hiện lệnh PUT để tạo ra
một đối tượng dữ liệu URI. Lệnh GET tiếp theo sẽ lấy đố
i tượng dữ liệu thực tế và
giá trị của nó. Với mỗi giá trị khóa (key) của siêu dữ liệu yêu cầu trên đối tượng
dữ liệu PUT là loại nội dung. Với mỗi cặp khóa/giá trị khác có thể được sử dụng
19
để xác định các yêu cầu dữ liệu ở cấp độ đối tượng. CDMI xác định đối tượng
hàng đợi, trong đó các dữ liệu yêu cầu và lấy ra đều tuân theo hàng đợi.
4.2.2. Các lệnh điều khiển
a) Lấy dữ liệu nhà cung cấp dịch vụ
b) Tạo một container mới
c) Tạo một đối tượng trong container
d) Hiển thị danh sách nội dung của container
e) Đọc nội dung của đối tượng
f) Đọc giá trị của một đối tượng dữ liệu
g) Xóa một đối tượng dữ liệu
chứng nhận Đăng ký nhãn hiệu số 154989 cấp ngày 23/11/2010). iDragon Cloud
cung cấp mô hình Điện toán Đám mây công cộng và Đám mây riêng cho các cơ
quan, tổ chức và doanh nghiệp sở hữu đám mây hữu hình giải quyết được các vấn
đề của người sử dụng về tính chủ
động, tính riêng tư, quyền sở hữu và tính bảo
mật cao.
Hình 2.1: Mô hình điện toán đám mây iDragon Cloud
Mô hình dịch vụ đám mây iDragon Cloud có các thành phần sau:
Máy tính đám mây CloudPC có các chức năng tự động cấu hình và truy cập
dịch vụ đám mây tương tự điện thoại di động.
Data Center
CloudBox
Cloud
Devices
Cloud
Box
CloudBox
Cloud
Box
Cloud
Box
CloudBox
Cloud
Box
Cloud
Box
CloudBox
Cloud
Devices
Cloud
theo thời gian Unix tại thời điểm phát sinh dữ liệu (Như vậy tên của mỗi thư
mụ
c này là duy nhất và được dùng làm ID của dữ liệu).
Trong thư mục (nêu trên) chứa các file có tên trùng với tên thư mục nhưng có
phần mở rộng khác nhau.
2.2. Cấu trúc kho lưu trữ dữ liệu iDragon Cloud
“Dữ liệu Cloud” được lưu trữ trên iDragon Cloud theo dưới dạng cây thư mục
nhưng theo cấu trúc được định nghĩa trước. Một kho lưu trữ dữ liệu iDragon
Cloud bao gồm các thư mục sau:
“.content” : Là thư mục chứa các “dữ liệu Cloud”.
“.icons”: Là thư mục chứa các file icon (file ảnh icon) phục vụ cho việc
tr.nh diễn dữ liệu.
“.index”: Là thư mục chứa dữ liệu index (các file index) của b
ản thân kho
dữ liệu.
“.template”: chứa các file template phục vụ cho việc tạo lập “dữ liệu
Cloud”.
22
2.2.1. Thư mục “.content”
2.2.2. Thư mục “.icons”
2.2.3. Thư mục “.index”
2.2.4. Thư mục “.template”
3. Các dịch vụ nền tảng iDragon
3.1. Xây dựng hạ tầng mạng LAN và WAN theo công nghệ đám mây
Nền tảng iDragon Cloud cho phép triển khai một hạ tầng mạng LAN nhanh
chóng với chi phí hợp lý với đầy đủ các tính năng và dịch vụ để duy trì hoạt động
của một mạng nội bộ với độ bảo mật và an toàn cao.
dùng được cấp quyền truy cập hệ thống văn bản điện tử qua mạng máy tính (mạng
chuyên dụng truyền dữ liệu dành riêng), từ các máy trạm nối mạng tới máy chủ.
4.2.2. Giải pháp quản lý phân tán dữ liệu, quản lý tập trung metadata
Trong giải pháp này, trong các mạng LAN đều thiết lập các máy chủ lưu trữ
dữ liệu văn bản điện tử (Content Server) được các máy trạm NetScan cung cấp (tài
liệu tại chỗ) và dữ liệu chuyển giao từ các máy chủ Content Server khác (tài liệu
bên ngoài gửi đến).
Các thông tin quản lý (Metadata) được sao lưu và lưu trữ tập trung trên một
máy chủ Master Content Server và có thể chia sẻ trong toàn bộ hệ thống.
4.2.3. Giải pháp quản lý phân tán dữ liệu, quản lý tập trung metadata và sao
lưu dữ liệu trên Data Center
Trong giải pháp này, ngoài các thiết bị Cloud Box, máy chủ Net Server được
triển khai như trong giải pháp quản lý dữ liệu phân tán, thông tin tập trung, còn
sử dụng trung tâm dữ liệu sao lưu và quản lý toàn bộ dữ liệu dự phòng.
24
Chương 3: Ứng dụng Điện toán đám mây iDragon cho thiết bị
di động
1. Các mô hình phát triển phần mềm dựa trên dữ liệu đám mây
1.1. Dịch vụ Web Amazon
1.2. Amazon EC2
1.3. Amazon SimpleDB
1.4. Amazon Simple Storage Service (S3)
1.5. Amazon CloudFront
1.6. Amazon Simple Queue Service
1.7. Amazon Elastic MapReduce
1.8. Google
1.9. SalesForce.com và Force.com
Trong mô hình các dịch vụ thiết yếu trong điện toán đám mây di động máy chủ
bao gồm: