I
ĐẠI HỌC QUỐC GIA HÀ NÔI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Chí Công
XÂY DỰNG ỨNG DỤNG TÍNH TOÁN PHÂN TÁN
TRÊN NỀN TẢNG SỨC MẠNH CÁC MÁY TÍNH
CÁ NHÂN
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công Nghệ Thông Tin
HÀ NỘI -2010
II
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Chí Công
XÂY DỰNG ỨNG DỤNG TÍNH TOÁN PHÂN TÁN
TRÊN NỀN TẢNG SỨC MẠNH CÁC MÁY TÍNH
CÁ NHÂN
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công Nghệ Thông Tin

Cán bộ hướng dẫn: ThS. Đào Minh Thu

HÀ NỘI - 2010
Tóm tắt nội dung
Tính toán phân tán là một công nghệ mới và rất thiết thực hiên nay. Những hệ
thống tính toán phân tán giúp giải quyết những bài toán khoa học lớn mà một máy tính
không thể giải quyết được. Ngày nay có khá nhiều middleware phục vụ cho việc xây
dựng hệ thống tính toán phân tán. Trong khóa luận này trình bày một số nghiên cứu về
tính toán phân tán, những nghiên cứu về kiến trúc, cách thức hoạt động của một số hệ
thống tính toán phân tán phổ biến, giới thiệu một số dự án tính toán khoa học đang được

bên ngoài trái đất. Nhưng những tín hiệu thu được ngoài trái đất rất nhiều, nếu dùng
một máy tính có công suất tính toán lớn cũng phái mất rất nhiều thời gian để xử lý
lượng tín hiệu này, như vậy sẽ rất lâu chúng ta mới có thể tìm được câu trả lời cho
câu hỏi kia.
Trong ngành công nghệ thông tin có một bài toán quen thuộc đó là bài toán
phá mã. Một phương pháp phá mã đơn giản nhất là duyệt toàn bộ, ta thử lần lượt tất
cả trường hợp có thể của khóa cho đến khi tìm được khóa đúng. Độ dài của khóa sẽ
quyết định đến số lượng các phép thử, ví dụ với hệ mã hóa DES sử dụng 56 bit làm
khóa, tức là sẽ có 2
56
= 72x10
16
giá trị có thể của khóa. Nếu sử dụng một máy tính
bình thường có tốc độ tính toán 1 giải mã /μs sẽ phải mất khoảng 1142 năm, thời
gian này là quá lâu so với tuổi thọ của thông tin. Muốn phá mã nhanh có thể dùng
một máy tính chuyên dụng (giá khoảng 250.000$) có thể phá mã trong 3 ngày.
Nhưng đó là trường hợp sử dụng 56 bit làm khóa, nếu sử dụng khóa với độ dài 128
bit hay 126 bit thì máy tính đó cũng tỏ ra không hiệu quả.
Trong y học cũng có nhiều dự án với khối lượng tính toán lớn, dự án “Help
Defeat Cancer [10]” là một dự án nghiên cứu khả năng chống căn bệnh ung thư. Với
dự án này, các nhà nghiên cứu cần phân tích số lượng lớn mô ung thư cùng một lúc,
nếu dùng một máy tính thông thường mất khoảng 168 năm, như vậy là quá lâu vì
chúng ta cần tìm ra phương pháp trị bệnh ung thư càng sớm càng tốt.
Trong nhiều ngành khoa học khác như toán học, sinh học … cũng có nhiều bài
toán lớn được đặt ra, việc giải quyết những bài toàn này giúp phát triển các ngành
khoa học phục vụ cuộc sống, Vì vậy nhu cầu giải quyết những bài toán như thế là rất
thiết thực
Ngày nay mạng máy tính phát triển mạnh, nhất là mạng Internet với hàng triệu
máy tính kết nối với nhau. Đối với người dùng bình thường công suất tính toán của
máy tính thường không được sử dụng hết. Trong những khoảng thời gian máy tính

việc tính toán.
Tích hợp trang web đó vào một ứng dụng Facebook sẽ tạo thành một công cụ
tuyệt vời để phát triển các dự án tính toán. Theo thông kê mới nhất của Nielsen (một
công ty khảo sát thị trường) cho thấy Facebook là địa chỉ gây tốn thời gian nhất của
người dùng trên Web. Người dùng Facebook cũng bỏ thời gian lên mạng gấp 3 lần
so với người không tham gia mạng lưới giao tiếp xã hội này.
Một ứng dụng Facebook có thể sử dụng như những phần mềm tham gia vào
hệ thống tính toán phân tán, đó sẽ là một phướng án tốt để mở rộng hệ thống tính
toán phân tán, tăng số người tham gia vào hệ thống, từ đó tăng khả năng tính toán
1.2 Nội dung khóa luận
Trong khóa luận này chúng tôi trình bày một số nghiên cứu về các hệ thống
tính toán phân tán, các Middleware phổ biến dùng trong các hệ thống tính toán phân
tán. Bước đầu triển khai một hệ thống tính toán phân tán, với một ứng dụng
Facebook được sử dụng để người dùng có thể tham gia vào hệ thống tính toán.
Nội dung chi tiết khóa luận gồm 5 chương:
Chương I: Giới thiệu về khóa luận, đặt ra vấn đề cần giải quyết trong khóa
luận.
Chương II: Giới thiệu một số hệ thống tính toán phân tán, kiến trúc của hệ
thống và đưa ra những so sánh. Ba hệ thống được giới thiệu là BOINC,
Condor, Globus đây là 3 hệ thống phổ biến hiện nay.
Chương III: Trình bày kiến trúc hệ thống tính toán phân tán sử dụng ứng
dụng Facebook thay thế cho phần mềm .
Chương IV: Trình bày cách cài đặt chương trình, triển khai một số ứng dụng
tính toán phân tán trên hệ thống và kết quả.
Chương V: Tổng kết, nhận xét về hệ thống, những thành quả đã đạt được và
những kế hoạch phát triển của dự án.
Chương II: Các hệ thống tính toán phân tán
2.1 BOINC
2.1.1: Giới thiệu
BOINC [8] viết tắt của Berkeley Open Infrastructure for Network Computing (Cơ

+ Validator: Chức năng này kiểm tra kết quả gửi về từ có chính xác hay
không. Một workunit được gửi tới nhiều máy cùng thực thi, kết quả gửi về từ
những máy đó được server so sánh, kết quả có tỉ lệ cao nhất được coi là kết quả
đúng.
+ Homogeneous redundancy: Chức năng này sẽ chỉ gửi một workunit tới
những máy tính có cùng cùng một platform (cùng hệ điều hành…), điều này sẽ
giúp quá trình validator được dễ dàng và chính xác hơn.
+ Workunit trickling: Gửi các thông tin tới server trước khi các workunit
hoàn thành, điều này giúp cho việc đánh giá để có thể gủi một workunit mới kịp
thời, giúp cho việc tính toán nhanh hơn, giảm tối thiểu thời gian nhàn rỗi của
máy .
+ Locality Scheduling: Chỉ gủi các workunit(không gửi các file cần thiết) tới
các máy đã có các file cần thiết để nhanh chóng thực thi workunit.
+ Phân phối các workunit dựa vào các tham số của máy : Chức năng này
đảm bảo việc gửi workunit tới những máy tính có khả năng thực thi workunit đó.
BOINC server bao gồm 2 chương trình CGI và thường có 5 deamons.
- Một chương trình CGI lập lịch xử lý các yêu cầu từ phía , nhận các
workunit đã hoàn thành và gửi đi những workunit mới.
- Một chương trình CGI xử lý việc upload file.
- 5 deamons:
+ Feeder
+ Validator
+ Assimilator
+ File_deleter
+ Transitioner
Hình 2.1 Kiến trúc hệ thống BOINC
Một workunit được chia thành nhiều task, mỗi task tương ứng với một
result trong cơ sở dữ liệu, khi task hoàn thành gửi về server, result tương ứng
được đánh dấu đã hoàn thành. Một deamons Feeder có trách nhiệm đọc các task
trong cơ sở dữ liệu và lưu chúng trong các khối nhớ, bộ lập lịch sẽ đọc các task

nó cũng tạo ra các result từ workunit khi chúng được tạo ra, hay tạo thêm những
result nếu cần thiết(cho những trường hợp result không thoa mãn trong quá trình
validator hoặc không gửi được lên server).
BOINC Client
BOINC Client là một kết cấu gồm một số ứng dụng độc lập, chúng sử
dụng cơ chế BOINC remote procedure call (thủ tục gọi điều khiển từ xa của
BOINC) để liên lạc với nhau.
Những thành phần ứng dụng gồm có:
+ Chương trình BOINC , đây là một chương trình đóng vai trò là lõi của ,
nó có những tính năng và thực hiện những nhiệm vụ sau:
 Tạo và duy trì kết nối giữa và server
 Tải về những ứng dụng khoa học, cung cấp một cơ chế đăng nhập
thống nhất để đảm nảo rằng các ứng dụng khoa học được cập nhật, lập lịch
sử dụng tài nguyên CPU của các ứng dụng khoa học.
 BOINC chạy trên Unix như một chương trình deamon. Trên
Windows, ban đầu BOINC không phải là một dịch vụ danh cho Windows
mà chỉ là một ứng dụng bình thường. sau này có một vài phiên bản dành
cho windows và nó là một tùy chọn trong quá trình cài đặt.
 Phụ thuộc vào cách cài đăt BOINC nó có thể là một chương trình
chạy nền hoặc được chạy khi người dùng khởi động máy.
+ Một hoặc một vài ứng dụng khoa học: Những ứng dụng khoa học này
thực hiện việc tính toán các bài toán khoa học, những ứng dụng này là đặc trưng
cho từng dự án tính toán phân tán. Những ứng dụng khoa học sử dụng BOINC
deamon để tải về và gửi đi những workunit, hay để trao đổi những thông tin
thống kê với server.
+ Một boincmgr (boincmgr.exe): là một giao diện tương tác với lõi của ứng
dụng(core ) sử dụng remote procedure call. Mặc định core chỉ cho phép kết nối
từ cùng một máy tính, nhưng nó có thể cấu hình để có thể kết nối từ những máy
tính khác.
+ BOINC screensaver: cung cấp một framework nhờ đó các ứng dụng khoa

Condor là kết quả của một dự án nghiên cứu trong trường đại học Wisconsin-
Mandison, Condor là một hệ thống quản lý, lập lịch cho những công việc cần tính toán
lớn, người dùng gửi công việc của họ lên Condor, Condor lưu chúng trong hàng đợi của
nó, lựa chon nơi nào, khi nào sẽ thực thi công việc đó, và báo cho người dùng kết quả
khi hoàn thành. Khác với những hệ thống cổ điển, Condor không đòi hỏi cần có những
máy móc chuyên dụng, Condor sẽ gửi những công việc (jobs) tới những máy phù hợp
với yêu cầu của công việc đó.
2.2.2 Kiến trúc
Hệ thống Condor [1] gồm 3 thành phần chính: Central Manager, Submit
Machine, Execution Machine (Hinh 2.2).
Central Manager
Central Manger có nhiệm vụ thu thập những nguồn tài nguyên, và những thông
tin về tất cả các máy tính tham gia vào mạng lưới tính toán, và đưa ra những chính
sánh hoạt động chung cho cả mạng lưới, Dựa vào những thông tin này, một job sẽ
được gửi tới những máy có tài nguyên phù hợp với yếu cầu tính toán của nó.
Những deamon chính chạy trên Central Manager.
Condor_collector: Deamon này chịu trách nhiệm thu thập thông tin về
trạng thái của những máy tính tham gia vào Condor Pool(một tập hợp
máy tính tham gia vào hệ thống phân tán). Tất cả những deamons khác
định kỳ gửi ClassAd tới collector. ClassAd là những bản ghi về tài
nguyên cần thiết của một job cũng như tài nguyên có của những máy
tham gia vào mạng lưới, điều này giúp cho việc gửi job tới đúng những
máy có thể thực thi chúng. Condor_collector có thể coi như một cơ sở
dữ liệu động của ClassAd. Lệnh condor_status có thể dùng để truy vấn
tới collector về những thông tin của hệ thống Condor. Những deamon
khác cũng có thể truy vấn tới collector để lấy những thông tin quan
trọng như địa chỉ sử dụng để gửi lệnh tới những máy tính ở xa.
Condor_negotiator: Deamon này chịu trách nhiệm tạo ra tất cả những
kết nối trong hệ thống Condor. Nó cũng có trách nhiệm quản lý quyền
ưu tiên của những người dùng trong hệ thống.

saved to disk
System call
performed
Central Manager
Execution Machine
và đưa ra những bản thống kê về quá trình thực thi job. Jobs được liên kết
tới Condor's Standard Universe, cái mà thực thi những lệnh gọi hệ thống
thông qua condor_shadow. Tất cả những lệnh gọi hệ thống được thực hiện
trên máy tính từ xa đều được gửi qua mạng tới condor_shadow,
condor_shadow sẽ thực thi những lệnh gọi thế thống (như vào ra file) rồi
gửi kết quả trả lại cho máy tính đó.
Execution Machine
Exeution Machine chạy trên các máy tính tham gia vào lưới tính toán,
deamon Startd thực thi những job mà Submit Machine gửi tới, khi chạy nó gửi
tới Central Manager những thông tin về khả năng thực thi của nó, những thông
tin như dung lượng bộ nhớ hay tốc độ của CPU. Một deamon khác là Starter chịu
trách nhiệm quản lý việc thực thi job trên máy đó, nó có thể đưa ra những chính
sách riêng để quản lý việc thực thi job
Những deamon chính chạy trên Execution Machine
Condor_startd: Deamon này chạy trên các máy tính tham gia vào Condor
Pool, nó như một thể hiện của máy tính tham gia vào mạng lưới tính toán.
Condor_startd gửi ClassAd của máy tính mà nó chạy tới Central Manager,
những thông tin trong ClassAd gồm có những thông tin về khả năng thực
thi của máy đó, cũng như chính sách hoạt động của máy đó. Một máy tính
chạy condor_startd sẽ có thể thực thi job, condor_startd chịu tránh nhiệm
thi hành những chính sách thực thi một job trên máy tính đó, như việc
chạy, tạm dừng, khôi phục, bỏ không, hoặc hủy bỏ job. Khi condor_startd
chạy và sẵn sàng thực thi job, nó sẽ gọi tới condor_starter.
Condor_starter: Deamon này chịu trách nhiệm thiết lập môi trường thực
thi và điều khiểm việc thực thi job. Khi một job đang được thực thi,

Globus
Tầng Local Services bao gồm những dịch vụ của hệ điều hành, dịch vụ
mạng như TCP/IP, Submit Jobs, truy vấn Queues…. Tầng lõi của Globus cung
cấp dịch vụ bảo mật, Submit Jobs, quản lý dữ liệu, quản lý tài nguyên. Tầng cao
hơn (Level Middleware và Application) chứa những công cụ để liên lạc với tầng
dưới, và bổ sung những chức năng còn thiếu ở tầng dưới.
Security Layer
Grid Security Infrastructure (GSI) cung cấp phương thức cho việc xác
thực người dùng và đảm bảo những kết nối, nó sử dụng những công cụ như SSL
(Security Sockets Layer), PKI (Public Key Infrastructure) và X.509. GSI cung
cấp những dịch vụ, giao thức và những thư viện để thực hiện những việc sau.
Xác thực một người dùng tham gia sử dụng dịch vụ lưới tính toán.
Xác thực các nguồn tài nguyên tham gia vào lưới tính toán dựa.
Mã hóa dữ liệu.
Khi một người dùng muốn truy cập vào hệ thống, họ cần có một tài khoản
được chứng thực bởi một cơ quan chứng thực. Hầu hết các dịch vụ của hệ thống
đều yêu cầu xác thực người dùng trước khi cung cấp cho họ, điều này đảm bảo
cho việc bảo mất dự liệu cho cả hai bên,

Resource Management
Resource Management cho phép phân phối tài nguyên phù hợp cho từng
yêu cầu của Job, điều khiển việc thực thi Job và thu thập kết quả tính toán. Nhóm
này có 2 thành phần chính.
Globus Resource Allocation Manager (GRAM): GRAM cung cấp việc điều
khiển và báo cáo trạng thái quá trình thực thi của các máy . Khi một gửi
một Job tới hệ thống, một deamon Gatekeeper sẽ kiểm tra tính xác thực
của , nếu xác thực, gatekeeper sẽ khởi chạy một Job manager để quản lý
việc thực thi Job đó. Job manager được tạo ra độc lập trên những bộ lập
lịch bộ phận. GRAM có những bộ lập lịch như Portable Bacth System
(PBS), Load Sharing Facility (LSF), và LoadLeveler.

Những thành phần của nhóm này có:
GridFTP: Là một mở rộng của giao thức FTP, cung cấp khả năng bảo
mật, tin cậy, hiệu suất cao trong việc vận chuyển dữ liệu trong môi trường