BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐOÀN BƯU CHÍNH VIỄN THÔNG VIỆT NAM
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG BÙI NGỌC LONG
NGHIÊN CỨU XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO
CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH
CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH
MÃ SỐ : 60.48.15
TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TSKH. HOÀNG ĐĂNG HẢI HÀ NỘI – 2010
1
Chương 1
TỔNG QUAN
1.1. Đặt vấn đề
Kỹ thuật số ứng dụng trong truyền hình đã làm thay đổi hoàn toàn
quy trình công nghệ kỹ thuật truyền hình từ nhận dữ liệu cho tới xử
lý, lưu trữ, phát sóng…
Ngày nay, nhu cầu kết nối các thiết bị số với nhau và với các máy
Nghiên cứu các vấn đề về nhập dữ liệu vào hệ thống máy chủ.
Xây dựng hệ thống trên cơ sở mô hình hàng đợi nhiều server,
công nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering).
Áp dụng mô hình cụm server và công nghệ mạng SAN cho
xây dựng một hệ thống máy chủ Audio/Video cho hậu kỳ sản
xuất phim truyền hình.
1.3. Các kết quả nghiên cứu đạt được của luận văn
Nghiên cứu các vấn đề kỹ thuật trong xây dựng hệ thống máy
chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình. Tổng
hợp được các quy trình hoạt động cần thiết của hệ thống.
Nghiên cứu kiến trúc các máy chủ, công nghệ server, các vấn
đề về nhập dữ liệu vào hệ thống máy chủ, mã hóa tín hiệu, lưu
trữ dữ liệu vào hệ thống, vấn đề chất lượng dịch vụ và quản lý
băng thông, kiểm soát lỗi hệ thống.
Trình bày các chuẩn dữ liệu cần thiết trong quy trình hoạt
động của hệ thống; phân tích, đánh giá được các phương án
lưu trữ, tùy chọn RAID, lựa chọn chuẩn, phân cụm server.
Nghiên cứu cơ sở lý thuyết hệ thống, đề xuất áp dụng mô hình
hàng đợi nhiều server, công nghệ mạng lưu trữ SAN, kỹ thuật
phân cụm (Clustering) vào xây dựng hệ thống máy chủ
3
Audio/Video.
Xây dựng được một hệ thống máy chủ Audio/Video cho hậu
kỳ sản xuất phim truyền hình trên cơ sở áp dụng mô hình phân
cụm server và công nghệ mạng SAN; đề xuất lựa chọn server
đảm bảo độ tin cậy và quy trình công tác của hệ thống; tính
toán dung lượng lưu trữ.
1.4. Bố cục của luận văn
Bài luận văn được bố cục thành 4 chương như sau:
Chương I: Trình bày vấn đề cần nghiên cứu, một số khái niệm
Hiện nay người sử dụng có ít nhất 3 lựa chọn (option) để nạp dữ
liệu cho server là: a) Nhận dòng dữ liệu; b) Truyền tệp; c) Nhận tín
hiệu Audio/Video.
2.2.1. Nhận dòng dữ liệu (Streaming)
Nhận streaming là kỹ thuật có nhiều ưu điểm so với phương pháp
nhận theo từng tệp. Có hai loại chính: Streaming lưu trữ và streaming
trực tiếp.
Các tùy chọn dữ liệu có nén bao gồm: SDTI cho DV, SDTI-CP
cho MPEG hoặc dòng truyền MPEG (MTS). Với dữ liệu nén SDTI
và MTS, chất lượng dữ liệu được quyết định bởi người gửi (sender).
Dữ liệu được nạp trực tiếp vào đĩa server bỏ qua các bộ mã hoá.
2.2.2. Truyền File
Truyền file là dịch chuyển các nội dung file trong các mode đẩy
“push” và kéo “pull” qua topo điểm-điểm hoặc điểm-nhiều điểm.
Phương thức này có vai trò ngày càng tăng trong các kết nối server
trong tương lai.
2.2.3. Nhận tín hiệu Audio/Video
5
Các tuỳ chọn video bao gồm video tương tự hoặc video số nối
tiếp (SDI), ở đây ta chỉ xét định dạng tín hiệu Audio/Video số. Đó là
kỹ thuật đã quá thân quen và là thông dụng cho các VTR và tất cả
các dạng Server hiện nay.
2.3. Mã hoá tín hiệu
Khi video được mã hoá, người sử dụng có thể chọn dạng nén và
chất lượng nén. Các tuỳ chọn thông dụng nhất hiện nay là MPEG-2,
và MPEG-IMX, DV, DVCPRO. Các tuỳ chọn khác là H.264,
MPEG4…hiện nay cũng đang được quan tâm nhiều.
2.3.1. Nhu cầu nén tín hiệu
Video số chỉ có thể được sử dụng rộng rãi khi nó yêu cầu không
lớn về bộ nhớ cũng như dung lượng đường truyền; Đây chính là
MPEG 4 phân tách từng thành phần trong luồng dữ liệu số. Việc
mã hoá của MPEG 4 được thực hiện trên cơ sở các cảnh âm thanh
hình ảnh (audiovisual scenes) được kết hợp từ các đối tượng nghe
nhìn (media objects hay audiovisual object - AVO). MPEG 4 cho
phép mỗi loại đối tượng này được mã hoá theo cách riêng để tối ưu
hoá đặc điểm tự nhiên của chúng, và cho phép chúng được truyền đi
đến người dùng như các dòng căn bản.
2.4. Vấn đề lưu trữ trên hệ thống
Thường sau khi dữ liệu được nén, nó được lưu trên đĩa. Sự tiến bộ
của công nghệ đĩa đã làm giảm giá thành lưu trữ rất nhiều kể từ khi
các server đầu tiên được đưa ra thị trường. Các drive đĩa đầu tiên là
các drive SCSI 2 – 4 GB. Bây giờ các drive chuẩn là 36 GB và 72
GB, và cao hơn. Các drive dựa trên Fibre Channel hiện có giá cạnh
tranh với giá của các drive SCSI nhưng cho chỉ tiêu kỹ thuật tốt hơn.
2.4.1. Một số lưu ý khi xem xét vấn đề lưu trữ video
7
Lưu trữ video cần xem xét các thông số liên quan: tốc độ dữ liệu
(data rate), giá thành lưu trữ, tốc độ truyền (transfer rate) và dung
lượng lưu trữ cực đại. Các môi trường truyền thông (media) khác
nhau sẽ cho các giải pháp khác nhau cho vấn đề lưu trữ.
2.4.2. Lưu trữ tập trung hay lưu trữ phân bố
Một vấn đề quan trọng khác cần quan tâm là cấu trúc hệ thống với
nhiều server như thế nào? Có một số tùy chọn: lưu trữ tập trung, lưu
trữ phân bố hoặc cả hai. Giải pháp tốt nhất phụ thuộc vào ứng dụng.
2.4.3. Các tuỳ chọn RAID
Có hai giải pháp RAID: RAID được trợ giúp bởi phần cứng và
RAID chỉ dựa trên phần mềm. RAID dựa phần cứng có phần cứng
riêng để tạo dữ liệu kiểm soát (parity data), và điều khiển tất cả các
chức năng của RAID. RAID chỉ dựa trên phần mềm thực hiện tất cả
các chức năng RAID bằng phần mềm, nhìn chung dùng bộ xử lý hệ
ĐỀ XUẤT ÁP DỤNG MÔ HÌNH HÀNG ĐỢI VÀ CÔNG NGHỆ
SAN CHO XÂY DỰNG HỆ THỐNG MÁY CHỦ
AUDIO/VIDEO
3.1. Mở đầu
Đối với một hệ thống máy chủ, thường có 4 vấn đề đặt ra trong
thiết kế là:
Quản lý các luồng dữ liệu / yêu cầu đến như thế nào?
Quản lý, xử lý các tác vụ như thế nào tại các máy chủ đầu cuối?
Quản lý dung lượng xử lý các máy chủ đầu cuối?
Cấu hình các máy chủ đầu cuối.
Phần 3.2 của bài đề xuất một mô hình hàng đợi áp dụng vào xây
dựng kiến trúc hệ thống máy chủ Audio/Video. Phần 3.3 và 3.4 đề
xuất ứng dụng công nghệ SAN và kỹ thuật phân cụm. Phần 3.5 trình
9
bày các yêu cầu của mô hình Audio/Video Server và phần 3.6 đề
xuất topology SAN dùng cho hệ thống máy chủ Audio/Video.
3.2. Mô hình hệ thống máy chủ theo lý thuyết hàng đợi
3.2.1. Một số khái niệm trong lý thuyết hàng đợi
Nếu gọi A là khoảng thời gian giữa các dữ liệu đến, là tốc độ
trung bình của dữ liệu đến, ta có thể có giá trị kỳ vọng (hay giá trị
trung bình) của A là E[A] là: E[A] = 1/ .
S là phân bố thời gian phục vụ, ta có thể có giá trị trung bình của
S là E[S]. Theo lý thuyết hàng đợi, ta có thể viết được hệ số bình
phương của phương sai (Squared Coefficient of Variation (SCV) cho
các phân bố thời gian đến và phân bố thời gian phục vụ như sau:
2
2
ar( )
[ ]
A
Trong phần sau đây, luận văn trình bày một mô hình đa máy chủ
đơn giản với chính sách lập lịch FCFS. Hệ thống máy chủ được giả
thiết gồm K máy chủ, các tiến trình đến theo phân bố Poisson, các
tiến trình phục vụ theo phân bố tổng quát G.
10
Mô hình M/G/K/FCFS là mô hình tương đối phổ biến cho hệ
thống các máy chủ hiện nay . Giả thiết có K máy chủ tương tự nhau
với dung lượng mỗi máy chủ là và một bộ đệm FCFS.
Các yêu cầu đến (dữ liệu đến) được đưa vào bộ đệm FCFS. Một
máy chủ sẽ nhận tác vụ yêu cầu từ ô đầu hàng của bộ đệm. Các yêu
cầu đến được xử lý tuần tự theo thứ tự đến của chúng. Đây cũng là
phương thức xử lý phù hợp cho các tín hiệu Audio / Video đến, vì
những ứng dụng này yêu cầu chặt chẽ về thứ tự các khung dữ liệu.
Tính tổng quát của mô hình M/G/K/FCFS cho phép ta phân tích hệ
thống và các vấn đề về hiệu năng của hệ thống. Trễ xử lý trong hệ
thống máy chủ được tính theo công thức:
/ / /
2
[ ]
(1 )
M M K FCFS
J
E D
K
(8)
mỗi kênh audio/video thì phải có một cổng điều khiển cho trình ứng
dụng điều khiển.
3.4. Hệ thống máy chủ Audio/Video với mạng SAN kênh quang
11
3.4.1. Kiến trúc kênh quang
a. Lớp vật lý (Physical Layer)
Kiến trúc Fibre Channel gồm các lớp độc lập như các giao thức
mạng khác, và được chia thành 5 lớp đánh số từ 0 đến 4 (lớp 0 là lớp
thấp nhất). Lớp vật lý là lớp 0 đến lớp 2
b. Các lớp trên (Upper Layers)
• FC-3: định nghĩa các dịch vụ chung cho các node. Một dịch vụ
đã được định nghĩa là multicast, một nơi phát đến nhiều nơi.
• FC-4: định nghĩa sự ánh xạ giao thức lớp trên cùng. Các giao
thức như: FCP (SCSI), FICON và IP có thể được ánh xạ đến dịch vụ
truyền tải Fibre Channel.
c. Cấu trúc liên kết (Topology)
Fibre Channel kết nối các nodes với nhau thông qua 3 kiểu kết
nối: Point-to-point, Loop, Switched.
d. Các lớp dịch vụ
FC cung cấp một hệ thống kết nối logic gọi là các lớp dịch vụ.
Mỗi lớp dịch vụ được phân biệt bởi các giao thức Login khác nhau.
Có 5 lớp dịch vụ bao gồm từ lớp 1 đến lớp 5.
3.4.2. Các thành phần chính trong cấu hình Video Server SAN
SAN được tạo thành từ những thành phần phần cứng độc lập.
Những thành phần này được kết nối với nhau hình thành nên mạng
SAN và thường gồm những loại thiết bị như: hệ thống lưu trữ RAID,
hub, switch, bridge, server, thiết bị dự phòng (backup device), card
giao diện và cabling. Chúng được kết nối với nhau hình thành một hệ
thống audio/video Server.
3.5. Các yêu cầu đối với mô hình Audio/Video Server SAN
Một giải pháp đạt hiệu quả về giá thành cho mạng SAN gồm
nhiều thiết bị khi lưu lượng dữ liệu tương đối nhỏ là xây dựng một
mạng quanh một hub đơn lẻ, có các thiết bị hoạt động trong topology
mạch vòng tùy biến (arbitrated loop).
3.6.3. Topology mạng chuyển mạch SAN
Tất cả các mạng SAN quy mô lớn được dựa trên một chuyển
mạch đường trục kết hợp với một số hub để tạo thành các public loop
bên trong mạng chuyển mạch (fabric). Sử dụng các chuyển mạch cho
hiệu quả rất cao vì không có tắc nghẽn bên trong chuyển mạch.
3.6.4. Topology dự phòng
Dự phòng trong mạng Server lưu trữ có thể được thực hiện bằng
một số phương pháp khác nhau và được thực hiện ở hai mức cơ bản,
hoặc ở mức thiết bị hoặc ở mức mạng.
3.7. Kết luận
Chương 3 trình bày về các đề xuất thiết kế hệ thống máy chủ
Audio/Video với việc áp dụng mô hình hệ thống hàng đợi với K máy
chủ; kiến trúc SAN, kỹ thuật phân cụm cho máy chủ. Những đề xuất
trên được áp dụng để xây dựng một hệ thống máy chủ Audio/Video
cho hậu kỳ sản xuất phim truyền hình ở chương tiếp theo.
Chương 4.
ĐỀ XUẤT MỘT HỆ THỐNG MÁY CHỦ AUDIO/VIDEO CHO
HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH
4.1. Mở đầu
Có thể hiểu một máy chủ (server) là một máy tính có bộ nhớ lớn,
tốc độ cao, hoạt động như bộ lưu trữ dữ liệu và các chương trình ứng
dụng trong mạng. Máy chủ cho Audio hoặc Video cũng là một máy
tính như vậy.
14
Nội dung chương này sẽ phân tích, lựa chọn các cấu trúc máy
chủ; phân tích các vấn đề về khả năng mở rộng và độ tin cậy trong hệ
4.3.1. Khả năng mở rộng
Tính mở rộng (scalability) chỉ khả năng mở rộng thông số của
server khi cần thiết. Ví dụ lúc ban đầu chỉ cần trang bị server có 2
đầu vào, 4 đầu ra, gọi là 2 x 4. Tuy nhiên sau đó, do nhu cầu sử
dụng, các câu hỏi đặt ra có thể là: liệu có thể nâng cấp nó thành 2 x8
hay không? Yếu tố nào ảnh hưởng đến tính mở rộng? Server loại nào
có tính mở rộng tốt nhất?
4.3.2. Các vấn đề về độ tin cậy của hệ thống Server
Có nhiều yếu tố ảnh hưởng đến độ tin cậy của hệ thống server,
trong đó các khía cạnh sau là chính: Độ mạnh (robustness) của server
và phần mềm tự động hóa; tính phức tạp và sự chặt chẽ (maturity)
của phần mềm; chiến lược bảo vệ lưu trữ; các thành phần dự phòng
(quạt, nguồn cung cấp, các codec…); các nút dự phòng, tất cả các
loại có thể dùng nút dự phòng, cấu hình N + N hoặc N+1.
4.4. Xây dựng hệ thống Audio/Video Server cho hậu kỳ sản xuất
phim truyền hình
4.4.1. Nhu cầu và định hướng chu trình công tác
Bước đầu tiên trong lựa chọn server là xác định miền ứng dụng
của nó, trả lời cho câu hỏi server cần cho mục đích gì? Ví dụ, Server
dùng cho phát sóng (playback on-air server) là hoàn toàn khác với
server cho sản xuất và server cho phát lại clip (playback clip server),
cả trong các tiêu chí về dung lượng / chỉ tiêu kỹ thuật và giá thành.
Bước thứ hai cần xem xét là giải pháp do nhà cung cấp sản phẩm đưa
ra ứng với các chu trình công tác (work flow).
16
4.4.2. Các yêu cầu chung đối với hệ thống máy chủ
a. hệ điều hành: MS-WINDOWS là hệ điều hành khá phổ biến nhất
hiện nay và có sẵn bản Microsoft SQL Server tích hợp.
b. Hệ thống phần cứng: Thiết bị phần cứng cho hệ thống máy chủ
Audio/Video thường được chọn theo hướng sử dụng phần cứng của
k
k k
k p k
Hay
2
N
(1 )
Thời gian chờ của các tác vụ trong hệ thống sẽ là:
2
w
N 1
.
(1 ) ( )
T
Từ các công thức trên, có thể tính được dung lượng bộ đệm cần
1
0
0
( . )
!
( . )
!
i
K
i
i
K
i
K
i
P
K
i
Số tác vụ (hay số khung dữ liệu) chờ trong hệ thống máy chủ sẽ
là:
N .
khác nhau.
Hình 4.8 Audio/Video Server cho sản xuất phim truyền hình
4.7. Đặc tính kỹ thuật và một số ví dụ minh hoạ hệ thống thực
Hệ thống lưu trữ dùng chung thiết kế chuyên dụng cho môi trường
sản xuất hậu kỳ chia sẻ.
* Đặc tính kỹ thuật chính của hệ thống:
- Số client real-time: lên tới 46.
- Hỗ trợ các độ phân giải từ DV đến HD. Lên tới 2 single-stream
client ở 1:1 10 bit HD. Lên tới 2 dual-stream client ở 1:1 8-bit HD.
Lên tới 14 dual-stream client ở DNxHD 220 or 1:1 10-bit SD. Lên
tới 18 dual-stream client at 1:1 8-bit SD. Lên tới 19 dual-stream
19
client ở độ phân giải DNxHD 145. Lên tới 46 client single stream ở
độ phân giải DV25.
- Cấu hình hệ thống hỗ trợ kết nối cáp quang (4 Gb), Gigabit
Ethernet cấu hình linh hoạt.
- Khả năng mở rộng lưu trữ lên tới 128 TB (64 TB mirrored).
Mở rộng thêm tới 8 MEDIArray XT loại 16TB cho tổng dung lượng
128 TB.
- Cộng tác thời gian thực: Tăng khả năng sản xuất, kế hoạch linh
hoạt.
- Quản lý lưu trữ FlexDrive: Tăng hoặc giảm lưu trữ bởi người
sử dụng ở bất cứ thời gian nào, không ngắt quãng quy trình làm việc.
- Chia sẻ MultiWrite: Cho phép nhiều người ghi đồng thời vào
cùng volume ở cấp độ từng Frame.
- UnityRaid: Phần mềm bảo vệ tư liệu: khả năng bảo vệ file sau
khi đã ghi tư liệu
- Khả năng AutoRecover cho phép tự động khôi phục tư liệu
chạy trên nền.
sớm xây dựng và triển khai hệ thống Audio/Video Server với việc áp
dụng các công nghệ mới. Luận văn đề xuất một phương án trong
nhiều phương án sử dụng mạng SAN vào công tác lưu trữ, sản xuất
hậu kỳ phim truyền hình. Cùng với công nghệ SAN, luận văn cũng
đã đề xuất áp dụng mô hình hàng đợi vào xây dựng và tính toán hiệu
năng cho hệ thống Audio/Video Server.
Việc nghiên cứu cho hoàn thiện, và tối ưu hoá hệ thống
Audio/Video Server cho sán xuất hậu kỳ các chương trình truyền
hình sao cho đáp ứng kịp với nhu cầu phát triển của các công nghệ
mới, là một trong những hướng phát triển khả thi tiếp theo.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TẬP ĐOÀN BƯU CHÍNH VIỄN THÔNG VIỆT NAM
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG BÙI NGỌC LONG
NGHIÊN CỨU XÂY DỰNG HỆ THỐNG MÁY CHỦ AUDIO/VIDEO
CHO HẬU KỲ SẢN XUẤT PHIM TRUYỀN HÌNH
CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH
MÃ SỐ : 60.48.15
TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT
NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TSKH. HOÀNG ĐĂNG HẢI
trình hoạt động (workflow) của hệ thống. Đó chính là vấn đề nghiên
cứu đặt ra trong luận văn.
2
1.2. Mục tiêu và nội dung nghiên cứu của luận văn
Mục tiêu nghiên cứu trong bài luận văn là nghiên cứu xây dựng
một hệ thống máy chủ Audio/Video (Audio/Video Server System)
cho hậu kỳ sản xuất phim truyền hình.
Các vấn đề nghiên cứu được đặt ra đối với việc xây dựng hệ
thống máy chủ Audio/Video gồm có:
Nghiên cứu các yêu cầu chung đối với kiến trúc hệ thống máy
chủ.
Nghiên cứu các vấn đề về nhập dữ liệu vào hệ thống máy chủ.
Xây dựng hệ thống trên cơ sở mô hình hàng đợi nhiều server,
công nghệ mạng lưu trữ SAN, kỹ thuật phân cụm (Clustering).
Áp dụng mô hình cụm server và công nghệ mạng SAN cho
xây dựng một hệ thống máy chủ Audio/Video cho hậu kỳ sản
xuất phim truyền hình.
1.3. Các kết quả nghiên cứu đạt được của luận văn
Nghiên cứu các vấn đề kỹ thuật trong xây dựng hệ thống máy
chủ Audio/Video cho hậu kỳ sản xuất phim truyền hình. Tổng
hợp được các quy trình hoạt động cần thiết của hệ thống.
Nghiên cứu kiến trúc các máy chủ, công nghệ server, các vấn
đề về nhập dữ liệu vào hệ thống máy chủ, mã hóa tín hiệu, lưu
trữ dữ liệu vào hệ thống, vấn đề chất lượng dịch vụ và quản lý
băng thông, kiểm soát lỗi hệ thống.
Trình bày các chuẩn dữ liệu cần thiết trong quy trình hoạt
động của hệ thống; phân tích, đánh giá được các phương án
lưu trữ, tùy chọn RAID, lựa chọn chuẩn, phân cụm server.
Nghiên cứu cơ sở lý thuyết hệ thống, đề xuất áp dụng mô hình
hàng đợi nhiều server, công nghệ mạng lưu trữ SAN, kỹ thuật
Copyright: Tài liệu đại học ©