XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni

LUẬN VĂN
Trang: 2

MỤC LỤC
DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT
5

DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ
7

DANH MỤC CÁC BẢNG BIỂU
9

LỜI MỞ ĐẦU
10

CHƯƠNG I: GIỚI THIỆU TỔNG QUAN CÔNG NGHỆ SỐ HÓA DỮ LIỆU
12

1.1. Số hoá dữ liệu là gì? 13
1.2. Một số qui trình số hóa dữ liệu. 13
1.2.1. Qui trình số hóa dữ liệu văn bản (Text):
13
1.2.2. Qui trình số hóa với dữ liệu Video, Audio:
16
1.3. Các số công cụ số hoá dữ liệu 19

CHƯƠNG III: GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI
NGUYÊN SỐ TẠI ĐÀI PHÁT THANH - TRUYỀN HÌNH SƠN LA 32

3.1. Phân tích yêu cầu số hoá dữ liệu của Đài phát thanh - truyền hình Sơn
La. 33
3.1.1. Yêu cầu về tính năng lưu trữ dữ liệu số.
33
3.1.2. Yêu cầu về công nghệ lưu trữ dữ liệu số.
34
3.1.3. Yêu cầu về giải pháp phần cứng.
34
3.1.4. Yêu cầu về tính hiệu quả trong công việc.
36
3.2. Giải pháp lưu trữ tài nguyên số 37
3.2.1. Đánh giá tốc độ gia tăng của dung lượng cần lưu trữ.
37
3.2.2. Đánh giá tốc độ phát triển của thiết bị lưu trữ.
38
3.2.3. Phân tích giải pháp số hoá dữ liệu.
40
3.3. Lựa chọn giải pháp xây dựng và quản lý tài nguyên số 48
3.3.1. Thành phần cơ bản của hệ thống MAM - Media Asset Management:
48
3.3.2. Sơ đồ làm việc hệ thống MAM - Media Asset Management:
49
3.3.3. Lý do lựa chọn sử dụng hệ thống MAM để quản lý và khai thác tài
nguyên số tại Đài PT - TH Sơn La.
57
3.4. Xây dựng hệ thống MAM tại Đài Phát thanh - Truyền hình Sơn La. 58
3.4.1. Yêu cầu kỹ thuật đối với hệ thống MAM tại đơn vị.

4.1.1. Tính khả thi.
67
4.1.2. Tính hữu dụng của hệ thống tài nguyên số.
68
4.1.3. Ưu điểm của hệ thống.
70
4.1.4. Hạn chế, tồn tại.
71
4.2. Đề xuất, kiến nghị.
72
DANH MỤC TÀI LIỆU THAM KHẢO 74

PHỤ LỤC 75
Tủ đĩa lưu trữ
iSCSI
Giao thức vận chuyển dữ liệu tốc độ cao trong mạng lưu trữ
IP-SAN
Internet Protocol – Storage area Network
Workstation
Máy trạm làm việc hiệu xuất cao
OCR
Optical Character Recognition - Nhận dạng ký tự quang học
ICR
Intelligent Character Recognition - Nhận dạng ký tự thông
minh
Storage
Ổ cứng lưu trữ
Capture
Sao chép toàn bộ hoặc một phần âm thanh, hình ảnh vào máy
tính.
NLE
Non Linear Editing - Các bộ máy tính dựng hình phi tuyến
Realtime
Đáp ứng thời gian thực

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 6
LUẬN VĂN
Render

Proxy
Định dạng độ phân giải thấp
System Log
management

Quản lý hệ thống truy nhập
XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 7
LUẬN VĂN

DANH MỤC CÁC HÌNH VẼ, SƠ ĐỒ

TÊN HÌNH VẼ, ĐỒ THỊ TRANG
Hình 1.1: Sơ đồ số hóa thông tin tư liệu dạng văn bản 15
Hình 1.2: Sơ đồ số hóa thông tin tư liệu dạng nghe nhìn 17
Hình 1.3: Mô hình hệ thống số hoá Video/Audio 18
Hình 2.1: Giao diện làm việc của phần mềm Adobe Premiere 25
Hình 2.2: Giao diện làm việc của phần mềm Avid 26
Hình 2.3: Giao diện làm việc của phần mềm Adobe Audition 27
Hình 2.4: Sơ đồ xử lý dữ liệu Video 29
Hình 2.5: Sơ đồ xử lý dữ liệu Audio 29
Hình 3.1: Mô hình Server trong hệ thống lưu trữ dữ liệu 36
Hình 3.2: Mô hình hệ thống lưu trữ Nearline 42
XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 9
LUẬN VĂN

DANH MỤC CÁC BẢNG BIỂU

TÊN BẢNG BIỂU TRANG
Các số công cụ số hoá dữ liệu 19-20
Bảng 3.1: Thống kê băng từ tại Đài phát thanh - truyền hình Sơn La 38
Bảng 3.2: Bảng so sánh hình thức lưu trữ dữ liệu 40
Bảng 3.3: Bảng định dạng Video hệ thống MAM hỗ trợ 54,55,56



Xây dựng nguồn tài nguyên số là một trong những mục tiêu quan trọng của
tất cả các loại hình thư viện trên thế giới, nhằm hướng đến mục tiêu phục vụ thông
tin cho người dùng ở mọi lúc, mọi nơi, không phân định không gian, thời gian.
Quá trình xây dựng thư viện số, thư viện ảo, thư viện điện tử… đã được phát triển
ở các nước phương Tây từ những năm 90 của thế kỉ XX. Nhưng ở Việt Nam, thư
viện số, thư viện điện tử mới chỉ được quan tâm từ 7-8 năm trở lại đây. Và rất
nhiều các cơ quan thông tin hiện nay mới quan tâm tìm hiểu xem tài nguyên số là
gì? xây dựng và quản lý tài nguyên số thì cần những yếu tố gì? Có rất nhiều các
vấn đề mà các nhà thư viện hiện nay cần quan tâm khi xây dựng một kế hoạch/dự
án phát triển nguồn tài nguyên số như: phát triển bộ sưu tập số, phát hiện và tổ
chức nguồn tin, tìm tin/truy cập, hạ tầng thông tin-quản trị tri thức, lưu trữ số, dịch
vụ số, ứng dụng mạng xã hội, sở hữu trí tuệ, an ninh mạng, các vấn đề văn hoá và
luật pháp… Việc xây dựng, phát triển bộ tài nguyên số cho mỗi đơn vị sẽ được tiến
hành ở quy mô và mức độ khác nhau dựa trên thực lực của đơn vị cụ thể.
Các sản phẩm của nội dung số rất đa dạng, bao gồm văn bản, dữ liệu, hình
ảnh, âm thanh…và được thể hiện dưới dạng số (byte, bit…) được lưu giữ, truyền
trong môi trường điện tử như mạng máy tính, mạng viễn thông, truyền thanh,
truyền hình… Nói cách khác, nội dung số là sự tích hợp các dạng khác nhau, trộn
nhiều dạng hình ảnh, âm thanh hay văn bản lại với nhau, đồng thời có thể dễ dàng
lưu giữ và truy xuất, tái sản xuất, nâng cấp và chỉnh sửa. Như vậy, số hóa dữ liệu,
phát triển nguồn tài liệu số, xây dựng cơ sở dữ liệu…chính là những thành tố quan
trọng đóng góp cho sự cần phải có nguồn tài nguyên số.
Đứng trước những yêu cầu, thách thức cần quản lý và khai thác hiệu quả
hơn nguồn tài nguyên hiện có tại Đài Phát thanh - Truyền hình tỉnh Sơn La cùng
sự thống nhất của tập thể đơn vị em đã tiến hành xây dựng giải pháp lưu trữ, quản
lý và khai thác tài nguyên số tại đơn vị mình đang công tác nhằm đáp ứng được

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ


Thực hiện Nguyễn Mạnh Hùng

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 12
LUẬN VĂN
CHƯƠNG I
GIỚI THIỆU TỔNG QUAN
CÔNG NGHỆ SỐ HÓA DỮ LIỆU

sẽ giúp việc lưu trữ, truy xuất, chi sẻ, tìm kiếm thông tin một cách nhanh chóng và
dễ dàng nhất.
Tuỳ thuộc dạng dữ liệu cần số hoá, đặc thù công việc của mỗi đơn vị sử
dụng tài nguyên số mà chúng ta nghiên cứu xây dựng những hệ thống lưu trữ dữ
liệu số khác nhau. Dưới đây là một số mô hình số hoá dữ liệu hiện đang được ứng
dụng.
1.2. Một số qui trình số hóa dữ liệu.
1.2.1. Qui trình số hóa dữ liệu văn bản (Text).
Một hệ thống số hóa tốt cần có khả năng chuyển đổi nhanh chóng một khối
lượng lớn tài liệu giấy sang các tài liệu số trong một thời gian ngắn. Sau khi được
số hóa, các thông tin trên tài liệu trở nên hiện hữu bởi các hệ thống khai thác thông
tin và sẵn sàng để phục vụ công tác chuyên môn của mỗi đơn vị.
Quy trình quản lý tài liệu số bắt đầu bằng việc chuyển đổi các tài liệu giấy
và sổ sách sang những hồ sơ điện tử có thể lưu trữ dưới dạng file mềm. Một tài
liệu giấy được quét vào máy quét (scan) rồi chuyển thành file ảnh. Sau đó phần
mềm sẽ chuyển file đó thành file mềm giống nguyên dạng ban đầu và có thể lưu

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 14
LUẬN VĂN
trữ theo ý của người sử dụng. Khi cần, chỉ việc gõ từ khóa cần tìm. Các phần mềm
hiện nay có chức năng truy tìm, bảo mật và sắp xếp, lưu trữ tài liệu dưới dạng kỹ
thuật số. Hệ thống quản lý này thường có các thành phần cơ bản: các công cụ nắm
giữ và nhập để đưa tài liệu vào hệ thống; các phương pháp để lưu trữ hồ sơ tài liệu;
các công cụ chỉ số hóa và truy tìm để xác định vị trí lưu trữ tài liệu; các công cụ
phân phối để xuất tài liệu từ hệ thống ; hệ thống bảo mật để bảo vệ các tài liệu


Hình 1.1: Sơ đồ số hóa thông tin tư liệu dạng văn bản.
* Các bước của quy trình chuyển đổi dữ liệu:
- Scan tài liệu:
Tài liệu là các giấy tờ, văn bản lưu trên giấy được đưa vào máy scan để quét
và lưu dưới dạng file trên bộ nhớ máy tính. Tất cả các tài liệu đều được chuyển đổi
và xử lý dưới dạng hình ảnh số hóa.

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 16
LUẬN VĂN
- Nhận dạng nội dung:
Dựa vào công nghệ nhận dạng ký tự quang học OCR, nhận dạng ký tự
thông minh ICR, nhận dạng tiếng Việt VnDOCR, hình ảnh số hóa được tự động
nhận dạng và trích xuất nội dung với độ chính xác cao.
- Định dạng:
Từ dữ liệu thô vừa được trích xuất, kỹ thuật viên xử lý chuyển đổi dữ liệu
sẽ định dạng theo yêu cầu lưu trữ như: dàn trang, chèn mã đánh dấu, chèn mã xml,
chèn mã ký tự đặc biệt…
- Kiểm soát chất lượng:
Việc kiểm soát chất lượng tiến hành kiểm tra từ nội dung cho đến định dạng
của dữ liệu để hoàn thiện độ chính xác.
- Kết xuất dữ liệu:
Dữ liệu hoàn chỉnh sẽ được kết xuất theo các dạng tập tin như: .doc, .txt,
.qxd, xml, html, pdf và được chuyển tới các thiết bị lưu trữ dưới dạng CD, DVD
hoặc ổ cứng lưu trữ Storage.


Hình 1.2: Sơ đồ số hóa thông tin tư liệu dạng nghe nhìn.
- Số hóa các tín hiệu video và audio tạo ra một dòng số hiệu dung lượng
lớn. Quá trình xử lý và tích hợp số liệu Video/Audio động đầy đủ trên màn hình
máy tính đòi hỏi phải có kỹ thuật nén và giải nén, nhắm giảm tấc độ dòng bít theo
hệ số nén từ 2 đến 100. Ngày nay, các kỹ thuật nén đã cho phép xử lý trong thời
gian thực tín hiệu Video/Audio chất lượng cao và xử lý ảnh rất phức tạp.
- Số hoá Video/Audio hình thành từ sự xuất hiện của các kỹ thuật mới như:

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 18
LUẬN VĂN
Số hóa hình ảnh, âm thanh: Các tín hiệu audio và video tương tự được số
hóa và định dạng nhằm truyền dẫn thông tin phục vụ cho mục đích của ứng dụng.
Các quá trình chuyển đổi này đã được nghiên cứu. Các card thu nhận video và
audio đã được chế tạo có thể sử dụng với mức độ chỉ tiêu chất lượng khác nhau.
Nén số liệu tín hiệu audio và video số: Việc giảm số liệu tạo ra khả năng
cho lưu trữ và xử lý trong thời gian thực bằng phần cứng. Các card nén và giải nén
tín hiệu video và audio hiện đã đáp ứng được các nhu cầu ứng dụng khác nhau.
Các hệ thống lưu trữ dung lượng lớn: Trong những năm gần đây đã


Trang: 19
LUẬN VĂN
Tín hiệu đầu vào từ những đầu đọc băng, đĩa, đầu thu vệ tinh hay các tín
hiệu Video/Audio từ các Studio được kết nối với máy tính thông qua Card Capture
tín hiệu. Trên máy tính sử dụng các phần mềm biên tập âm thanh, hình ảnh và định
dạng số tín hiệu trước khi chuyển Server lưu trữ dữ liệu trung tâm.
Tín hiệu sau khi được số hoá và lưu trữ trên Server sẽ được quản lý, khai
thác hay truy xuất dữ liệu một cách khoa học, hiệu quả dựa trên những phần mềm
quản lý dữ liệu số tập trung như MAM - Media Asset Managerment.
1.3. Các số công cụ số hoá dữ liệu.
1.3.1. Văn bản số:
Tư liệu nguyên bản Công cụ phần mềm Công cụ phần cứng
- Văn bản
- Sách, các tài liệu dạng sách
- VNDOC
- Omni Page Pro
Máy quét - Scan

1.3.2. Trang Web:

Tư liệu nguyên bản Công cụ phần mềm Công cụ phần cứng
Văn bản số hoá
- Microsoft – FrontPage
- Macromedia Dreamweaver
- NetObjects – ObjectFusion
- Máy quét – Scan
- Máy ảnh số

1.3.3. Đồ họa (vector graphics):

tay, chữ tượng hình…
- Adobe Photoshop
- Fractal Designs – Painter
- Paint ShopPro
- Máy quét – Scan
- Máy ảnh số

1.3.5. Video số hóa:

Tư liệu nguyên bản Công cụ phần mềm Công cụ phần cứng
- Các đoạn phim video

- Các đoạn phim nhựa
- CyberLink Power VCR
(phim video)
- Adobe – Premiere (phim
nhựa và phim video).
- Data Translator-Media 100
- Avid – Media Composer
- Avid – Video Shop
- Đầu video
- Máy chiếu
- Card kết nối máy tính
chuyên dụng

1.3.6. Âm thanh ở dạng số:

Tư liệu nguyên bản Công cụ phần mềm Công cụ phần cứng
Âm thanh ở dạng analog
(băng cassette, băng từ)


- Cần đầu tư ban đầu về công nghệ, cơ sở hạ tầng thiết bị, máy móc hiện
đại.
- Dữ liệu dễ bị sao chép và sửa đổi trái pháp luật.
- Việc triển khai sử dụng gặp nhiều khó khăn do phải đồng bộ và có hệ
thống. Ngoài ra việc bảo mật dữ liệu cũng là một thách thức lớn.
- Mất nhiều thời gian chuyển đổi dữ liệu lưu trữ.
Để thực hiện một hệ thống quản lý tài liệu kỹ thuật số, mỗi tổ chức, đơn vị
cần phải chọn một hệ thống riêng, tùy theo nhu cầu khác nhau của mình để có thể
đạt được hiệu quả cao nhất.
Có rất nhiều các vấn đề mà các nhà thư viện hiện nay cần quan tâm khi xây
dựng một kế hoạch/dự án phát triển thư viện số như: phát triển bộ sưu tập số, phát
hiện và tổ chức nguồn tin, tìm tin/truy cập, tương tác người – máy/người sử dụng,
hạ tầng thông tin-quản trị tri thức, lưu trữ số, dịch vụ số, ứng dụng mạng xã hội, sở
hữu trí tuệ, an ninh mạng, các vấn đề văn hoá và luật pháp… Việc xây dựng, phát
triển bộ sưu tập tài liệu số cho mỗi thư viện sẽ được tiến hành ở quy mô và mức độ
khác nhau dựa trên thực lực của đơn vị cụ thể.

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 22
LUẬN VĂN
Trang: 23
LUẬN VĂN
2.1. Khảo sát hiện trạng xử lý dữ liệu tại Đài phát thanh - truyền hình
Sơn La.
2.1.1. Thiết bị phần cứng dùng xử lý dữ liệu.
Đài Phát thanh - truyền hình Sơn La được thành lập ngày 26/09/1977, trải
qua 35 năm xây dựng và phát triển Đài đã đạt được những thành tựu đáng kể.
Ngoài việc đổi mới nội dung, hình thức và tăng thời lượng phát sóng thì việc đổi
mới công nghệ sản xuất chương trình cũng diễn ra một cách nhanh chóng, nhất là
những năm gần đây.
Hiện công nghệ xử lý dữ liệu đã được thao tác ngay trên các bộ máy tính
dựng hình phi tuyến NLE (Non-Linear-Editing) với những cấu hình và thiết bị kết
nối khác nhau. Về cơ bản hệ thống dựng hình NLE tại Đài phát thanh - truyền hình
Sơn La gồm các khối thiết bị như sau:
Máy tính: Để điều khiển chung toàn bộ hệ thống. Nó tựa như bộ não của hệ
thống. Các phần mềm điều khiển, phần mềm dựng sẽ được cài đặt trên các bộ
NLE. Thông thường máy tính giao tiếp với khối xử lí Video/Audio qua đường
mạng hay bus của máy tính. Hiện tại đơn vị đang sử dụng 2 hệ thống dựng NLE
của hãng Matrox và Avid.
Khối xử lí Video và Audio: Hay còn gọi là thiết bị I/O có chức năng số
hóa video, nén video, ghi video số lên đĩa cứng, chuyển đổi video số thành dạng
analog ở đầu ra (S-video, component, composite ) và ngược lại. Có thể hiểu là 1
thiết bị phần cứng riêng biệt (card dựng) tăng tốc xử lí video thực hiện các công
đoạn xử lý Video (cắt, dán, chỉnh màu, fade in/out, kĩ xảo 2D-3D ) đáp ứng thời
gian thực (realtime) mà không qua quá trình tạo ảnh (render). Tùy các hệ dựng (có
tiêu chuẩn phân cấp) mà các nhà sản xuất sẽ cho ra các sản phẩm đáp ứng nhu cầu
khác nhau.
Khối lưu trữ: Ghi dữ liệu Video, audio, graphic, effect Do yêu cầu tốc
độ, độ bền nên các ổ cứng (HDD) được chọn lựa cho phương tiện lưu trữ video.
Giao tiếp của khối lưu trữ thường qua giao tiếp tốc độ cao, băng thông rộng

- Khả năng tích hợp tốt hơn với các ứng dụng của Adobe như: Các ứng
dụng đồ họa tĩnh và động, Kéo và thả hay chép và dán các clip và khung thời gian
(timeline) giữa Adobe Premiere Pro CS3 và After Effects CS3 Professional.
- Tiết kiệm băng và thời gian nhờ hủy các hình ảnh từ quá trình sản xuất.
Ghi video SD (độ nét chuẩn) và HD (độ nét cao) trực tiếp vào ổ cứng sử dụng phần

XÂY DỰNG GIẢI PHÁP LƯU TRỮ, QUẢN LÝ VÀ KHAI THÁC TÀI NGUYÊN SỐ

Nguyn Mnh Hùng - Lp cao hc Đin t K3 - Vin Đi hc M Hà Ni Trang: 25
LUẬN VĂN
mềm Adobe OnLocation™ CS3, đi cùng với Adobe Premiere Pro CS3. Xem lại
ngay lập tức từng cảnh mà không cần quay băng. Adobe OnLocation tự động phát
hiện và giải quyết các vấn đề để cho kết quả tốt nhất.
- Adobe Premiere Pro phù hợp cho sản xuất các chương trình như: Bản tin,
phóng sự, chuyên đề hay những chương trình khác đòi hỏi cao về thời gian xử lý
hoàn tất.

Hình 2.1: Giao diện làm việc của phần mềm Adobe Premiere.

* Phần mềm Avid: Với chuẩn hình SD và HD thì Avid Liquid là phần
mềm có nhiều tính năng mạnh về biên tập phim. Avid cung cấp cho bạn khả năng
trộn nhiều định dạng video hay hệ PAL/NTSC trên cùng một timeline trong thời
gian thực mà không cần chuyển định dạng.
- Phần mềm hỗ trợ nhiều định dạng vào/ra của hình ảnh và âm thanh cùng
các công cụ biên tập chuyên nghiệp có nhiều giao diện nên Avid giúp cho người
biên tập làm được nhiều việc hơn so với các phần mềm khác.