ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
PHẠM TRẦN THIỆN
NGHIÊN CỨU MỘT SỐ KỸ THUẬT XỬ LÝ VIDEO VÀ ỨNG
DỤNG VÀO XÂY DỰNG PHẦN MỀM GIÁM SÁT, QUẢN LÝ
TỰ ĐỘNG CÁC TRANG TRẠI LUẬN VĂN THẠC SĨ
Hà Nội - 2008
MỤC LỤC
MỞ ĐẦU 1
Chương 1:- TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ VIDEO 8
1.1 Tổng quan về xử lý ảnh 8
1.1.1 Xử lý ảnh và sơ đồ tổng quát 8
1.1.2 Một số vấn đề cơ bản của xử lý ảnh 10
1.1.2.1 Các khái niệm cơ bản của xử lý ảnh 10
1.1.2.2 Các kỹ thuật cơ bản trong xử lý ảnh 14
1.2 Tổng quan về xử lý Video 20
1.2.1 Sơ lược về Video 20
1.2.2 Các dạng chuẩn và kiến trúc của Video 21
1.2.2.1 Video tương tự 21
1.2.2.2 Video số 21
1.2.2.3 Thuật toán chuyển đổi Cosine rời rạc trong nén ảnh 27
1.2.2.4 Bù chuyển động 28
Chương 2:- CÁC KỸ THUẬT ĐÁNH GIÁ VẬN ĐỘNG CỦA ĐỐI TƯỢNG
TRONG VIDEO 31
2.1 Kỹ thuật bắt đối tượng chuyển động 31
2.1.1 Kỹ thuật trừ ảnh 31
2.1.2 Kỹ thuật trừ nền (Background Subtraction) 33
Phương pháp Heikkila và Olli 34
Bộ trộn thích nghi của Gaussians 35
Pfinder 35
W
4
36
LOTS 36
trừ khung hình liền kề 66
3.3.6.2 Phát hiện đối tượng chuyển động theo hướng tiếp cận kết hợp 69
3.3.7 Thuật toán phát hiện vận động toàn diện của đối tượng 71
3.3.8 Chương trình cài đặt 74
KẾT LUẬN 71
TÀI LIỆU THAM KHẢO 72
PHỤ LỤC 73
1
DANH MỤC CÁC TỪ VIẾT TẮT
Cụm từ viết tắt
Mô tả viết tắt
ADC
Analog to digital converter
BS
Block Search
DCT
Descrete Cosine Transform
Fcur
Frame current
Feg
Frame edge
Fgreyc
Frame grey current
Fgreyp
Frame grey previous
Fpre
Frame previous
GOB
Hình 1.1. Các bước cơ bản trong xử lý ảnh số 4
Hình 1.2. Những liên kết giữa các điểm ảnh 7
Hình 1.3. Những kiểu đường liên kết giữa các điểm ảnh 8
Hình 1.4. Mô hình màu RGB 8
Hình 1.5. Mô hình màu HSV 9
Hình 1.6. Mô tả phương pháp tìm biên ảnh 10
Hình 1.7. Kết quả thuật toán dò biên 12
Hình 1.8. Phân ngưỡng theo lược đồ xám 14
Hình 1.9. MacroBlock 17
Hình 1.10. Chuỗi các khung của H.261 19
Hình 1.11. Nhóm ảnh trong MPEG-1 20
Hình 1.12. Mô hình DCT cho khối 8x8 22
Hình 1.13. Mô hình nén liên ảnh 23
Hình 1.14. Khảo sát ô mẫu pixel của ảnh chuyển động 23
Hình 1.15. Mô tả vector chuyển động giữa hai khung ảnh kế cận nhau 25
Hình 2.1. Mô tả của phép toán trừ ảnh 27
Hình 2.2. Kết quả khi thực hiện Xor hai ảnh a và b 28
Hình 2.3. Chuyển động 3D trong thế giới thực được chiếu như chuyển động
2D trên ảnh phẳng 34
Hình 2.4. Khung tích hợp 37
Hình 2.5. Tính toán của một khối tổng 38
Hình 2.6. Vector biểu thị dòng thị giác của đối tượng chuyển động trong Video 41
Hình 2.7. Mô tả trường chuyển động của dòng thị giác 42
Hình 2.8. Lọc theo thời gian được áp dụng đối với các optical flow đã tính toán
của các khung trong giai đoạn thời gian [t, t+n] 46
Hình 2.9. Mô tả kết quả của phát hiện vận động nổi bật 48
Hình 2.10. Vùng sai khác khi đối tượng vận động 50
Hình 3.1. Bò sữa ở trang trại Vinamilk - Tuyên Quang 51
Hình 3.2. Mối liên quan trong thiết kế phần mềm 53
5
DANH MỤC CÁC LƯỢC ĐỒ Lược đồ 3.1. Thu ảnh và phát hiện chuyển động 57
Lược đồ 3.2. Thu ảnh và lưu trữ 64
Lược đồ 3.3. Phát hiện đối tượng vận động 65
Lược đồ 3.4. Đánh giá vận động của đối tượng 66
6
MỞ ĐẦU Trong thế kỷ 21, sự phát triển của công nghệ thông tin đã đẩy nhanh sự phát
triển nhiều lĩnh vực của đời sống xã hội. Với sự phát triển nhanh chóng của phần cứng
máy tính và các thiết bị liên quan về các phương diện thu nhận và hiển thị đã mở ra
nhiều hướng mới cho sự phát triển của phần mềm. Trong số đó phải kể đến lĩnh vực
giám sát tự động.
Ngày nay, lĩnh vực này đã và đang được nhiều người quan tâm, nghiên cứu.
Các vấn đề liên quan đến giám sát tự động như: dự đoán, cảnh báo đối tượng đột nhập;
dự đoán, cảnh báo các hiện tượng trong tự nhiên; dự đoán, cảnh báo hành vi của con
người, loài vật,… thông qua hệ thống camera giám sát. Đây chính là những lĩnh vực
rất gần gũi và cấp thiết đối với nhu cầu trong cuộc sống của con người.
Từ dữ liệu thu được qua camera quan sát dưới dạng video lưu trữ trên máy tính
rồi tiến hành tìm hiểu, nghiên cứu các vấn đề liên quan đến nó để từ đó đưa ra các
phương pháp, thuật toán và cài đặt phần mềm ứng dụng cho vấn đề nghiên cứu này.
Với những tiến bộ trong lưu trữ dữ liệu video và thiết bị công nghệ máy tính,
nhiều ứng dụng mới liên quan đến hệ thống thông tin video đang ngày càng nổi trội.
Video là một phương tiện với độ phức tạp cao. Nó có các đặc trưng về thời gian và
không gian. Thông tin liên quan đến vị trí, khoảng cách, mối quan hệ thay đổi về thời
động, giảm bớt thao tác thủ công. Bên cạnh đó, sự mở rộng về quy mô của các trang
trại lớn, đặc biệt là các trang trại chăn nuôi bò sữa, với một diện tích rất rộng, qui mô
lớn, nhân công nhiều,…Điều này đặt ra các yêu cầu về vấn đề giám sát.
Xuất phát từ thực tế này, vấn đề nghiên cứu các kĩ thuật xử lý video quan sát và
ứng dụng cài đặt phần mềm liên quan để hỗ trợ tốt nhất cho các công việc giám sát đối
với tình hình ở các trang trại chăn nuôi bò sữa này là cần thiết. Trong đó, vấn đề liên
quan đến xử lý và nhận dạng video trong giám sát tự động phục vụ cho nhu cầu phát
hiện và cảnh báo một số hành vi bất thường của bò sữa như phát hiện ra dấu hiệu bất
thường của một con bò sữa nào đó trong trang trại với các dấu hiệu, động dục, sinh nở,
ốm đau thông qua việc giám sát tự động bởi các camera. Với nhu cầu trên, được sự
hướng dẫn của TS. Phạm Việt Bình tôi tiến hành thực hiện đề tài “Nghiên cứu một số
kỹ thuật xử lý Video và ứng dụng vào xây dựng phần mềm giám sát, quản lý tự
động các trang trại”.
Trong khuôn khổ của luận văn này, mục tiêu của đề tài là tìm hiểu và nghiên
cứu một số kỹ thuật, phương pháp trong việc nhận diện, hiểu được một số hành động
của động vật để từ đó dự đoán hành vi của động vật, cụ thể là bò sữa. Bước đầu xây
dựng một ứng dụng để áp dụng các kỹ thuật, phương pháp tìm hiểu được.
Để đạt được mục tiêu trên, các vấn đề cần giải quyết trong đề tài này gồm:
+ Nghiên cứu tổng quan về xử lý ảnh, video, các thao tác cơ bản đối với video
và ứng dụng.
+ Nghiên cứu và xây dựng một số kỹ thuật xử lý ảnh áp dụng trong việc hiểu
cử chỉ, hành vi động vật trong video.
+ Nghiên cứu một số phương pháp trong việc xây dựng phần mềm ứng dụng.
+ Cài đặt một ứng dụng giám sát cụ thể sử dụng kỹ thuật liên quan.
8
Chương 1:- TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ VIDEO 1.1 Tổng quan về xử lý ảnh
vì vậy quá trình xử lí ảnh có vai trò như bộ lấy mẫu trong hệ thống nhận dạng ảnh.
Ảnh số được thu nhận bằng một cảm biến ảnh có khả năng biến thông tin về
cường độ sáng và mức xám của ảnh thực thành tín hiệu điện áp dưới dạng analog. Tín
hiệu này sau đó được số hóa để trở thành tín hiệu số.
Cảm biến nhìn chung gồm 2 thành phần chính. Thành phần thứ nhất tạo ra tín
hiệu điện ở đầu ra tỉ lệ với mức năng lượng mà nó nhận được. Thành phần thứ 2 là bộ
số hóa, là phần tử biến đổi tín hiệu tương tự thành tín hiệu số. Tùy thuộc vào thành
phần số hóa thực chất là bộ chuyển đổi ADC, chúng ta có các tín hiệu với số bit khác
nhau: 4 bit, 8bit, 10 bit, 12 bit , tương ứng ta sẽ được các ảnh có 16, 256 mức xám
khác nhau,
Tiền xử lý ảnh : Sau khi ảnh số được thu thập dưới dạng tín hiệu số, cần phải
trải qua giai đoạn tiền xử lý. Chức năng chủ yếu của tiền xử lý là cải thiện ảnh, nâng
cao các tính chất của ảnh giúp cho các quá trình xử lý về sau được thuận tiện hơn. Các
công đoạn cơ bản của tiền xử lý là: nâng cao độ tương phản, lọc nhiễu
10
Phân vùng ảnh: Bước tiếp theo của quá trình xử lý là phân vùng ảnh. Ảnh sau
khi đã được cải thiện, sẽ trở nên thuận tiện hơn cho việc phân ngưỡng và phân vùng.
Nhiệm vụ chính của phân ngưỡng và phân vùng ảnh là tách ảnh đầu vào thành các đối
tượng, vật thể riêng biệt. Kết quả của quá trình phân vùng ảnh, ta sẽ được một tập hợp
các điểm ảnh có liên kết với nhau thành các đối tượng, được đánh số phân biệt, thuận
tiện cho các quá trình xử lý cao hơn.
Đầu ra của quá trình phân vùng ảnh là các pixel chưa được lọc, bao gồm liên
kết của 1 vùng hoặc tất cả các điểm ảnh trong vùng đó. Số liệu này cần được biến đổi
thành dạng thích hợp cho máy tính xử lý.
Phân tích ảnh: đây là giai đoạn xử lý bậc cao trong hệ thống xử lý ảnh số. Ảnh
sau khi được phân vùng thành các đối tượng riêng biệt, đã được đánh số phân biệt, sẽ
được phân tích để phục vụ những mục đích khác nhau như: Xác định các đặc trưng
hình học của đối tượng: dựa trên cơ sở đối tượng đã được xác định và phân biệt, ta có
thể thực hiện xác định các đặc trưng hình học của mỗi đối tượng đấy, như: vị trí, kích
1110
1100
0111
0110
- Ảnh xám: giá trị mức xám của các điểm ảnh được biểu diễn bằng 8 bit (giá trị
từ 0 đến 255).
Ví dụ về biểu diễn ảnh xám:
12245110
915600
0219415
01250
nhỏ và ít phụ thuộc vào thiết bị hiển thị hơn so với ảnh Bitmap.
Điểm ảnh và các lân cận: Mỗi frame ảnh thu về được biểu diễn dưới dạng
I(x,y) trong đó x,y là tọa độ của điểm ảnh trên frame và I là mức xám tương ứng của
điểm ảnh đó. Như vậy 1 frame ảnh thu được sẽ được biểu diễn dưới dạng một ma
trận 2 chiều n x m với n là số điểm ảnh trên 1 hàng, m là số hàng trong 1 frame.
Mỗi điểm ảnh có các lân cận xung quanh. Nếu hiển thị mỗi điểm ảnh dưới dạng
một ô vuông, mỗi điểm có chung biên với 4 điểm lân cận, và có chung góc với 4 điểm
lân cận khác.
Hai điểm lân cận gọi là "liên kết 4" nếu chúng có chung biên với nhau, và "liên
kết 8" nếu chung góc và chung biên với nhau.
[i-1,j] [i-1,j-1]
[i-1,j]
[i-1,j+1] [i,j-1]
[i,j]
[i,j+1]
[i,j-1]
1
], [i
2
, j
2
], , [i
k
, j
k
] ,[i
n
,j
n
] trong đó mỗi
điểm ảnh liên kết với điểm ảnh trước nó. Từ đó ta có đường liên kết 4 hoặc liên kết 8
nếu các điểm ảnh là liên kết 4 hoặc liên kết 8.
13
(a) liên kết 4 (b) liên kết 8
Hình 1.3. Những kiểu đường liên kết giữa các điểm ảnh
Mô hình màu: Là phương pháp diễn giải các đặc tính và tác động của màu
trong ngữ cảnh nhất định. Không có mô hình màu nào là đầy đủ cho mọi khía cạnh của
màu. Người ta sử dụng các mô hình màu khác nhau để mô tả các tính chất được nhận
biết khác nhau của màu. Sau đây là một số mô hình màu điển hình:
- Mô hình màu RGB: Mọi màu được biểu diễn bởi không gian màu RGB đều là
sự pha trộn của 3 thành phần màu cơ bản (Red, Green, Blue). Mô hình màu RGB được
biểu diễn bởi khối lập phương với các trục R, G, B và cách xám hóa ảnh màu RGB
đến các điểm ảnh trung tâm cũng là các điểm ảnh đang được xử lý trong một thuật
toán xử lý ảnh. Toán tử cửa sổ có nhiều hình dạng, tùy thuộc vào thuật toán thực hiện.
Tuy nhiên thường dùng nhất là các toán tử có dạng hình vuông với các cạnh là một số
lẻ, ví dụ:3x3, 5x5, 7x7
Tăng độ tương phản: Ảnh sau khi thu được từ camera, có thể do sự tương
phản ảnh sáng kém, dẫn đến độ chói quá cao, khó phân biệt. Để cải thiện ảnh, hỗ trợ
các quá trình xử lý cao hơn, ta sử dụng các phương pháp hiệu chỉnh: hiệu chỉnh min-
max, hiệu chỉnh histogram, hiệu chỉnh Gamma, Ở đây ta sử dụng phương pháp hiệu
chỉnh min-max vì nó dãn đều mức xám của ảnh trong dải cho phép. Công thức để nâng
cấp ảnh theo hiệu chỉnh min-max:
256.
min
max
min
II
I
old
I
new
I
, với I
max
, I
min
, I
old
1
0
1
0
)2(),(),().,(
m
i
n
j
yxjiTjyixITI
Ví dụ: cho ảnh
******
*42000
*64200
*86420
*108642
TI
Áp dụng công thức (2) ta có:
Lọc trung bình: Mỗi điểm ảnh được thay thế bằng trung bình trọng số của
các điểm lân cận:
Wlk
lnkmslkanmv
,
),(),(),(
, nếu a(k,l)=1/N
W
,
trong đó N
W
là số điểm trong cửa sổ, khi đó ta có phương pháp lọc trung
bình: giá trị mới của điểm ảnh thay bằng trung bình cộng của các điểm rơi
vào cửa sổ W
Wlk
lnkms
W
N
nmv
,
),(
1
),(
dx, dy là khoảng cách giữa các điểm theo hướng lấy x, y. Thực tế thường dùng
dx=1, dy=1.[7]
17
Việc tính này thường sử dụng phép cuộn mẫu:
Ví dụ: Kỹ thuật PreWitt
Cho hai mẫu H
x
, H
y
và ảnh I[m,n]
Bước 2: Tính
y
HI
x
HI
- Phương pháp Laplace: Phương pháp Gradient làm việc tốt khi độ sáng thay
đổi tương đối rõ nét. Khi mức xám thay đổi chậm, các đường biên không rõ nét, miền
chuyển tiếp tương đối rộng, phương pháo hiệu quả hơn là dùng đạo hàm bậc hai mà
chúng ta gọi là phương pháp Laplace. Toán tử Laplace được định nghĩa như sau:
2
2
2
2
2
y
f
x
f
f
.
Ta có:
)1,(),(2)1,(
2
2
yxfyxfyxf
y
f
)1,(),1(),(4)1,(),1(
2
yxfyxfyxfyxfyxff
Từ đó ta có thể chọn mẫu tương ứng như sau:
010
141
010
H
Phân ngưỡng, phân vùng và nhị phân hóa ảnh số: Ảnh sau quá trình tiền xử
lý, nâng cấp, để tới những quá trình xử lý cao hơn cần được nhị phân hóa, phân vùng
thành các đối tượng riêng biệt.
Tìm ngưỡng: đây là quá trình tìm ra ngưỡng của một ảnh để thực hiện việc
phân vùng. Ngưỡng đóng vai trò quyết định quá trình nhị phân hóa ảnh số có hiệu quả
hay không. Nếu chọn ngưỡng không tốt, sẽ bỏ qua một số đối tượng, hoặc cho đối
tượng với kích thước, vị trí không đúng, hoặc tệ hơn là làm các đối tượng không phân
biệt được với nhau. Có nhiều thuật toán tìm ngưỡng, cho kết quả khác nhau: Trong đó
điển hình là tìm ngưỡng trung bình và tìm ngưỡng theo histogram.
- Tìm ngưỡng trung bình, ngưỡng được tính theo công thức:
n
i
m
2/
2max1max
II
ng
I
. Trong đó I
max1
và I
max2
là hai mức xám tương ứng cực đại trên histogram.
Phân vùng và nhị phân hóa ảnh số: sau khi tìm ngưỡng, ta có thể nhị phân
hóa ảnh số và tách các đối tượng. Trong ảnh xám ban đầu, ta coi đối tượng là những
vùng ảnh có mức xám thấp, nền là vùng ảnh có mức xám cao. Ta có thể tách đối tượng
ra bằng thuật toán phân ngưỡng:
,Ta sẽ được đối tượng có
màu đen( mức xám 1) và nền có màu trắng (mức xám 0).
I[i,j]=
1 nếu I[i,j]
I
ng
0 nếu I[i,j]
I
ng
này.
Sự kiện của chuẩn video kĩ thuật số trong những năm 1990 (H.261, MPEG và
một vài chuẩn liên quan), đi cùng với nó là các thiết bị tin học cự kì rẻ đã mang lại kết
21
quả phát triển bùng nổ trong các ứng dụng giải trí, trong các giao tiếp video và trong
các lĩnh vực liên quan [11].
1.2.2 Các dạng chuẩn và kiến trúc của Video
1.2.2.1 Video tương tự
NTSC Video: Đây là dạng Video tương tự với 525 dòng trên một khung hình,
30 khung hình trong một giây, quét cách dòng, chia làm hai trường (mỗi trường 262.5
dòng), có 20 dòng dự trữ cho thông tin điều khiển tại thời điểm bắt đầu mỗi trường.
PAL Video: Dạng Video này có 625 dòng trên một khung hình, 25 khung hình
trong một giây, quét cách dòng. Khung gồm hai trường chẳn lẽ, mỗi trường bào gồm
312.5 dòng.
1.2.2.2 Video số
Một số tiêu chuẩn của Video số lấy theo tiêu chuẩn CCIR (Consultative
Committee for International Radio)
Bảng1.1. Các tiêu chuẩn của Video số
CCIR
601525/60
NTSC
CCIR 601625/50
PAL/SECAM
CIF
QCIF
Độ phân giải
độ chói
720x480
các tốc độ bit thấp hơn, nó sử dụng dạng có tốc độ nhỏ hơn ¼ là QCIF (Quadrature).
Copyright: Tài liệu đại học ©