VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT HIỆN
BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG TRONG
HỆ THỐNG CAMERA GIÁM SÁT

LUẬN ÁN TIẾN SĨ TOÁN HỌC

HÀ NỘI – 2016


VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM
HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
_______________________________________________

NGÔ ĐỨC VĨNH

KỸ THUẬT XỬ LÝ VÙNG QUAN SÁT VÀ PHÁT
HIỆN BẤT THƯỜNG CỦA CÁC ĐỐI TƯỢNG
TRONG HỆ THỐNG CAMERA GIÁM SÁT
LUẬN ÁN TIẾN SĨ TOÁN HỌC

Chuyên ngành: Cơ sở Toán học cho Tin học
Mã số: 62.46.01.10

Người hướng dẫn khoa học:
PGS.TS. Đỗ Năng Toàn

cho tôi nhiều kiến thức quý báu về nghiên cứu khoa học. Nhờ sự chỉ bảo của
Thầy, tôi mới có thể hoàn thành luận án.
Tôi xin chân thành cảm ơn các Thầy, Cô thuộc Viện Công nghệ thông
tin, các anh chị em cán bộ trong phòng Công nghệ Thực tại ảo đã tạo mọi điều
kiện thuận lợi và đóng góp ý kiến cho tôi trong quá trình làm nghiên cứu sinh.
Đặc biệt tôi xin chân thành cảm ơn lãnh đạo Viện Công nghệ thông tin,
Học viện Khoa học và Công nghệ – Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Viện Công nghệ thông tin – ĐH Quốc gia Hà Nội, Trường Đại học
Công nghiệp Hà Nội đã tạo điều kiện thuận lợi và hỗ trợ tôi trong quá trình
học tập và làm luận án.
Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc đến gia đình và bạn bè, đã tạo
cho tôi điểm tựa vững chắc để có được kết quả như hôm nay.


5

MỤC LỤC

LỜI CAM ĐOAN ......................................................................................... 3
LỜI CẢM ƠN ............................................................................................... 4
MỤC LỤC

............................................................................................... 5

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT................................... 8
DANH MỤC CÁC BẢNG ........................................................................... 9
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ..................................................... 10
MỞ ĐẦU

............................................................................................. 12

2.4.1. Dự đoán vị trí và hướng chuyển động của đối tượng .............. 71
2.4.2. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống .. 74
2.4.3. Thuật toán chọn lựa camera dựa vào hướng chuyển động ...... 75
2.4.4. Thực nghiệm ............................................................................ 78
2.5. Kết luận chương 2 .............................................................................. 80
CHƯƠNG 3: PHÁT HIỆN BẤT THƯỜNG DỰA VÀO QUỸ ĐẠO TRONG
CÁC VIDEO GIÁM SÁT .................................................... 82
3.1. Giới thiệu ........................................................................................... 82
3.1.1. Tiếp cận dựa trên phân tích hình ảnh dòng video.................... 83
3.1.2. Tiếp cận dựa vào phân tích quỹ đạo ........................................ 86
3.2. Một số khái niệm, định nghĩa trong mô hình đề xuất ........................ 91
3.3. Phân đoạn quỹ đạo ............................................................................. 96


7

3.4. Phát hiện bất thường dựa trên phân đoạn tuyến đường ..................... 98
3.5. Thực nghiệm .................................................................................... 101
3.5.1. Thực nghiệm với quỹ đạo cho trước...................................... 101
3.5.2. Thực nghiệm với dữ liệu thu nhận từ video giám sát ............ 107
3.6. Kết luận chương 3 ............................................................................ 109
KẾT LUẬN

........................................................................................... 110

DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ ......................................... 112
TÀI LIỆU THAM KHẢO ......................................................................... 113


8

HOG

Histogram of oriented gradients

MDT

Mixtures of Dynamic Textures

MRF

Markov Random Field

NOVL

Non – Overlapping

OBB

Oriented Bounding Boxes

OVL

Overlapping

PCA

Principal Component Analysis

RGB


Hình 1.4. Các phương pháp tiếp cận trong phát hiện bất thường [12] ......... 41
Hình 2.1. Một số hình thức phân vùng giám sát ........................................... 46
Hình 2.2. Các trường hợp giao nhau của hai đa giác .................................... 47
Hình 2.3. Với giao cắt đơn, số điểm giao cắt không quá 2 ........................... 48
Hình 2.4. Chia cắt phần giao giữa hai đa giác .............................................. 50
Hình 2.5. Phân chia vùng quan sát của hệ thống camera giám sát ............... 53
Hình 2.6. Phân vùng giám sát cho các camera của hệ thống giám sát ......... 54
Hình 2.7. Đường ranh giới ảo ....................................................................... 55
Hình 2.8. Đường ranh giới ảo và khu vực giám sát của mỗi camera............ 56
Hình 2.9. Vị trí của đối tượng với đường ranh giới ảo ................................. 57
Hình 2.10. Phép biến đổi homography ......................................................... 58
Hình 2.11. Đối tượng chuyển động và đường ranh giới ảo trong môi trường 3D
............................................................................................................... 58
Hình 2.12. Mặt phẳng tách và trục tách ........................................................ 60
Hình 2.13. Hình chiếu A lên đường thẳng d với tâm chiếu C0. ................... 61
Hình 2.14. Chiếu 8 đỉnh của hình hộp lên trục tách d .................................. 61
Hình 2.15. Kết quả chiếu 2 hình hộp lên trục tách d .................................... 63


11

Hình 2.16. Mô hình cấu trúc của hệ thống .................................................... 66
Hình 2.17. Sơ đồ thực hiện chương trình của hệ thống ................................ 67
Hình 2.18. Sơ đồ mặt bằng bố trí camera ..................................................... 68
Hình 2.19. Chuyển tiếp giữa 2 camera.......................................................... 69
Hình 2.20. Biểu đồ so sánh giá trị Precision ở mỗi camera .......................... 70
Hình 2.21. Biểu diễn mối quan hệ giữa các vùng quan sát của hệ thống ..... 74
Hình 2.22. Chọn lựa camera dựa vào hướng chuyển động của đối tượng ... 76
Hình 2.23. Biểu diễn mối quan hệ giữa vùng quan sát của hệ thống ........... 78
Hình 2.24. Kết quả thực hiện giải thuật chọn lựa camera............................. 79

Mặc dù không có thống kê chính thức, tuy vậy theo một nghiên cứu gần
đây [33], ước tính có khoảng 1.85 triệu camera giám sát tại Vương quốc Anh,
trong đó xấp xỉ 30.000 tại các điểm công cộng, số lượng camera giám sát gia
tăng nhanh, điều này đòi hỏi cần thiết phải quản lý chúng và đây là một lĩnh
vực nghiên cứu được nhiều nhà khoa học quan tâm nhằm đáp ứng nhu cầu của
thực tiễn [9].
Hệ thống camera giám sát có thể được thực hiện thủ công, bán tự động,
hoặc hoàn toàn tự động. Trong các hệ thống giám sát video thủ công truyền
thống, thường có một trung tâm điều khiển với một bức tường có gắn các màn
hình hiển thị thông tin thu nhận từ các camera (Hình 1), các luồng video được
quan sát bởi các giám sát viên trong thời gian thực, cho phép họ can thiệp
nhanh chóng nếu có một sự kiện quan tâm được phát hiện. Việc xử lý trực tiếp
của tất cả các luồng video là rất khó khăn do số lượng camera được triển khai


13

nhiều cùng với một lượng lớn dữ liệu thu nhận từ chúng, ước tính mỗi cá nhân
trong các trung tâm giám sát theo dõi khoảng 20 – 100 camera cùng một lúc.
Chính vì vậy, dữ liệu video đã được lưu trữ lại trên các phương tiện truyền
thông kỹ thuật số trong một khoảng thời gian xác định, chúng được tái sử dụng
để truy vấn, trích xuất thông tin hữu ích khi cần thiết như nhận dạng hoặc tìm
kiếm bằng chứng.
Tuy nhiên, khi số lượng camera tăng lên đáng kể thì rõ ràng đây là một
nhiệm vụ hết sức khó khăn để một giám sát viên có thể theo dõi đầy đủ tất cả
các đối tượng trong hệ thống, điều này dẫn đến khả năng bỏ sót các cảnh quan
trọng tại các camera tăng lên. Nguyên nhân chính là sự mất tập trung của giám
sát viên vào camera ngay tại thời điểm xảy ra sự việc, bởi hầu hết thời gian
trong quá trình giám sát không có sự kiện đặc biệt nào xảy ra nên sau một thời
gian theo dõi các hình ảnh mà không có vấn đề gì xảy ra, cơn buồn ngủ, sự

giai đoạn: Phát hiện đối tượng chuyển động, phân loại đối tượng, theo vết đối
tượng, nhận biết hoạt động, hành vi của đối tượng và chuyển giao camera.
Phát hiện đối tượng chuyển động là công việc đầu tiên của hầu hết các hệ
thống giám sát bằng camera. Phát hiện chuyển động nhằm xác định vùng hình
ảnh tương ứng với đối tượng di chuyển từ mỗi khung hình. Các quá trình tiếp
theo như: theo vết đối tượng, phân tích hành vi phụ thuộc rất nhiều vào giai
đoạn này. Theo vết đối tượng nhằm tìm ra đối tượng chuyển động từ khung
hình này sang khung hình khác trong một dãy khung hình. Đầu vào của quá
trình này là đầu ra của các quá trình phát hiện và phân lớp đối tượng chuyển
động. Phân tích, nhận biết hành vi của đối tượng giám sát là một công việc
quan trọng trong hệ thống giám sát trực quan, trong một số trường hợp, việc
phân tích hành vi của đối tượng được giám sát là cần thiết để xác định xem
hành vi của chúng là bình thường hay bất thường.
Trong thực tế khi triển khai các hệ thống giám sát tự động, một camera
là không đủ để quan sát bởi nó bị giới hạn về độ phân giải, thị trường quan sát.
Do vậy, khi giám sát một vùng rộng lớn, người ta thường sử dụng nhiều
camera thay vì chỉ dùng một camera. Có thể tổ chức một hệ thống giám sát
nhiều camera theo hai hướng: Hệ thống các camera có vùng quan sát chồng
chéo (OVL) hoặc vùng quan sát không chồng chéo (NOVL). Với mỗi hệ thống
theo dõi bằng nhiều camera đều có những thách thức cần giải quyết, và thông
thường các nghiên cứu đều giả định giải quyết trong một điều kiện cụ thể [44].
Việc sử dụng nhiều camera không chỉ cải thiện vùng theo dõi mà còn
mang đến sự linh hoạt hơn khi giám sát đối tượng, đặc biệt là sự theo dõi liên
tục khi đối tượng di chuyển qua các khu vực. Một vấn đề cần được giải quyết
trong hệ thống giám sát có nhiều camera đó là sự xuất hiện hoặc biến mất của
đối tượng từ camera này sang camera khác, hay còn gọi là sự chuyển tiếp


16


nhìn khác nhau của mỗi camera, việc xác định một cơ chế để lựa chọn một
camera cho một số đối tượng chuyển động và chuyển tiếp chúng từ camera
này sang camera khác để việc theo dõi được liền mạch là vấn đề đang được
nghiên cứu.
Việc chuyển tiếp camera thường yêu cầu khối lượng tính toán lớn khi
phải thực hiện các thao tác như: xác định thời điểm và camera nhận chuyển
tiếp, bàn giao đối tượng. Do vậy, để nâng cao hiệu suất hoạt động của hệ thống
thì việc thường xuyên chuyển đổi giữa các camera cần được giảm thiểu, đây
là trọng tâm nghiên cứu của luận án, chi tiết được trình bày trong chương 2
của luận án.
Xuất phát từ thực tế trên, luận án lựa chọn đề tài “Kỹ thuật xử lý vùng
quan sát và phát hiện bất thường của các đối tượng trong hệ thống
camera giám sát”.
Luận án tập trung nghiên cứu hai đối tượng chính trong hệ thống camera
giám sát đó là: chuyển tiếp camera và phát hiện chuyển động bất thường.
2. Mục tiêu nghiên cứu
Luận án tập trung nghiên cứu các vấn đề sau:
 Thứ nhất: Hệ thống camera giám sát và các bài toán liên quan;
 Thứ hai: Các kỹ thuật chuyển tiếp camera trong hệ thống camera giám sát
với nhiều camera;


18

 Thứ ba: Các kỹ thuật phát hiện bất thường trong giám sát video.
3. Phương pháp nghiên cứu
Trên cơ sở nghiên cứu sự cần thiết của hệ thống camera giám sát và các
mục tiêu chính của luận án, phương pháp nghiên cứu của luận án được xác
định gồm:
 Kết hợp nghiên cứu lý thuyết với khảo sát, phân tích và đánh giá thông

quỹ đạo không hoàn chỉnh, đáp ứng được yêu cầu triển khai thời gian
thực. Kỹ thuật đề xuất được công bố tại Chuyên san của Tạp chí Công
nghệ thông tin và Truyền thông năm 2015.
5. Bố cục luận án
Luận án bao gồm phần mở đầu, kết luận và 3 chương nội dung:
Chương 1: Tổng quan về chuyển tiếp camera và phát hiện bất thường
trong các hệ thống camera giám sát. Các vấn đề chung về giám sát tự động
trong hệ thống camera giám sát, cùng với các bài toán liên quan được khảo sát
và trình bày trong chương này.
Chương 2: Một số kỹ thuật xử lý vùng quan sát trong chuyển tiếp camera.
Đề xuất các kỹ thuật xử lý vùng quan sát trong việc giải quyết bài toán chuyển
tiếp camera nhằm mục đích giảm thiểu các thao tác tính toán chuyển tiếp
camera, từ đó giúp nâng cao hiệu quả hoạt động của hệ thống camera giám
sát.
Chương 3: Phát hiện bất thường dựa vào quỹ đạo trong giám sát video.
Chương này trình bày tóm lược về các hướng tiếp cận, các kỹ thuật đã được
áp dụng giải quyết bài toán phát hiện bất thường trong giám sát video, từ đó
đề xuất một kỹ thuật phát hiện bất thường trong giám sát video dựa vào phân
tích quỹ đạo chuyển động của đối tượng.


20

CHƯƠNG 1:

TỔNG QUAN VỀ CHUYỂN TIẾP VÀ PHÁT HIỆN
BẤT THƯỜNG TRONG CÁC HỆ THỐNG CAMERA
GIÁM SÁT

Nghiên cứu về hệ thống camera giám sát thông minh là một trong những

thủ công, đến bán tự động và hệ thống hoàn toàn tự động. Đối với các hệ thống
camera giám sát thủ công, công việc giám sát được xử lý trực tiếp bởi các giám
sát viên trong thời gian thực, hệ thống chỉ hỗ trợ các thao tác cơ bản như: sao
lưu dữ liệu hoặc trích xuất các đoạn video khi cần thiết. Các hệ thống hoàn
toàn tự động là hệ thống có khả năng thực hiện nhiệm vụ giám sát ở các mức
độ khác nhau không có sự can thiệp của con người, từ các tác vụ bậc thấp như:
phát hiện đối tượng chuyển động tới các tác vụ bậc cao như phát hiện sự kiện,
hành vi của đối tượng được giám sát.
Hiện nay, một số hệ thống giám sát hình ảnh đã được triển khai thành
công. Ví dụ, hệ thống VSAM (Video Surveillance and Monitoring) được phát
triển theo một chương trình do chính phủ Mỹ tài trợ [20]. Đây là một hệ thống
được thiết kế để phát hiện đối tượng chuyển động, phân loại các đối tượng di
chuyển như phương tiện giao thông hoặc người và theo dõi chúng. Hệ thống
VSAM cũng có khả năng phát hiện các hoạt động đơn giản và tương tác giữa
các đối tượng.
Hệ thống KNIGHT do Shah và cộng sự đề xuất [94] sử dụng cả hai loại:
đơn camera và nhiều camera. KNIGHT có khả năng phát hiện đối tượng, phân
loại, theo dõi và nhận dạng hoạt động của đối tượng giám sát. Ngoài ra,
KNIGHT cho phép theo vết đối tượng kết hợp từ các camera khác nhau có thị
trường chồng chéo và không chồng chéo mà không cần thao tác hiệu chuẩn
camera.
Hệ thống giám sát thông minh IBM (S3) [101] có thể tự động phát hiện
và theo dõi đối tượng chuyển động, nó cũng có khả năng xác định các hoạt


22

động của các đối tượng trong khu vực giám sát, cho phép nhận dạng biển số
xe và chụp hình khuôn mặt. Một số hệ thống giám sát khác đã được phát triển
và thương mại hóa như: Acuity, Agent Vi, Avocado, Axis, AxonX, Cernium,

1.1.2.1. Phát hiện đối tượng chuyển động
Hầu hết các hệ thống giám sát hình ảnh đều bắt đầu với việc phát hiện
đối tượng chuyển động. Phát hiện đối tượng chuyển động là bước đầu tiên và
quan trọng nhất trong hệ thống camera giám sát tự động. Mục tiêu của của
việc phát hiện đối tượng chuyển động là xác định vị trí các khu vực đại diện
cho các đối tượng di chuyển trong cảnh quay [99] và thực hiện tách chúng ra
khỏi nền, mô hình thực hiện được chỉ ra trong Hình 1.2. Các quá trình tiếp


24

theo như: phân loại đối tượng, theo vết đối tượng, phân tích và nhận biết hành
vi đối tượng phụ thuộc rất nhiều vào quá trình này.
Chuỗi video

Phát hiện các vùng ảnh
chuyển động

Các đối tượng chuyển
động

Xử lý các vùng ảnh
chuyển động

Hình 1.2. Mô hình xử lý trong bài toán phát hiện đối tượng chuyển động
Việc trích rút đối tượng chuyển động khỏi nền phụ thuộc và chịu nhiều
tác động bởi các yếu tố như: sự thay đổi cường độ ánh sáng, bóng của đối
tượng, sự chuyển động và thay đổi của nền.
Có nhiều phương pháp phát hiện đối tượng chuyển động khác nhau đã
được sử dụng, Teddy [99] phân loại thành ba nhóm chính gồm các kỹ thuật:

Đầu vào của bài toán theo vết đối tượng chuyển động là vùng ảnh của đối
tượng, các đặc trưng của đối tượng đã được phát hiện thông qua khối xử lý
phát hiện đối tượng, đồng thời vùng ảnh của đối tượng đó đã được phân loại
thuộc các lớp đối tượng cụ thể (lớp đối tượng người, phương tiện giao thông,
đồ vật…) được thực hiện qua khối xử lý phân loại đối tượng. Nhiệm vụ của
theo vết đối tượng là chính xác hoá sự tương ứng của vị trí đối tượng trong
các khung hình liên tiếp từ đó dự đoán đường đi, vận tốc, hướng chuyển động
của các đối tượng.
Quy trình theo vết đối tượng được thể hiện trong Hình 1.3.