BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

PHẠM THỊ THANH THỦY

NGHIÊN CỨU VÀ PHÁT TRIỂN CÁC KỸ THUẬT
ĐỊNH VỊ VÀ ĐỊNH DANH KẾT HỢP THÔNG TIN
HÌNH ẢNH VÀ WIFI

Chuyên ngành: Khoa học Máy tính
Mã số: 62480101

TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội−2017


Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:
1. PGS. TS. Lê Thị Lan
2. TS. Đào Trung Kiên

Phản biện 1: PGS. TS. Ngô Quốc Tạo
Phản biện 2: PGS. TS. Trần Đình Quế
Phản biện 3: PGS. TS. Đỗ Năng Toàn

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:


ưu điểm của từng công nghệ cảm biến đơn lẻ, trong khi có thể hạn chế những nhược
điểm của chúng. Trong bối cảnh này, nghiên cứu của chúng tôi tập trung giải quyết bài
toán định vị và định danh người sử dụng kết hợp các công nghệ dựa trên cơ sở hình
ảnh và WiFi.

Các đóng góp của luận án
❼ Đóng góp thứ 1: Đề xuất mô hình hình suy hao cải tiến cho định vị người dùng

dựa trên WiFi. Trong mô hình này, chúng tôi xem xét tới các ràng buộc vật cản
trong môi trường tòa nhà. Từ đó, có thể mô hình hóa hiệu quả quan hệ giữa
cường độ tín hiệu RSSI với khoảng cách từ thiết bị di động tới các AP lân cận.
Phương pháp lấy dấu vân tay thông dụng cũng được áp dụng cho định vị WiFi,
với một bản đồ vô tuyến mới được thiết lập nhằm tạo dữ liệu vân tay ổn định và

1


tin cậy cho định vị. Để đối sánh mẫu thử với dữ liệu vân tay, chúng tôi đề xuất
áp dụng phương pháp KNN, trong đó có bổ sung thêm tham số λ nhằm phản
ánh những thay đổi theo thời gian của dữ liệu dấu vân tay trong môi trường.
Kết quả định vị dựa trên WiFi cho phép kích hoạt các tiến trình định vị tại các
camera thuộc vùng kết quả định vị trả về từ hệ thống WiFi.
❼ Đóng góp thứ 2: Đề xuất các phương pháp hiệu quả cho khử bóng và phát

hiện người nhằm cải thiện kết quả định vị sử dụng hình ảnh. Đối với khử bóng,
chúng tôi đề xuất sử dụng kết hợp đặc trưng chromaticity và physical cùng với
một sơ đồ kết hợp chỉ số dựa trên mật độ lân cận của phân bố bóng và không
phải bóng ở từng điểm ảnh. Bước khử bóng được xem như bước tiền xử lý nhằm
đạt hiệu quả phát hiện người tốt hơn. Trong bước phát hiện người, chúng tôi sử
dụng kết hợp hai phương pháp trừ nền GMM thích nghi và bộ mô tả-phân lớp


chuyển, do đó, từng cặp camera sẽ tạo thành một thị giác nổi trên một mặt sàn duy
nhất. Sử dụng phương pháp hiệu chỉnh camera cho thị giác nổi, các quỹ đạo chuyển
động của đối tượng trên ảnh thu nhận từ các camera khác nhau có thể chuyển đổi
được thành các vị trí trên hệ tọa độ thế giới thực tương ứng trên một mặt phẳng sàn
duy nhất đó. Ngoài ra, chúng tôi cũng đề xuất một hệ thống giám sát người tự động
hoàn toàn trong môi trường tòa nhà. Hệ thống này phản ánh các bối cảnh giám sát
thực tế ở hầu hết các tòa nhà. Hướng tới việc xây dựng một hệ thống giám sát như
vậy, chúng tôi thực hiện một số thử nghiệm để chứng minh hiệu quả của các phương
pháp đã công bố cho bài toán nhận dạng mặt người, định vị, định danh và định danh
lại người trong một mạng camera.

Cấu trúc của luận án
Trong luận án này, chúng tôi phát triển các phương pháp định vị và định danh
lại người và đánh giá chúng trong hệ thống kết hợp hình ảnh và WiFi. Luận án gồm 5
chương, với phần giới thiệu mở đầu, phần cuối là kết luận và định hướng nghiên cứu
tiếp theo:
❼ Mở đầu: Giới thiệu chung: tính cấp thiết và mục tiêu nghiên cứu của luận án;

ngữ cảnh, các ràng buộc và thách thức khi giải quyết các bài toán đặt ra trong
luận án; cấu trúc của luận án và các đóng góp của luận án.
❼ Chương 1: Các công trình có liên quan đến vấn đề nghiên cứu của luận án: định

vị người dùng sử dụng hệ thống WiFi; định vị người sử dụng camera, định vị
người sử dụng kết hợp hệ thống WiFi và camera; định danh lại người trong mạng
camera.
❼ Chương 2: Giải pháp đề xuất và các đánh giá thử nghiệm cho định vị người dùng

dựa trên WiFi.
❼ Chương 3: Đề xuất hệ thống định vị người sử dụng hình ảnh với 3 pha chính là


Định vị người dùng sử dụng WiFi

1.2

Định vị người dùng sử dụng camera

1.3

Định vị người dùng sử dụng kết hợp WiFi và camera

1.4

Định danh lại người dựa trên hình ảnh

CHƯƠNG 2

ĐỊNH VỊ NGƯỜI DÙNG SỬ DỤNG WIFI
Trong chương này, chúng tôi tiếp cận cả mô hình truyền sóng vô tuyến và phương
pháp dấu vân tay cho định vị WiFi. Chúng tôi đề xuất một mô hình truyền xác suất
cải tiến, cùng với một bản đồ vô tuyến được định nghĩa mới ở phần cơ sở dữ liệu dấu
vân tay. Mô hình truyền xác suất đề xuất là mô hình cải tiến từ mô hình suy hao cơ
bản (như đã nêu ở Chương 1). Mô hình này phản ánh bản chất phức tạp của các môi
trường tòa nhà khi tính đến các yếu tố vật cản, như tường và sàn nhà để mô hình hóa
quan hệ giữa giá trị cường độ tín hiệu RSSI và khoảng cách từ thiết bị di động tới các
điểm tham chiếu. Mô hình dựa trên cơ sở phương trình thực nghiệm của cường độ tín
hiệu tần số vô tuyến trong các môi trường tòa nhà và tính không chắc chắn của nó
được xem xét bởi các đặc trưng xác suất. Một tiến trình tối ưu dựa trên giải thuật
sinh được áp dụng để hiệu chỉnh các tham số hệ thống sao cho phù hợp nhất với các
thiết bị sử dụng. Trong phương pháp dấu vân tay, áp dụng đối sánh KNN có bổ sung


Matching

RSSI
values

Distance
values

PPM

Online testing phase

Mobile
User

Hình 2.1 Sơ đồ hệ thống định vị người dùng sử dụng WiFi.
Pha huấn luyện được thực hiện off-line với các bản đồ sóng vô tuyến được xây dựng
theo chu kỳ để tạo cơ sở dữ liệu dấu vân tay. Trong pha thử nghiệm, một thiết bị di
động sẽ liên tục quét các tín hiệu từ các APs lân cận và gửi các tín hiệu RSSI tương
ứng tới một máy chủ. Các giá trị này sau đó được chuyển thành các giá trị khoảng
cách nhờ mô hình truyền xác suất đề xuất (mô hình PPM). Đối sánh khoảng cách với
cơ sở dữ liệu dấu vân tay được thực hiện nhờ mô hình KNN để tìm ra vị trí của người
dùng.

2.2

Mô hình truyền xác suất

Với các thiết bị thu WiFi thông thường, ta chỉ có thể tính được khoảng cách từ

i=1

di
cosβi

(2.2)

với nw là số lượng tường và trần giữa AP và thiết bị di động, di là độ dày của tường/trần
thứ i, với i là góc tới tương ứng với tường/trần thứ i, k là nhân tố suy giảm trên mỗi
đơn vị độ dày tường/trần, như minh họa ở hình sau:

Hình 2.2 WiFi signal attenuation through walls/floors.
Nhìn chung, có thể mở rộng kd tùy thuộc vào từng tường/trần.
Phương trình 2.2 là mô hình tất định, vì không tính đến sự thay đổi RSSI ở một
khoảng cách nhất định nào đó. Để khắc phục hạn chế này, chúng tôi đề xuất mô hình
truyền xác suất. Thực tế, với một giá trị RSSI P , khoảng cách r không phải chính xác
là giá trị được tính toán từ phương trình 2.2, mà nó thuộc một lân cận của giá trị này,
kí hiệu là r¯. Nói một cách chính xác hơn, r¯ là giá trị đề cử của khoảng cách r với xác
suất cực đại. Với một giá trị RSSI P , phân bố khoảng cách được giả thiết tuân theo
phân bố chuẩn (phân bố Gauss) với trung bình r¯:
−(r−¯
r )2
1
ρ(r, P ) = Pr (r|P ) = √ e 2σ2
σ 2π

(2.3)

với σ là độ lệch chuẩn, cũng là hàm của P . Để đơn giản, giả thiết σ và r¯ có quan hệ


di từ điểm tham chiếu thứ ith tới L AP. Từ đó ta xây dựng được bản đồ vô tuyến ổn
định và tin cậy ngay cả khi có một số AP nào đó bị ngừng hoạt động ở một thời điểm
nhất định. Hơn nữa, chi phí cho việc xây dựng và cập nhật dấu vân tay sẽ thấp hơn
thông thường. Chỉ cần xây dựng lại khi có thêm AP và điểm tham chiếu hoặc khi loại
bỏ bớt chúng.
Trong pha thử nghiệm, các giá trị RSSI thiết bị di động thu được từ các AP lân
cận sẽ được chuyển đổi sang các giá trị khoảng cách tương ứng nhờ mô hình suy hao đề
cập ở trên. Chúng sẽ được so sánh với dữ liệu huấn luyện để tìm ra mẫu phù hợp nhất.
Phương pháp đối sánh sử dụng trong nghiên cứu này là KNN. Trong KNN, một mẫu
thử được dự đoán dựa trên các lân cận gần nhất với nó trong dữ liệu huấn luyện. Có 3
thành phần chính là phép đo sự giống nhau (phép đo khoảng cách); số lượng lân cận
sử dụng trong dự đoán; trọng số của lân cận. Khoảng cách Euclidean và Manhattan
là hai phép đo hình học thông dụng, trong đó Euclidean là phép đo thông dụng nhất
trong định vị WiFi [13], [4]. Trong nghiên cứu này, chúng tôi đánh giá KNN với phép
đo Euclidean.

2.4
2.4.1

Các kết quả thử nghiệm
Môi trường và dữ liệu thử nghiệm

Các thử nghiệm được thực hiện ở hai tòa nhà khác nhau, một tại tầng 8 của tòa
nhà 11 tầng, và tại tầng 2 của tòa nhà hai tầng. Tất cả trần nhà của các tòa nhà này
đều có độ cao 4 m với độ dày tường bê tông là 0.2 m. Để tạo dữ liệu dấu vân tay, chúng
tôi xây dựng một ứng dụng cho thiết bị di động thu cường độ tín hiệu từ các APs lân
7


cận, với chu kỳ thu nhận là 2 giây một lần thu. Thông tin thu nhận sẽ được tải lên

6.3
6.27

Average error
(m)
1.86
1.89

Error at reliability of 90%
(m)
2.99
2.98

Bảng 2.2 Kết quả định vị cho ngữ cảnh thử nghiệm thứ nhất với các đặc trưng khoảng
cách và RSSI không sử dụng tham số λ.
Fingerprint
Feature
RSSI
Distance

2.5

Maximal error
(m)
6.06
6.5

Average error
(m)
1.76

Trong mỗi trường quan sát của camera, phát hiện người được thực hiện ở từng khung
Camera 1

Camera 2

Input
frames

Input
frames

Human Detection

Human Detection

ROI & FootPoint

ROI & FootPoint

Human Tracking

Human Tracking

Tracked FootPoints

Tracked FootPoints

Human Localization

Human Localization

Hình 3.2 Ví dụ các quỹ đạo chuyển động của người được tạo ra từ liên kết quỹ đạo
của các vị trí đểm chân FootPoint tương ứng.
không hoàn chỉnh (hộp bao chữ nhật không bao trọn cơ thể người) gây ra bởi nhiễu
hay bóng. Nó làm giảm độ chính xác định vị. Hướng thứ 2 xuất hiện phát hiện sai, hay
không phát hiện được đối tượng nếu ta không có các mô hình được huấn luyện tốt.
Ngoài ra, các phương pháp thuộc hướng tiếp cận này yêu cầu thời gian tính toán lớn
hơn, do đó không thích hợp với các tiến trình thời gian thực. Ưu điểm của nó là các
kết quả phát hiện đúng hầu hết là kết quả hoàn thiện (hộp chữ nhật bao trọn người)
và có thể phát hiện người khi không di chuyển hay người bị che khuất một phần.
Để xây dựng một bộ phát hiện người hiệu quả cho định vị trong hệ thống giám
sát thời gian thực, chúng tôi đề xuất một số cải tiến sau:
❼ Kết hợp Adaptive GMM [25] với HOG-SVM [8] nhằm tận dụng ưu điểm của từng

phương pháp.
❼ Đề xuất một phương pháp khử bóng hiệu quả nhằm cải thiện kết quả phát hiện

người, từ đó cải thiện hiệu quả của các bước tiếp theo trong định vị và định danh
lại người.
- Theo vết người: Theo vết được thực hiện dựa trên các kết quả phát hiện. Như
đã nêu trong phần các công trình có liên quan, mỗi phương pháp theo vết có ưu, nhược
điểm riêng. Tuy nhiên, đối với các ứng dụng mà môi trường không quá phức tạp như
trong trường hợp chúng tôi xem xét, bộ lọc Kalman [24] là lựa chọn phù hợp với một
số lợi ích sau:
❼ Dễ tính toán và triển khai.
❼ Giảm nhiễu tạo ra bởi các phát hiện không chính xác.
❼ Dự đoán vị trí của đối tượng trong trường hợp không phát hiện được đối tượng

ở một số khung hình.

10

cho một môi trường tòa nhà cụ thể với các ngữ cảnh giám sát thời gian thực được xem
xét.

3.3

Khử bóng

Trong nghiên cứu này, chúng tôi đề xuất một phương pháp khử bóng hiệu quả.
Phương pháp gồm sơ đồ kết hợp score dựa trên mật độ phân bố xác suất, cùng với
phương pháp học được áp dụng cho khử bóng. Hai kiểu đặc trưng khác nhau trong
vùng bóng được trích chọn. Đó là đặc trưng chromaticity và đặc trưng vật lý. Hai lân
lận hay score bóng được tính toán từ các đặc trưng này. Một tỷ lệ lân cận là một score
bóng hay không bóng được tính toán. Các xác suất của bóng và không bóng được ước
lượng dựa trên cơ sở các phân bố xấp xỉ của các score bóng sử dụng GMM.

11


3.3.1

Trích chọn đặc trưng Chromaticity và tính toán score bóng

3.3.2

Tính toán score bóng sử dụng đặc trưng vật lý

3.3.3

Sơ đồ kết hợp score dựa trên hàm mật độ phân bố xác suất bóng


60
50
40
30
20
10
0
Physics

Chromaticity

SR Texture

Detection rate

Geometry

LR Texture

Proposed
method

Discrimination rate

Hình 3.3 Các kết quả khử bóng khi áp dụng phương pháp đề xuất và các phương pháp
khác trong [20].

12



và HOG-SVM [8] cho phát hiện người. Việc kết hợp này cho phép phát huy được ưu
điểm tính toán nhanh của GMM và khả năng tách người tốt của HOG-SVM. GMM
thích nghi phù hợp với các ứng dụng thời gian thực, tuy nhiên trong trường hợp có
nhiều người đứng cạnh nhau hay bị che khuất, GMM không thể phát hiện tách biệt
từng người. Chúng ta có thể khắc phục phần nào hạn chế này của GMM bằng cách áp
dụng bộ phát hiện người HOG-SVM. Tuy nhiên, thời gian tính toán HOG-SVM nhiều
hơn so với hầu hết các giải pháp trừ nên. Việc kết hợp hai kỹ thuật nhằm đạt đồng
thời hai mục đích cho phát hiện người là độ chính xác và yêu cầu thời gian thực.
Giải thuật 2 thể hiện kết hợp GMM thích nghi với HOG-SVM cho phát hiện người.
3.4.2
3.4.2.1

Đánh giá thử nghiệm
Cở sở dữ liệu và các tiêu chí đánh giá

Để sử dụng bộ phát hiện HOG-SVM hiệu quả trong môi trường thử nghiệm, chúng
tôi sử dụng cơ sở dữ liệu MICA1 và INRIA [8] cho huấn luyện bộ mô tả HOG. Dữ liệu
13


MICA2 được dùng cho pha thử nghiệm HOG-SVM. Trong nghiên cứu này, chúng tôi
xác định giới hạn cực đại 120×300 pixels và cực tiểu 25×80 cho vùng ROI chứa người.
Bộ mô tả HOG trong thư viện OpenCV có độ phân giải chuẩn hóa cho ảnh ROI là
64×128.
3.4.2.2

Các kết quả thử nghiệm

Bảng 3.1 thể hiện các kết quả so sánh khi áp dụng phương pháp HOG-SVM và
kết hợp HOG-SVM với GMM thích nghi. Hiệu quả của phương pháp khử bóng đề xuất

70.05
82.17

Recall (%)
Two people Three people
44.63
38.92
62.49
51.29
70.04
63.87

Theo vết và định vị người

3.5.1

Bộ lọc Kalman

3.5.2

Theo vết người và liên kết dữ liệu

3.5.3

Định vị và liên kết quỹ đạo người trong mạng camera

3.5.3.1

Định vị người


Các kết quả thử nghiệm

Các thử nghiệm được thực hiện và đánh giá ở 3 trường quan sát khác nhau của
Cam 1 (cảnh ở sảnh tòa nhà), Cam 2 (cảnh hành lang tòa nhà) và Cam 4 (cảnh trong
phòng showroom). Dữ liệu MICA2 với các cảnh hai người di chuyển qua các trường
quan sát camera được xem xét trong các đánh giá thử nghiệm.

3.6

Kết luận

Hệ thống định vị người được thử nghiệm trên một mặt phẳng sàn nhiều camera.
Các điều kiện chiếu sáng khác nhau và sự che khuất được xem xét. Các kết quả thử
nghiệm là có triển vọng, tuy nhiên, trong thời gian tới, các tình huống phức tạp của
theo vết nhiều người trong đám đông nên được xem xét đánh giá.

CHƯƠNG 4

ĐỊNH DANH VÀ ĐỊNH DANH LẠI NGƯỜI TRONG
MẠNG CAMERA
Như đã trình bày trong phần Giới thiệu, các phương pháp đề xuất cho định vị và
định danh người được xem xét trong ngữ cảnh của hệ thống giám sát người tự động
sử dụng nhiều camera. Trong hệ thống này, trước khi người bước vào hoặc ra khỏi khu
vực giám sát, người đó sẽ được kiểm tra vào/ra nhờ hệ thống nhận dạng mặt người.
Trong chương 3, việc gán định danh cho từng vị trí chân người FootPoint được thực
hiện bởi tiến trình theo vết, và ta gọi đó là định danh bằng theo vết. Tuy nhiên, hiện
tượng gán nhầm định danh cho vết dễ xảy ra khi người xuất hiện trở lại trong một
trường quan sát camera hay khi người chuyển từ một vùng quan sát này sang vùng
quan sát khác. Để có thể duy trì đúng người theo quỹ đạo chuyển động tương ứng, bài
toán định danh lại người trong ngữ cảnh theo vết bằng định danh được đề xuất trong

Đánh giá thử nghiệm

4.1.2.1

Các ngữ cảnh thử nghiệm

4.1.2.2

Các phép đo

4.1.2.3

Dữ liệu thử nghiệm và các kết quả

4.2
4.2.1

Định danh lại người dựa trên cở sở diện mạo
Sơ đồ

Sơ đồ hệ thống định danh lại người dựa trên hình ảnh được đưa ra trong Hình 4.1,
gồm hai giai đoạn chính là phát hiện và định danh lại người. Giai đoạn đầu đã được
Input
Frames

Human Detection

Person Re-ID

BGS with Shadow

Các kết quả thử nghiệm

4.2.3.1

Các cơ sở dữ liệu thử nghiệm

Trong nghiên cứu này, 7 cơ sở dữ liệu chuẩn được chọn để đánh giá bộ mô tả
KDES đề xuất: CAVIAR4REID, i-LIDS, iLIDS-VID, ETH, RAiD, WARD, và HDA.
Các bộ cơ sở dữ liệu này phù hợp cho các đánh giá so sánh của định danh lại người
trong ngữ cảnh giám sát tự động hoàn toàn thời gian thực. Các bộ cơ sở dữ liệu này
đã được sử dụng trong các nghiên cứu có liên quan [6], [9], [2], [21], [23] và [10]. Cơ
sở dữ liệu MICA1 và MICA2 do chúng tôi xây dựng cũng được sử dụng trong các thử
nghiệm định danh lại người.
√
Bảng 4.1 Các cơ sở dữ liệu sử dụng cho định danh lại người. Ký hiệu ( ) ở cột cuối
bảng thể hiện mức độ thay đổi trong một lớp của các cơ sở dữ liệu.
Dataset
ETHZ 1,2,3
iLIDS
CAVIAR4ReID
WARD
RAiD
iLIDS-VID
HDA
MICA 1, 2

4.2.3.2

Release
time

2
3
4
2
13
5, 3

Hand
Hand
Hand
Hand
Hand
Hand
Hand, Auto
Hand, Auto

Vary
128x64
Vary
128x48
128x64
Vary
Vary
Vary

Yes
Yes
Yes
Yes
Yes


17


Bảng 4.2 Các đánh giá so sánh định danh lại người trên Rank 1 (%) với các phương
pháp và cơ sở dữ liệu thử nghiệm khác nhau (Ký hiệu "×" có nghĩa là không thực hiện
thử nghiệm. Với dữ liệu iLIDS, có hai thiết lập thử nghiệm như mô tả trong [6] và trong
[2].
Datasets
CAVIAR4REID
iLIDS 37
iLIDS 2
ETHZ1
ETHZ2
ETHZ3
WARD
RAiD
HDA, MANUALall
HDA, MANUALclean
HDA, FP ON OCC OFF
HDA, FP OFF OCC ON
HDA, FP OFF OCC OFF
HDA, FP ON OCC ON
iLIDS-VID
MICA 1

4.3

AHPE
[6]

x
x
x
67.7
73.8
37.8
x
x
x
x
x
57
64.2
50
44
53.2
x
x
x
61.7
66.1
x
x
x
79
x
x
80
85
x

54.1
x
x
x
x
x
31.2
31
41.6
x
x
x
x
x
18.7
18.6
26.8
x
x
x
x
x
62.3
71.9
79.4
x
x
x
x
x

x
x
x
67.1
73.1

Kết luận

Trong chương này, chúng tôi xem xét các bài toán định danh và định danh lại
người trong hệ thống giám sát người tự động hoàn toàn. Để kiểm soát người ra/vào
vùng giám sát, chúng tôi đề xuất sử dụng hệ thống nhận dạng mặt người. Trong vùng
giám sát nhiều camera, bài đoán định danh lại người được giải quyết bằng một bộ mô
tả KDES mạnh. Hiệu quả của bộ mô tả diện mạo này được đánh giá không chỉ trên
vùng ROI được trích chọn thủ công mà cả tự động hoàn toàn. Chúng tôi chỉ ra rằng
các kết quả phát hiện tự động đặt ra nhiều thách thức hơn cho bài toán định danh lại
người trong mạng camera. Hầu hết các cơ sở dữ liệu đã có cho định danh lại người tập
trung vào phát hiện thủ công, do đó, chúng tôi sử dụng kết quả phát hiện người tự
động từ dữ liệu MICA2 cho các thử nghiệm định danh lại, với các ngữ cảnh thực của
hệ thống giám sát người tự động hoàn toàn.

CHƯƠNG 5

KẾT HỢP WIFI VÀ CAMERA CHO ĐỊNH VỊ VÀ
ĐỊNH DANH NGƯỜI
Trong nghiên cứu này, chúng tôi đề xuất một hệ thống kết hợp WiFi và camera
nhằm tăng lượng thông tin giá trị cho định vị và định danh lại người. Việc kết hợp
nhằm đạt được các mục tiêu sau:
❼ Cải thiện hiệu quả theo vết và định danh lại người trong mạng camera. Chi tiết

18


Camera 1

……

Vision-based localization

PC , IDC

Detection
Tracking

Camera n

P, ID

Localization

Identification
&
Re-ID

Hình 5.1 Sơ đồ hệ thống định vị và định danh lại người sử dụng kết hợp WiFi và
camera.
Hình 5.1 minh họa sơ đồ hệ thống tích hợp WiFi và camera cho định vị và định
danh lại người trong mạng camera.
5.1.2

Phương pháp kết hợp


w
if zi,t is from WiFi location system [zw
i,t = (Xi,t , Yi,t , IDi,t )] then
c
c
if zi,t−1 is from camera location system [zcj,t−1 = (Xi,t−1
, Yi,t−1
)] then
c
c
[xj,t ,Pt ] = KalmanPrediction(A,Q,zj,t−1 ,P t−1 );
Ki,t = Assignment(xcj,t , zw
i,t );
w
[xi,t , Pt ] = KalmanCorrection(H ,R,Ki,t , xt , P t );
Save xw
i,t as a state estimation at time t;
end
else
c
c
[zcj,t = (Xj,t
, Yj,t
)]
w
w
w
if zi,t−1 is from WiFi localization system [zw
i,t−1 = (Xi,t−1 , Yi,t−1 , IDi,t−1 )] then
w


Dữ liệu và các đánh giá thử nghiệm
Dữ liệu thử nghiệm

Theo như đánh giá của chúng tôi, hiện chưa có dữ liệu chuẩn nào cho định vị và
định danh kết hợp WiFi và camera. Để đánh giá giải thuật kết hợp cho định vị và định
danh lại người sử dụng hệ thống WiFi và camera, chúng tôi xây dựng cơ sở dữ liệu đa
phương thức cho các thử nghiệm.

20


5.2.2

Các kết quả thử nghiệm

5.2.2.1

Các kết quả thử nghiệm với kịch bản 1

Bảng 5.1 Các kết quả so sánh giải thuật kết hợp đề xuất với các đánh giá trong chương
4 với kịch bản thử nghiệm 1.
Evaluations in chapter 4
Hallway (Cam 1) Showroom (Cam 4)

The proposed fusion algorithm
Hallway (Cam 1) Showroom (Cam 4)

FN (%)


31.2

52.6

83.9

85.7

5.2.2.2

Các kết quả thử nghiệm với kịch bản 2

Bảng 5.2 Các kết quả thử nghiệm theo vết người bằng định danh và định danh lại
người với kịch bản thử nghiệm 2.
GMOTA (%)
Rank 1 (%)

5.3

Two people
31.7
12.6

Three people
16.5
8.9

Five people
11.2
5.6


xử lý quan trọng cho phát hiện người. Khi áp dụng phương pháp khử
bóng đề xuất, hiệu quả phát hiện và định vị được cải thiện đáng kể.
– Với định vị: Đề xuất một phương pháp hiệu quả dựa trên hiệu chỉnh stereo,
cho phép liên kết quỹ đạo chuyển động và định vị liên lục đối tượng trong
mạng camera trên hệ tọa độ thế giới thực.
❼ Với bài toán định danh lại người dựa trên hình ảnh: Đề xuất sử dụng bộ mô tả

diện mạo người hiệu quả phù hợp với những thay đổi về kích thước và sự xoay
dịch của hình dạng người khi di chuyển ở các góc nhìn và các khoảng cách xa gần
khác nhau từ camera. Bộ mô tả người đề xuất cho phép định danh từng người ở
từng vị trí theo vết, và từ đó thực hiện định danh lại người khi người di chuyển
trong từng trường quan sát camera hay dịch chuyển từ một trường quan sát này
tới các trường quan sát khác.
❼ Đề xuất hệ thống kết hợp WiFi và camera với phương pháp kết hợp mới cho định

vị và định danh lại người. Việc kết hợp này cho phép giảm chi phí tính toán của
hệ thống. Ngoài ra, phương pháp kết hợp sử dụng bộ lọc Kalman và giải thuật
gán tối ưu được đề xuất để duy trì các kết quả định vị từ ảnh, đồng thời gán vị
trí với đối tượng tương ứng nhờ thông tin ID rõ ràng hơn từ hệ thống WiFi.
Đóng góp nêu trên có giá trị cho việc giải quyết bài toán giám sát người trong
môi trường WiFi và đa camera. Tuy nhiên, vẫn còn một số hạn chế trong các đóng góp
này:
❼ Trong định vị WiFi, chúng tôi cần một bản đồ môi trường được định nghĩa trước.

Bản đồ này chứa tất cả tường, sàn, và các vùng biên, vị trí, địa chỉ MAC của
từng AP. Việc tạo bản đồ cho môi trường lớn thực sự là một thách thức. Mặc dù
độ chính xác định vị dựa trên mô hình đề xuất đã được cải thiện nhưng so với
các kỹ thuật định vị khác như hình ảnh, RFID hay UWB thì kết quả này vẫn
còn khiêm tốn.

hướng, la bàn nên được xem xét để cung cấp thêm nguồn thông tin hữu ích
cho định vị.
– Nên áp dụng thêm các phương pháp khác để cải thiện độ chính xác định vị,
như các giải thuật theo vết, hiệu chỉnh, các phương pháp lọc (ví dụ bộ lọc
Kalman hay lọc hạt), kết hợp với thông tin bản đồ và thông tin lịch sử vị
trí di chuyển.
❼ Đối với định vị dựa trên ảnh: Hiệu quả định vị phụ thuộc nhiều vào các bước

phát hiện, theo vết từ chuỗi khung hình và việc chuyển đổi từ tọa độ ảnh sang
tọa độ thế giới thực. Do đó, cần có thêm cải tiến cho từng bước này:
– Với phát hiện người: Khai thác hướng tiếp cận đa góc nhìn, như sử dụng
stereo camera, xây dựng mô hình 3D để xử lý hiện tượng che khuất hay phát
hiện người với kích thước nhỏ. Kết hợp các đặc trưng khác nhau, như HOG,
Haar, dáng điệu, chuyển động và các mô hình học khác nhau, như Boosting,
Multiple Kernel Learning, R-CNN hay DPM cũng là hướng nghiên cứu khả
thi cho phát hiện người. Ngoài ra, để cải thiện hiệu quả của phát hiện người,
các cải tiến cho khử bóng cũng cần được xem xét. Các kỹ thuật học online
cùng với hướng tiếp cận đa đặc trưng có thể được áp dụng để cải tiến hiệu

23