1

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên ĐẠI HỌC THÁI NGUYÊN
KHOA CÔNG NGHỆ THÔNG TIN
DƢƠNG THỊ NHUNG
NGHIÊN CỨU PHƢƠNG PHÁP CÂY QUYẾT

ĐẠI HỌC THÁI NGUYÊN
KHOA CÔNG NGHỆ THÔNG TIN


Tôi xin cam đoan toàn bộ nội dung luận văn này là do tôi tự sƣu tầm,
tra cứu thông tin trên mạng internet, trong một số sách tham khảo để sắp xếp, hoàn
thiện cho phù hợp với nội dung yêu cầu của đè tài.
Đến nay, nội dung luận văn của tôi chƣa từng đƣợc công bố hay xuất bản
dƣới bất kỳ hình thức nào. Nếu sai tôi xin chịu hoàn toàn trách nhiệm.

Ngày 10 tháng 10 năm 2010
Tác giả Dƣơng Thị Nhung
3

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên LỜI CẢM ƠN
Để hoàn thành luận văn này tôi đã nhận đƣợc sự giúp đỡ tận tình của các
thầy cô Khoa Công nghệ thông tin – Đại học Thái Nguyên, các thầy cô viện công
nghệ thông tin – viện Khoa học và công nghệ Việt Nam, các bạn bè đông nghiệp.
Đặc biệt là PGS.TS Vũ Đức Thi, ngƣời thầy trực tiếp hƣớng dẫn tôi trong quá trình
nghiên cứu và thực hiện luận văn.
Nhân dịp này tôi xin đƣợc bày tỏ lời cảm ơn tới tất cả các thầy cô giáo viện
Công nghệ thông tin – Viện Khoa học và công nghệ Việt Nam, các thầy cô ở khoa
Công nghệ thông tin – Đại học Thái nguyên đã giảng dạy và tạo mọi điều kienẹ
thuận lợi giúp đỡ chúng tôi trong quá trình học tập, nghiên cứu.
Tôi xin trân trọng cảm ơn PGS.TS. Vũ Đức Thi – Viện công nghệ thông tin,
ngƣời thầy trực tiếp hƣớng dẫn, đƣa ra ý tƣởng, định hƣớng, đóng góp các ý kiến
chuyên môn và tận tình giúp đỡ tôi trong suốt quá trình nghiên cứu và thực hiện
luận văn này.

1.4. Chức năng của KPDL 8
1.5. Các kỹ thuật KPDL 8
1.5.1. Phân lớp dữ liệu: 8
1.5.2. Phân cụm dữ liệu: 9
1.5.3. Khai phá luật kết hợp: 9
1.5.4. Hồi quy: 9
1.5.5. Giải thuật di truyền: 9
1.5.6. Mạng nơron: 9
1.5.7. Cây quyết định. 10
1.6. Các dạng dữ liệu có thể khai phá đƣợc 10
1.7. Các lĩnh vực liên quan và ứng dụng của KPDL 10
5

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 1.7.1. Các lĩnh vực liên quan đến khám phá tri thức và KPDL 10
1.7.2. Ứng dụng của KPDL 11
1.8. Các thách thức và hƣớng phát triển của KPDL. 12
Phần 2: CÂY QUYẾT ĐỊNH VÀ CÁC THUẬT TOÁN KHAI PHÁ DỮ
LIỆU BẰNG CÂY QUYẾT ĐỊNH 13
2.1 Cây quyết định 13
2.1.1 Mô tả 13
2.1.2 Định nghĩa cây quyết định 13
2.1.3 Ƣu điểm của cây quyết định. 15
2.1.4 Vấn đề xây dựng cây quyết định 16
2.1.5 Rút ra các luật từ cây quyết định. 17
2.2 Các thuật toán KPDL bằng cây quyết định 18
2.2.1 Thuật toán CLS 18
2.2.2. Thuật toán ID3 23

phát triển một khuynh hƣớng kỹ thuật mới đó là Kỹ thuật khám phá tri thức và
KPDL (Khai phá dữ liệu).
Kỹ thuật khám phá tri thức và KPDL đã và đang đƣợc nghiên cứu, ứng dụng
trong nhiều lĩnh vực khác nhau trên thế giới. Tại Việt Nam, kỹ thuật này còn tƣơng
đối mới mẻ tuy nhiên cũng đang đƣợc nghiên cứu và dần đƣa vào một số ứng dụng
thực tế; đặc biệt trong lĩnh vực giáo dục đào tạo thì chƣa có một ứng dụng thiết thực
nào. Hiện nay vấn đề khám phá tri thức và KPDL cũng đang thu hút đƣợc sự quan
tâm của nhiều ngƣời và nhiều công ty phát triển ứng dụng công nghệ thông tin ở
nƣớc ta.
Luận văn này bao gồm các nội dung sau:
Chƣơng 1: Tổng quan về phát hiện tri thức và khai phá dữ liệu.
Chƣơng 2: Cây quyết định và các thuật toán khai phá dữ liệu bằng cây quyết định.
Chƣơng 3: Cài đặt mô phỏng thuật tóan ID3
2

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên Phần 1: TỔNG QUAN VỀ PHÁT HIỆN TRI THỨC VÀ
KHAI PHÁ DỮ LIỆU
1.1. Khái quát chung về phát hiện tri thức và khai phá dữ liệu.
Trong vài thập kỷ gần đây, khả năng tạo sinh và lƣu trữ dữ liệu của con
ngƣời đã tăng lên nhanh chóng. Lƣợng dữ liệu lớn đƣợc lƣu trữ dẫn đến một đòi hỏi
cấp bách phải có những kỹ thuật mới, những công cụ tự động mới trợ giúp con
ngƣời một cách thông minh trong việc chuyển đổi một lƣợng lớn dữ liệu thành
thông tin hữu ích và tri thức. Vì vậy mà kỹ thuật khám phá tri thức (Knowledge
Discovery) đã ra đời và ngày càng phát triển để đáp ứng nhu cầu của con ngƣời
trong việc xử lý các kho dữ liệu lớn.
Vậy tri thức ở đây là gì? Thông thƣờng chúng ta coi dữ liệu nhƣ là một dãy
các bit, các số và các ký hiệu, hoặc các “đối tƣợng” đƣợc gửi cho một chƣơng trình

KPDL là cốt lõi của quá trình khám phá tri thức. Nó gồm có các giải thuật KPDL
chuyên dùng, dƣới một số quy định về hiệu quả tính toán chấp nhận đƣợc. KPDL là
nhằm tìm ra những mẫu mới, mẫu có tính chất không tầm thƣờng, những thông tin
tiềm ẩn mang tính dự đoán chƣa đƣợc biết đến và có khả năng mang lại ích lợi.
Nói tóm lại, mục đích chung của việc khám phá tri thức và KPDL là tìm ra
các mẫu đƣợc quan tâm nhất và/ hoặc các mô hình tồn tại trong cơ sở dữ liệu,
nhƣng chúng lại bị che dấu bởi một số lƣợng lớn dữ liệu.
1.2. Quá trình khám phá tri thức
Quá trình khám phá tri thức đƣợc tiến hành qua 5 bƣớc sau:
4

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
Hình 1.1. Quá trình khám phá tri thức
1.2.1. Hình thành và định nghĩa bài toán
Đây là bƣớc tìm hiểu lĩnh vực ứng dụng và hình thành bài toán, bƣớc này quyết
định cần rút ra những tri thức dạng nhƣ thế nào, đồng thời lựa chọn các phƣơng
pháp KPDL thích hợp với mục đích ứng dụng và bản chất của dữ liệu.
1.2.2. Thu thập và tiền xử lý dữ liệu
Trong bƣớc này dữ liệu đƣợc thu thập ở dạng thô (nguồn dữ liệu thu thập có thể
là từ các kho dữ liệu hay nguồn thông tin internet). Trong giai đoạn này dữ liệu
cũng đƣợc tiền xử lý để biến đổi và cải thiện về chất lƣợng cho phù hợp với phƣơng
pháp KPDL đƣợc chọn lựa trong bƣớc một.
Bƣớc này thƣờng chiếm nhiều thời gian nhất trong quá trình khám phá tri thức.
Các công việc tiền xử lý dữ liệu bao gồm :
1. Xử lý dữ liệu bị mất/ thiếu: Các dữ liệu bị thiếu sẽ đƣợc thay thế bởi các
giá trị thích hợp.
2. Khử sự trùng lặp: các đối tƣợng dữ liệu trùng lặp sẽ bị loại bỏ. Kỹ thuật

Các giai đoạn của quá trình khám phá tri thức có mối quan hệ chặt chẽ với
nhau trong bối cảnh chung của hệ thống. Các kỹ thuật đƣợc sử dụng trong giai đoạn
trƣớc có thể ảnh hƣởng đến hiệu quả của các giải thuật đƣợc sử dụng trong những
giai đoạn tiếp theo. Các bƣớc của quá trình khám phá tri thức có thể đƣợc lặp đi lặp
6

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên lại một số lần, kết quả thu đƣợc có thể đƣợc lấy trung bình trên tất cả những lần
thực hiện.
1.3. Quá trình KPDL
KPDL là hoạt động trọng tâm của quá trình khám phá tri thức. Thuật ngữ
KPDL còn đƣợc một số nhà khoa học gọi là khám phá tri thức trong cơ sở dữ liệu (
knowledge discovery in database ), do Fayyad Smyth và Piatestky-Shapiro đƣa ra
năm 1989 . Quá trình này gồm có 6 bƣớc:

Hình 1.2. Quá trình KPDL
Quá trình KPDL bắt đầu với kho dữ liệu thô và kết thúc với tri thức đƣợc chiết
xuất ra. Các bƣớc của quá trình nhƣ sau:
1.3.1. Gom dữ liệu ( gatherin )
Tập hợp dữ liệu là bƣớc đầu tiên trong KPDL. Bƣớc này lấy dữ liệu từ trong một
cơ sở dữ liệu, một kho dữ liệu, thậm chí dữ liệu từ những nguồn cung ứng web.
7

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên 1.3.2. Trích lọc dữ liệu ( selection )
Ở giai đoạn này dữ liệu đƣợc lựa chọn và phân chia theo một số tiêu chuẩn

KPDL có hai chức năng chính: mô tả (description) và dự đoán (prediction).
Công việc KPDL mô tả sẽ mô tả các tính chất hoặc đặc tính chung của dữ liệu
trong cơ sở dữ liệu, nghĩa là phân tích và mô tả một tập mẫu đã biết (a set of known
sample) trong khả năng nhận thức của con ngƣời nhằm giúp họ hiểu rõ hơn, sâu hơn
về dữ liệu.
Còn công việc KPDL dự đoán sẽ thực hiện việc suy luận dựa trên dữ liệu hiện
hành để cho ra các dự báo, nghĩa là phân tích tập dữ liệu huấn luyện và tạo ra một
hoặc vài mô hình cho phép dự đoán các mẫu mới chƣa biết (unseen new examples).
1.5. Các kỹ thuật KPDL
Có nhiều kỹ thuật khác nhau đƣợc sử dụng để KPDL nhằm thực hiện hai chức
năng mô tả và dự đoán. Với mỗi chức năng thì có các kỹ thuật KPDL tƣơng ứng với
nó.
- Kỹ thuật KPDL mô tả: có nhiệm vụ mô tả các tính chất hoặc các đặc tính
chung của dữ liệu trong CSDL hiện có. Một số kỹ thuật khai phá trong nhóm
này là: phân cụm dữ liệu (Clustering), tổng hợp (Summarisation), trực quan
hoá (Visualization), phân tích sự phát triển và độ lệch (Evolution and
deviation analyst),….
- Kỹ thuật KPDL dự đoán: có nhiệm vụ đƣa ra các dự đoán dựa vào việc suy
diễn trên cơ sở dữ liệu hiện thời. Một số kỹ thuật khai phá trong nhóm này là:
phân lớp (Classification), hồi quy (Regression), cây quyết định (Decision
tree), thống kê (statictics), mạng nơron (neural network), luật kết hợp
(association rules),….
Một số kỹ thuật phổ biến thƣờng đƣợc sử dụng để KPDL hiện nay là :
1.5.1. Phân lớp dữ liệu:
Mục tiêu của phân lớp dữ liệu là dự đoán nhãn lớp cho các mẫu dữ liệu. Quá
trình gồm hai bƣớc: xây dựng mô hình, sử dụng mô hình để phân lớp dữ liệu. Mô
9

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Kết quả mà mạng nơron học đƣợc có khả năng tạo ra các mô hình dự báo, dự
đoán với độ chính xác và độ tin cậy cao. Nó có khả năng phát hiện ra đƣợc các xu
hƣớng phức tạp mà kỹ thuật thông thƣờng khác khó có thể phát hiện ra đƣợc. Tuy
nhiên phƣơng pháp mạng nơ ron rất phức tạp và quá trình tiến hành nó gặp rất nhiều
khó khăn: đòi hỏi mất nhiều thời gian, nhiều dữ liệu, nhiều lần kiểm tra thử nghiệm.
1.5.7. Cây quyết định.
Kỹ thuật cây quyết định là một công cụ mạnh và hiệu quả trong việc phân lớp
và dự báo. Các đối tƣợng dữ liệu đƣợc phân thành các lớp. Các giá trị của đối tƣợng
dữ liệu chƣa biết sẽ đƣợc dự đoán, dự báo. Tri thức đƣợc rút ra trong kỹ thuật này
thƣờng đƣợc mô tả dƣới dạng tƣờng minh, đơn giản, trực quan, dễ hiểu đối với
ngƣời sử dụng.
1.6. Các dạng dữ liệu có thể khai phá đƣợc
- CSDL quan hệ
- CSDL đa chiều
- CSDL giao dịch
- CSDL quan hệ - đối tƣợng
- CSDL không gian và thời gian
- CSDL đa phƣơng tiện.
1.7. Các lĩnh vực liên quan và ứng dụng của KPDL
1.7.1. Các lĩnh vực liên quan đến khám phá tri thức và KPDL
Khám phá tri thức và KPDL đƣợc ứng dụng trong nhiều ngành và lĩnh vực
khác nhau nhƣ: tài chính ngân hàng, thƣơng mại, y tế, giáo dục, thống kê, máy học,
trí tuệ nhân tạo, cơ sở dữ liệu, thuật toán toán học, tính toán song song với tốc độ
cao, thu thập cơ sở tri thức cho hệ chuyên gia,…Trong đó KPDL rất gần gũi với
lĩnh vực thống kê, sử dụng các phƣơng pháp thống kê để phát hiện ra các mẫu, các
luật bên trong dữ liệu. Kho dữ liệu và các công cụ phân tích trực tuyến cũng liên
quan đến khám phá tri thức và KPDL.
11

……
Thông tin học
Thƣơng mại
12

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên Một số ứng dụng cụ thể nhƣ sau :
- KPDL đƣợc sử dụng để phân tích dữ liệu, hỗ trợ ra quyết định.
- Trong sinh học: nó dùng để tìm kiếm, so sánh các hệ gen và thông tin di
truyền, tìm mối liên hệ giữa các hệ gen và chuẩn đoán một số bệnh di truyền.
- Trong y học: KPDL giúp tìm ra mối liên hệ giữa các triệu chứng, chuẩn đoán
bệnh.
- Tài chính và thị trƣờng chứng khoán: KPDL dùng để phân tích tình hình tài
chính, phân tích đầu tƣ, phân tích cổ phiếu.
- Khai thác dữ liệu web.
- Trong thông tin kỹ thuật: KPDL dùng để phân tích các sai hỏng, điều khiển và
lập lịch trình.
- Trong thông tin thƣơng mại: dùng để phân tích dữ liệu ngƣời dùng, phân tích
dữ liệu marketing, phân tích đầu tƣ, phát hiện các gian lận.
1.8. Các thách thức và hƣớng phát triển của KPDL.
Việc khám phá tri thức và KPDL hiện nay đang phát triển rất mạnh mẽ và đạt
đƣợc nhiều thành tựu quan trọng trong một số lĩnh vực, song những việc này vẫn
gặp phải một số khó khăn cần giải quyết nhƣ:
- Đối với các cơ sở dữ liệu quá lớn với số lƣợng bản ghi lớn hơn 1012 bản ghi,
số thuộc tính lớn hơn 102 thuộc tính thì khó khăn trong việc tìm ra mối quan hệ
giữa các thuộc tính và tổng quát hoá dữ liệu.
- Một vấn đề khó khăn nữa là theo thời gian thì một số kết quả tri thức rút ra từ
tập mẫu dữ liệu không còn phù hợp nữa.

chia của phép thử là không gian con của các sự kiện, nó tƣơng ứng với một vấn đề
con của sự phân lớp.
2.1.2 Định nghĩa cây quyết định
Trong lý thuyết quyết định, một cây quyết định (decision tree) là một đồ thị
của các quyết định và hậu quả có thể của nó (bao gồm cả rủi ro và hao phí tài
nguyên ). Cây quyết định đƣợc sử dụng để xây dựng một kế hoạch nhằm đạt đƣợc
14

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên mục tiêu mong muốn. Các cây quyết định đƣợc dùng để hỗ trợ quá trình ra quyết
định. Cây quyết định là một dạng đặc biệt của cấu trúc cây.
Trong lĩnh vực học máy, cây quyết định là một kiểu mô hình dự báo
(predictive model), nghĩa là một ánh xạ từ các quan sát về một sự vật /hiện tƣợng tới
các kết luận về giá trị mục tiêu của sự vật/hiện tƣợng. Mỗi nút trong (internal node)
tƣơng ứng với một biến; đƣờng nối giữa nó với nút con của nó thể hiện giá trị cụ thể
cho biến đó. Mỗi nút lá đại diện cho giá trị dự đoán của biến mục tiêu, cho trƣớc các
giá trị dự đoán của biến đƣợc biểu diễn bởi đƣờng đi từ nút gốc tới nút lá đó. Kỹ
thuật học máy dùng trong cây quyết định đƣợc gọi là học bằng cây quyết định, hay
chỉ gọi với cái tên ngắn gọn là cây quyết định.
Cây quyết định có thể đƣợc mô tả nhƣ là sự kết hợp của các kỹ thuật toán học và
tính toán nhằm hỗ trợ việc mô tả, phân loại và tổng quát hoá một tập dữ liệu cho
trƣớc.
Cây quyết định có 2 tên khác:
 Cây hồi quy : ƣớc lƣợng các hàm giá có giá trị là số thực thay vì
đƣợc sử dụng cho các nhiệm vụ phân loại.
 Cây phân loại: có chứa các biến phân loại nhƣ: giới tính ( nam hay
nữ), kết quả của một trận đấu (thắng hay thua).
Ví dụ: Cây quyết định phân lớp mức lƣơng có các dữ kiện sau:

100
Good
6
45
60
good
Bảng 2.1 : Tập dữ liệu huấn luyện quyết định phân lớp mức lƣơng
Cây quyết định phân lớp mức lƣơng có dạng nhƣ sau: Hình 2.1 Cây quyết đinh phân lớp mức lƣơng
2.1.3 Ƣu điểm của cây quyết định.
So với các phƣơng pháp KPDL khác, cây quyết định có một số ƣu điểm sau:
- Cây quyết định tƣơng đối dễ hiểu. Ngƣời ta có thể hiểu đƣợc mô hình của cây
quyết định chỉ cần sau khi đƣợc giải thích ngắn gọn.
- Kỹ thuật KPDL bằng cây quyết định chỉ đòi hỏi dữ liệu đƣợc chuẩn bị một
cách cơ bản, đôi khi không cần thiết phải xử lý dữ liệu trƣớc khi tiến hành khai phá.
Trong khi đó, các kỹ thuật khác thƣờng đỏi hỏi phải có các thao tác xử lý dữ liệu
Age?
≤ 35
salary
> 35
salary
≤ 40
>40
bad
good
≤5
0
>5

đều chia ra làm ba giai đoạn cơ bản nhƣ sau.
a. Xây dựng cây
Trong giai đoạn này, tập dữ liệu huấn luyện đƣợc chia một cách đệ quy cho
đến khi các mẫu dữ liệu huấn luyện ở mỗi nút lá là thuộc cùng một lớp, hay còn gọi
là các nút lá đều thuần khiết. Ngoại trừ các nút lá ra thì các nút không phải là nút lá
17

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên đều đƣợc kiểm tra các thuộc tính đề tìm ra thuộc tính "chiến thắng" đƣợc chọn cho
việc phân tách tiếp theo. Nhãn của nút có phép tách này là nhãn của thuộc tính
"chiến thắng" đồng thời tập dữ liệu tại nút này đƣợc phân tách ra làm các tập con
theo các giá trị của thuộc tính đó.
b. Cắt tỉa cây
Thông thƣờng thì cây đƣợc sinh ra trong giai đoạn xây dựng và hoạt động tốt
trên tập dữ liệu huấn luyện, tuy nhiên cây có thể hoạt động không chính xác trên các
tập dữ liệu bị nhiễu hoặc bị thiếu. Vì vậy cần phải có giai đoạn cắt tỉa cây để tối ƣu
hoá cây, đó là tối ƣu hoá về độ lớn và độ chính xác của sự phân lớp các mẫu dữ
liệu.
c. Đánh giá cây
Giai đoạn này đánh giá độ chính xác của cây kết quả. Việc đánh giá cây tƣơng
đối đơn giản. Đánh giá bằng cách cho một tập dữ kiện vào và so sánh nhãn của lớp
đã dự đoán với nhãn của lớp trên thực tế đạt đƣợc. Tiêu chí để đánh giá độ chính
xác của cây quyết định là tỷ số các mẫu đƣợc phân lớp chính xác trên tổng số các
mẫu đƣa vào.
2.1.5 Rút ra các luật từ cây quyết định.
Có thể chuyển đổi qua lại giữa mô hình cây quyết định và mô hình dạng luật.
Sau khi xây dựng đƣợc cây quyết định ta có thể rút ra đƣợc tập các luật dạng
IF THEN và ngƣợc lại. Từ hai mô hình này chúng ta có thể rút ra đƣợc các quy

"no" (hay thuộc cùng một lớp), thì gán nhãn cho nút T là "no" và dừng lại. T
lúc này là nút lá.
4) Trƣờng hợp ngƣợc lại các mẫu của tập huấn luyện thuộc cả hai lớp
"yes" và "no" thì:
i. Chọn một thuộc tính X trong tập thuộc tính của tập mẫu dữ
liệu, X có các giá trị v
1
,v
2
, …v
n
.
19

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên ii. Chia tập mẫu trong T thành các tập con T
1
, T
2
,….,T
n
. chia theo
giá trị của X.
iii. Tạo n nút con T
i
(i=1,2…n) với nút cha là nút T.
iv. Tạo các nhánh nối từ nút T đến các nút T
i

Yes
D4
Rain
Mild
High
Weak
Yes
D5
Rain
Cool
Normal
Weak
Yes
D6
Rain
Cool
Normal
Strong
No
D7
Overcast
Cool
Normal
Strong
Yes
D8
Sunny
Mild
High
Weak

D13
Overcast
Hot
Normal
Weak
Yes
D14
Rain
Mild
High
Strong
No
Bảng 2.2 tập dữ liệu huấn luyện quyết định chơi tennis
Bảng dữ liệu trên là một tập các mẫu mô tả quyết định đi chơi tennis. Trong
bảng, thuộc tính Day đƣợc dùng để định danh (chỉ số). Các thuộc tính outlook
(quang cảnh bầu trời), temperature (nhiệt độ), humidity (độ ẩm), wind (gió) là các
thuộc tính ứng cử viên đƣợc dùng để xét. Còn thuộc tính play tennis là thuộc tính
khẳng định đƣợc dùng để phân lớp các mẫu dữ liệu. Khi đó cây quyết định đƣợc
xây dựng theo thuật toán CLS đối với tập dữ liệu trong bảng 2.2 đƣợc xây dựng nhƣ
sau:
- Chọn thuộc tính outlook = {sunny, overcast, rain} ta có cây nhƣ sau: Hình 2.2
Với giá trị thuộc tính Outlook ="overcast" các giá trị thuộc tính play tennis của
{D3,D7,D12,D13} đếu có giá trị là yes, chúng thuộc cùng một lớp "yes", đây là nút
lá có nhãn là "yes".
Outlook
[ D1,D2,D3,D4,D5,D6,D7,D8,D9,D10,D11,D12,D13,D14
]