SỞ GIÁO DỤC VÀ ĐÀO TẠO ĐỒNG NAI
Phòng KT&KĐCLGD
Mã số: ................................

SÁNG KIẾN KINH NGHIỆM

SỬ DỤNG PHẦN MỀM QUEST, CONQUEST
ĐỂ PHÂN TÍCH ĐỀ THI TỰ LUẬN

Người thực hiện: VÕ LONG

Lĩnh vực nghiên cứu:
- Quản lý giáo dục



- Phương pháp dạy học bộ môn:



- Lĩnh vực khác: (Đánh giá đề thi)



Có đính kèm: Các sản phẩm không thể hiện trong bản in SKKN
 Mô hình
 Đĩa CD (DVD)
 Phim ảnh  Hiện vật khác
(các phim, ảnh, sản phẩm phần mềm)

Năm học: 2015-2016

Số năm có kinh nghiệm: 10 năm
- Các sáng kiến kinh nghiệm đã có trong 5 năm gần đây:
+ Xây dựng chương trình chấm thi thực hành Word
+ Sử dụng phần mềm Quest, Conquest để phân tích câu hỏi trắc nghiệm
khách quan

Năm học: 2015-2016

Trang 2


Tên SKKN: SỬ DỤNG PHẦN MỀM QUEST, CONQUEST ĐỂ PHÂN

TÍCH ĐỀ THI TỰ LUẬN
I. LÝ DO CHỌN ĐỀ TÀI
Đánh giá (ĐG) kết quả học tập (KQHT) của học sinh (HS) là một hoạt động rất
quan trọng trong quá trình giáo dục. Đánh giá kết quả học tập là quá trình thu thập và xử
lí thông tin về trình độ, khả năng thực hiện mục tiêu học tậpcủa học sinh nhằm tạo cơ sở
cho những điều chỉnh sư phạm của giáo viên, các giải pháp của các cấp quản lí giáo dục
và cho bản thân học sinh, để học sinh học tập đạt kết quả tốt hơn.
Việc ra đề kiểm tra đánh giá kết quả học tập của người học là việc làm thường
xuyên trong công tác giảng dạy. Đây là phương pháp nhằm đánh giá học lực, giám sát
quá trình học tập của người học, quá trình giảng dạy của người dạy và quá trình quản lý
đào tạo của nhà trường. Tuy được sử dụng rộng rãi và có tầm quan trọng, song thực tế rất
ít người dạy được đào tạo cơ bản về vấn đề này.Đa số người dạy thường dựa vào kinh
nghiệm chủ quan của mình để thực hiện hoạt động này, cho nên dẫn đến việc đánh giá
học sinh không đúng như mục tiêu của môn học.
Trong kiểm tra đánh giá ở các trường THPT hiện nay đa số sử dụng phương pháp
đánh giá kết quả học tập của học sinh thông qua các dạng đề thi: tự luận, trắc nghiệm và
số ít kết hợp cả trắc nghiệm và tự luận. Với mỗi dạng thức ra đề như vậy đều có những

tắc chung để phân tích các Item, một bài tự luận là chúng ta thường so sánh câu trả lời
của học sinh ( HS) ở mỗi Item với điểm số chung của toàn bài với mong muốn có nhiều
HS khá giỏi làm được , đồng thời có ít HS yếu làm được Item đó, nghĩa là phổ các điểm
của một lớp HS trải càng rộng càng tốt.Việc phân tích thống kê Item trong câu tự luận
nhằm xác định các chỉ số như: độ khó, độ phân biệt, hệ số độ tin cậy...của Item.
Từ sau thập niên 70 đến nay một lý thuyết phân tích câu hỏi trắc nghiệm hiện đại
ra đời dựa trên thuyết đáp ứng câu hỏi của Georg Rasch thường gọi là lý thuyết IRT.
Thuyết IRT được phát triển rất nhanh nhờ khả năng tính toán bằng máy vi tính.
Để khắc phục nhược điểm nêu trên, Hội đồng nghiên cứu giáo dục Australia dựa
trên thuyết IRT đã xây dựng phần mềm Quest để phân tích số liệu thống kê của câu hỏi
thi. Thuyết đáp ứng câu hỏi của Rasch mô hình hoá mối liên hệ giữa mức độ khả năng
của người làm bài và đáp ứng của người ấy với một câu Item. Mỗi ý trong câu được mô
tả bằng một thông số (độ khó) ký hiệu là δ và mỗi người làm bài được mô tả cũng bằng
một thông số (khả năng) ký hiệu là β. Mỗi khi một người cố gắng làm bài, các thông số
độ khó và khả năng tác độn g lẫn nhau, để cho một xác suất đáp ứng của người làm bài
ấy. Dạng toán học của mô hình này là:

Pnil =exp(βn−δi)
1+exp(β n −δ i)
Trong đó Pnil là xác suất của một người với khả năng βn làm đúng Item đó có độ
khó δ.

Năm học: 2015-2016

Trang 4


2. Xử lý số liệu bằng phần mềm QUEST; CONQUEST:
Sau khi thi xong, bài thi được chấm theo thang điểm quy định . Những người trực
tiếp tham gia vào tổ chấm thi phải chấm theo đúng đáp án và thang điểm đã đưa ra. Chấm


52

0

Percent (%)

3.0

10.0

35.0

52.0

.0

Pt-Biserial

-.22

-.53

-.11

.50

NA

p-value


NA

...........................................................................
Item

10: item 10

Infit MNSQ =

Categories

0

Count

1

.90
2

Disc =
3

9

92

8


p-value

.000

.000

NA

NA

NA

Mean Ability

1.03

2.79

NA

NA

NA

.36
missing
0

NA


=========================
Mean
1.15
SD
1.23
SD (adjusted)
1.01
Reliability of estimate .67

Với Mean: độ khó câu hỏi. SD: độ lệch chuẩn, Reliability of estimate: độ tin cậy
đề thi.
Từ kết quả trên ta thấy năng lực tr ung bình của mẫu thí sinh (case estimate) tham
gia bài kiểm tra (1,15) cao hơn nhiều so với độ khó chung của bài kiểm tra. Độ tin cậy
của đề thi rất đáng tin cậy là 0.9.
* Phân bố độ khó câu hỏi và năng lực của học sinh:
Sơ đồ phân bố độ khó câu hỏi và năn g lực thí sinh cho thấy mức độ phù hợp của
đề thi đối với học sinh dự thi.Kết quả xử lý bằng phần mềm QUEST cho một bản đồ
phân bố năng lực học sinh và độ khó câu hỏi thi.
PHAN TICH DE THI TOAN HKI_2012
-----------------------------------------------------------------------------Item Estimates (Thresholds)
5/ 9/13 11: 2
all on toan_tl (N = 100 L = 10 Probability Level= .50)
-----------------------------------------------------------------------------4.0
|
10
RẤT KHÓ
XX
|
|
|

2.3
8.2
1.0
|
6.2
NĂNG LỰC
XXXXXXXXXX
|
9.1
|
TRUNG
|
XXXXXX
|
BÌNH
|
20%
|
.0
XXXX
|
3.2
|
|
XXXXXXXX
|

NĂNG LỰC
CAO


X
|
|
|
2.1
-2.0
|
|
|
|
|
|
|
|
5.1
8.1
RẤT DỄ
-3.0
|
----------------------------------------------------------------------------XXXXXXXX

NĂNG LỰC
THẤP

Mỗi dấu X đại diện cho 1 học sinh
===============================================================================

Dựa vào bảng trên ta thấy đề thi là tương đối phù hợp với năng lực của nhóm học
sinh tham gia, tuy nhiên đối với nhóm học s inh có năng lực thấp thì vẫn còn nhiều đối
với đề thi này chiếm (22%). Vì vậy nên điều chỉnh lại đề thi dễ hơn do đây là bài kiểm tra


Năm học: 2015-2016

Trang 8


Hình 3: Đường cong đặc trưng thông tin Item 2
Đánh giá từng mức điểm cho từng ý của câu hỏi ( ứng với mỗi mức được đánh số là
1,2,3 tương ứng với điểm đạt được là: 0.5,1,1.5)

Năm học: 2015-2016

Trang 9


KẾT LUẬN
Chúng ta có thể sử dụng rất nhiều phần mềm chuyên dụng phục vụ cho việc đánh
giá đề thi, tuy nhiên 2 phần mềm Quest và Conquest được sử dụng khá phổ biến và cung
cấp hầu như tất cả các chỉ số cũng như bảng biểu phục vụ cho công việc đánh giá đề thi.
Công việc biên soạn, thiết kế đề thi là giai đoạn hết sức quan trọng trong quy trình
thiết kế đề thi, thực tế ở các trường phổ thông hầu như giáo viên thiếu kinh nghiệm ra đề
thi, giáo viên ít xác định mục tiêu đánh giá hoặc chưa phù hợp với mục tiêu đề ra.Việc
xây dựng bảng trọng số chưa hợp lý và chưa được coi trọng đúng mức. Đề thi chưa bao
phủ hết nội dung chương trình giảng dạy cũng như chưa phù hợp với mục tiêu đề ra.
Việc ra đề thi tự luận là một công việc hết sức khó khăn nếu như giáo viên không
xác định trước, lập kế hoạt cũng như xác định nội dung kiến thức sẽ dễ dẫn đến việc
không thể đánh giá đúng năng lực của học sinh cũng như phát hiện những học sinh có
năng lực cao cụ thể.
Từ đề thi trên sử dụng phần mềm để nhận xét có thể thấy đề thi là tương đối phù
hợp với năng lực của học sinh, độ tin cậy của đề thi cao tuy nhiên vẫn có rất nhiều học

Bài giảng lý thuyết đánh giá cổ điển và hiện đạ i của TS Phạm Xuân Thanh.
6. APPLYING THE RASCH MODEL TO PSYCHO-SOCIAL
MEASUREMENTA PRACTICAL APPROACH-Margaret Wu & Ray
Adams

Năm học: 2015-2016

Trang 11


PHỤ LỤC
1. File .Ctl chạy trong chương trình Quest
Header PHAN TICH DE THI TOAN HKI_2012
set width =132 ! page
set logon >- toan_TL.log
data_file toan_TL.dat
codes 01239
format items (t1,10a1)
recode (01239) (01000) ! 1,4
recode (01239) (01200) ! 5,6,7,8,9,10
recode (01239) (01230) ! 2,3
scale 1-10 ! toan_TL
estimate ! iter=100;scale=toan_TL
show ! scale=toan_TL >- toan_TL.map
show cases!scale=toan_TL;form=export; delimiter=tab >-toan_TL.cas
itanal ! scale=toan_TL >- toan_TL.ita
quit

2. File .Cqc chạy trong chương trình ConQuest:
Title PHAN TICH DE THI TOAN HKI_2012;

Data Format = items (t1,10a1)
Log file

= toan_TL.log

Page Width

= 132

Page Length = 65
Screen Width = 78
Screen Length = 24
Probability level = .50
Maximum number of cases set at 60000
VALID DATA CODES

01239

GROUPS
1 all

( 100 cases ) : All cases

SCALES
1 all

( 10 items ) : All items

2 toan_tl



5

item 5

(01239) TO (01200)

6

item 6

(01239) TO (01200)

7

item 7

(01239) TO (01200)

8

item 8

(01239) TO (01200)

9

item 9

(01239) TO (01200)

Infit Mean Square

Năm học: 2015-2016

Outfit Mean Square

Trang 13


Mean

.99

SD

Mean

.15

.96

SD

Infit t

.44

Outfit t

Mean


1.23

SD (adjusted)

1.01

Reliability of estimate

.67

Fit Statistics
===============
Infit Mean Square
Mean

Outfit Mean Square

1.01

SD

Mean

.63

SD

Infit t



|

10

XX |
|
|
|
|
|
|
3.0

|
XXXXXXXXXXXXXX |
|
|

Năm học: 2015-2016

9.2

Trang 14


|
|
|
XXXXXXXXXXXXX |

|
.0

XXXX |

3.2

|
|
XXXXXXXX |
|
XXXXXXXX |

-1.0

|

2.2

|

5.2

4

7.2

XXXX |
|
|


-----------------------------------------------------------------------------------------------------------------------------------Each X represents

1 students

====================================================================

Năm học: 2015-2016

Trang 15


PHAN TICH DE THI TOAN HKI_2012
---------------------------------------------------------------------------------------------------------Item Fit

5/ 9/13 11: 2

all on toan_tl (N = 100 L = 10 Probability Level= .50)
-------------------------------------------------------------------------------------------------------INFIT
MNSQ .63
1.50

.67

.71

.77

.83


3 item 3

.

|

4 item 4

.

5 item 5

.

|

6 item 6

.

|

7 item 7

.

8 item 8

.



.

|

.

|

.
|

.

===================================================
PHAN TICH DE THI TOAN HKI_2012
---------------------------------------------------------------------------------------------------------Item Analysis Results for Observed Responses

5/ 9/13 11: 2

all on toan_tl (N = 100 L = 10 Probability Level= .50)
--------------------------------------------------------------------------------------------------------Item 1: item 1
Categories

Infit MNSQ = .90
0

1

2


Pt-Biserial

-.48

.48

NA

NA

NA

p-value

.000

.000

NA

NA

NA

Mean Ability

-.33

1.35

0
3

1

2

3

10

35

52

9
0

Disc = .62

missing
0
Trang 16


Percent (%)

3.0

10.0


Step Labels

1

Thresholds

-1.89

Error

.94
2

.73

NA

1.72

-.73
.56

NA

NA

1.04
.41



-.36

-.33

-.08

.54

p-value

.000

.000

.203

.000

-.39

.31

Step Labels

1

Thresholds

-1.38

NA
NA

2.04

NA

NA

3

.05
.44

1.73
.41

PHAN TICH DE THI TOAN HKI_2012
--------------------------------------------------------------------------------------------------------Item Analysis Results for Observed Responses

5/ 9/13 11: 2

all on toan_tl (N = 100 L = 10 Probability Level= .50)
Item 4: item 4
Categories

Infit MNSQ = .81
0

1

0
.0

Pt-Biserial

-.60

.60

NA

NA

NA

p-value

.000

.000

NA

NA

NA

Mean Ability

-.24

Infit MNSQ = 1.19

Count

Pt-Biserial

NA

.28

Item 5: item 5
Categories

Disc = .60

1

2

3

9

14

85

0

0

missing
0
.0
NA
NA
NA

NA
Trang 17


Step Labels

1

Thresholds

-2.88

Error

2
-.84

1.19

.70

Item 6: item 6
Categories

47.0

53.0

.0

Pt-Biserial

NA

-.36

.36

NA

NA

p-value

NA

.000

.000

NA

NA



.23

PHAN TICH DE THI TOAN HKI_2012
-----------------------------------------------------------------------------------------------------------Item 7: item 7
Categories

Infit MNSQ = .86
0

Count

1

Percent (%)

1.0

1

2

3

9

18

81


Step Labels

1

Thresholds

-3.00

Error

0
2

Percent (%)

2.0

NA

NA

1

2

3

9

47


1

Thresholds

-2.88

Error

.94

.0

NA

Disc = .60

missing
0
.0

NA

NA

NA

1.86

NA


NA

-.55

Item 8: item 8

Mean Ability

0
.0

NA

1.47

missing

2

1.19

Categories

.0

Disc = .56

Infit MNSQ = .92
0

21.0

Pt-Biserial

-.66

.32

.43

p-value

.000

.001

.000

Mean Ability

.25

1.66
2

Thresholds

.88

2.54


PHAN TICH DE THI TOAN HKI_2012
--------------------------------------------------------------------------------------------------------Item
Analysis Results for Observed Responses

5/

9/13 11: 2
all on toan_tl (N = 100 L = 10 Probability Level= .50)
Item 10: item 10
Categories

Infit MNSQ = .90

0

1

2

3

9

Count

92

8


NA

p-value

.000

.000

NA

NA

NA

Mean Ability

1.03

2.79

Step Labels

1

Thresholds

3.99

Error




SỞ GD&ĐT ĐỒNG NAI
Đơn vị Phòng KT&

–––––––––––

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
––––––––––––––––––––––––
Đồng Nai , ngày 25 tháng 05 năm 2016

PHIẾU NHẬN XÉT, ĐÁNH GIÁ SÁNG KIẾN KINH NGHIỆM
Năm học: 2015-2016
–––––––––––––––––
Tên sáng kiến kinh nghiệm: SỬ DỤ NG PHẦN MỀ M QUEST, CONQUEST ĐỂ PHÂN
TÍCH ĐỀ THI TỰ LUẬN
Họ và tên tác giả: VÕ LONG

Chức vụ: Chuyên viên

Đơn vị: Phòng Khảo thí và Kiểm định chất lượng giáo dục
Lĩnh vực: (Đánh dấu X vào các ô tương ứng, ghi rõ tên bộ môn hoặc lĩnh vực khác)
- Quản lý giáo dục

- Phương pháp dạy học bộ môn: ............................... 
- Phương pháp giáo dục

- Lĩnh vực khác: ........................................................ 
Sáng kiến kinh nghiệm đã được triển khai áp dụng: Tại đơn vị 

- Giải pháp thay thế một phần giải pháp đã có, đã được thực hiện trong toàn ngành có hiệu
quả cao 
- Giải pháp thay thế hoàn toàn mới, đã được thực hiện tại đơn vị có hiệu quả cao 
- Giải pháp thay thế một phần giải pháp đã có , đã được thực hiện tại đơn vị có hiệu quả 
- Giải pháp mới gần đây đã áp dụng ở đơn vị khác nhưng chưa từng áp dụng ở đơn vị mình,
nay tác giả tổ chức thực hiện và có hiệu quả cho đơn vị

năng
áp
dụng
X
vào
1
trong
3
ô
mỗi
dòng dưới đây)
3. Khả
(Đánh dấu
- Cung cấp được các luận cứ khoa học cho việc hoạch định đường lối, chính sách:
Trong Tổ/Phòng/Ban  Trong cơ quan, đơn vị, cơ sở GD&ĐT 
Trong ngành 
- Đưa ra các giải pháp khuyến nghị có khả năng ứng dụng thực tiễn, dễ thực hiện và dễ đi vào cuộc
sống: Trong Tổ/Phòng/Ban 
Trong cơ quan, đơn vị, cơ sở GD&ĐT 
Trong ngành 
- Đã được áp dụng trong thực tế đạt hiệu quả hoặc có khả năng áp dụng đạt hiệu quả trong phạm vi rộng:
Trong Tổ/Phòng/Ban 
Trong cơ quan, đơn vị, cơ sở GD&ĐT 


NGUYỄN VĂN HẢI
Trang 20


Năm học: 2015-2016

Trang 21