PHÂN TÍCH CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN BẰNG PHẦN MỀM QUEST CONQUEST - Pdf 28

PHÂN TÍCH CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN BẰNG PHẦN
MỀM QUEST CONQUEST

I. ĐẶT VẤN ĐỀ
Trắc nghiệm là một phương pháp của khoa học về đo lường trong giáo dục.
Những năm gần đây, trắc nghiệm khách quan (TNKQ) được đưa vào trong các kỳ
thi tốt nghiệp phổ thông và tuyển sinh đại học nên sự quan tâm của các trường học
Đại học, các cơ sở quản lý giáo dục và đội ngũ giáo viên về phương pháp giảng dạy
này ngày một nhiều. Một ưu điểm nổi bật của phương pháp trắc nghiệm là việc sử
dụng các phần mềm để xử lý số liệu của câu hỏi trắc nghiệm (CHTN), đề trắc
nghiệm (ĐTN) đã mang lại hiệu quả cao. Do đó, việc vận dụng phần mềm
Quest/Conquest để phân tích, đánh giá câu hỏi trắc nghiệm, đề trắc nghiệm là rất
cần thiết.
II. NỘI DUNG NGHIÊN CỨU
1. Vận dụng lý thuyết khảo thí cổ điển trong phân tích đề thi
Một trong những ứng dụng của lý thuyết đánh giá cổ điển là phân tích câu hỏi thi
- kiểm tra. Phân tích câu hỏi - thi kiểm tra là một quá trình xem xét chúng một cách
kỹ lưỡng và có phê phán. Phân tích câu hỏi thi - kiểm tra nhằm làm tăng chất lượng
của chúng, loại bỏ những câu hỏi quá tồi, sửa chữa những câu hỏi có thể sửa được
và giữ lại những câu hỏi đáp ứng yêu cầu.
Phân tích câu hỏi thi - kiểm tra có thể thực hiện bằng một trong hai phương
pháp:
Phương pháp chuyên gia (Phương pháp bình phẩm, phê phán) bằng cách đề nghị
một số chuyên gia cho ý kiến nhận xét về những câu hỏi thi - kiểm tra cụ thể theo
một số tiêu chí đề ra. Những người được hỏi có thể là các chuyên gia môn học,
chuyên gia soạn thảo văn bản, thậm chí là một số thí sinh.
Cách tiếp cận này có hai nguyên tắc:
+ Người được hỏi phải là người có khả năng bình phẩm, phê phán các câu hỏi thi
- kiểm tra;
+ các câu hỏi thi - kiểm tra được viết theo một nguyên tắc đã được xác định và
có các tiêu chí để bình phẩm, phê phán.

Dữ liệu này được nhập vào phần mềm SPSS để chuyển sang định dạng phù hợp với
phần mềm Quest/Conquest.
- Chương trình Quest/Conquest xử lý sẽ cho ta các kết quả như mức độ phù hợp
của các câu hỏi với mô hình Rasch, năng lực của thí sinh so với độ khó của câu hỏi,
độ tin cậy của đề thi và các chỉ số đặc trưng cho từng câu hỏi như độ khó, độ phân
biệt, hệ số tương quan giữa câu hỏi thi với toàn bài, độ tin cậy, sai số.
- Sau đây là các bảng mô tả kết quả phân tích 50 câu trắc nghiệm.
3.1. Mức độ phù hợp với mô hình
Khi dữ liệu phù hợp với mô hình Rasch thì trị số kỳ vọng của các bình phương
trung bình (mean square) xấp xỉ bằng 1 và độ lệch chuẩn (SD) xấp xỉ bằng 0.
Bảng 1. Mức độ phù hợp với mô hình Rash
THUE NHA NUOC
Summary of item Estimates
=========================
Mean .00 - chấp nhận
SD 2.43 - quá lớn
SD (adjusted) 2.29 - quá lớn
Reliability of estimate .89 - tin cậy
Fit Statistics
===============
Infit Mean Square Outfit Mean Square
Mean .99 Mean 1.04
SD .10 SD .60
Infit t Outfit t
Mean .26 Mean .22
SD .54 SD .63
13 items with zero scores
3 items with perfect scores
Summary of case Estimates
=========================

+ + + + + + + +
+ + + + +-
2 item 2 . | * .
3 item 3 . * | .
4 item 4 . | * .
5 item 5 . * | .
6 item 6 . *| .
9 item 9 . | * .
10 item 10 . | * .
11 item 11 . * .
13 item 13 . * | .
14 item 14 . * | .
15 item 15 . * | .
16 item 16 . | * .
17 item 17 . | * .
18 item 18 . |* .
19 item 19 . * | .
20 item 20 . | * .
23 item 23 . | * .
26 item 26 . | * .
27 item 27 . * | .
28 item 28 . * | .
29 item 29 . | * .
31 item 31 . * | .
32 item 32 . | * .
33 item 33 . *| .
35 item 35 . | * .
36 item 36 . * | .
37 item 37 . * | .
38 item 38 . * | .

| |
XXXXXXX| |Câu hỏi khó trung
bình
XXXXXXXXXX| |
XXX| |
XXXXXXXXXXXXX| |
0 XXX| |
XXX| |
XXXXXXXXXX| |
XXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXX|10 38 |
XXXXXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXX| |
XXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|
|
XXXXXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXXXXXX|
|
XXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXX| |
XXXXXXXXXX|40 |
XXXXXXXXXX|46 |
XXXXXXXXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|20
|
XXXXXXXXXXXXXXXXX| |
XXXXXXXXXXXXX| |

khoảng (0,25 - 0,75) đối với các test trong lớp học.
- Percent: tỉ lệ phần trăm của một phương án là tỉ lệ giữa số thí sinh chọn phương
án đó so với thí sinh làm bài kiểm tra; Infit MNSQ phải nằm trong khoảng 0,77 -
1,30.
- Beserial: hệ số tương quan point biserial. Cần loại bỏ những câu hỏi có mối
tương quan thấp hoặc dưới 0 sẽ làm tăng độ tin cậy của bài kiểm tra.
- Step Label 1: giữa giá trị 0 và 1 có một bước, thí sinh thực hiện được bước này
khi trả lời đúng câu hỏi.
- Thresholds: ngưỡng để vượt qua, thực chất là độ khó của câu trắc nghiệm.
- Error: sai số trong tính toán.
Bảng 3: Ví dụ chỉ số thống kê của câu hỏi tính toán từ QUEST đối với câu hỏi 1.
Item 1: item 1 Infit MNSQ = .00
Disc = .00

Categories 0 1 2 3 4* 9 missing

Count 0 0 0 0 27 0 0
Percent (%) .0 .0 .0 .0 100.0 .0
Pt-Biserial NA NA NA NA .00 NA
p-value NA NA NA NA .500 NA
Mean Ability NA NA NA NA -1.11 NA NA

Step Labels 1

Thresholds
Error
Kết quả phân tích cho thấy chỉ số MNSQ = 0,00 dưới ngưỡng cho phép, độ phân
biệt (Disc) = 0,00 cũng dưới ngưỡng cho phép, các phương áp gây nhiễu (A, B, C)
không có sinh viên nào chọn, tất cả đều chọn đáp án D (được mã hóa là 4 có gắn
dấu *). Tương tự như vậy là các câu 7, 8, 21, 22, 24, 25, 30, 34, 41, 42, 43, 48, 49,

4. Kết luận
Qua phân tích ứng dụng phần mềm Quest/Conquest trong phân tích đánh giá
đề thi cho thấy đây là một công cụ quan trọng trong việc đánh giá chất lượng đề thi
trắc nghiệm, tiến tới từng bước để xây dựng ngân hàng đề thi. Thông qua công cụ
này giúp giáo viên có thể chẩn đoán thăm dò, đánh giá được năng lực học tập chung
của lớp để có những điều chỉnh phù hợp.
Kết quả phân tích cũng cho thấy đề thi còn dễ so với năng lực chung của sinh
viên, nhiều câu hỏi dễ, các phương án nhiễu không có tác dụng, độ phân biệt thấp
cần phải thay thế bằng các câu hỏi khác (15 câu).
TÀI LIỆU THAM KHẢO
1. Phạm Xuân Thanh (2013), Mô hình Rash và phân tích dữ liệu bằng phần
mềm QUEST, Chương trình đào tạo thạc sỹ đo lường và đánh giá, Hà Nội.
2. Lâm Quang Thiệp (2011), Đo lường trong giáo dục, lý thuyết và ứng dụng,
Nxb Đại học Quốc gia Hà Nội.
3. Nguyễn Bảo Hoàng Thanh (2008), Sử dụng phần mềm Quest để phân tích
câu hỏi trắc nghiệm khách quan, Tạp chí Khoa học và Công nghệ, Đại học Đà
Nẵng. số 2 (25).


Nhờ tải bản gốc

Tài liệu, ebook tham khảo khác

Music ♫

Copyright: Tài liệu đại học © DMCA.com Protection Status