Link tải luận văn miễn phí cho ae Kết nối
Tổng quan về thi trắc nghiệm, tình hình ứng dụng cách thi trắc nghiệm trên thế giới và tại Việt Nam. Trình bày một số lý thuyết trắc nghiệm: lý thuyết trắc nghiệm cổ điển, lý thuyết ứng đáp câu hỏi, lý thuyết ứng đáp câu hỏi nhiều chiều. Mô tả một số dạng câu hỏi trắc nghiệm thường gặp; đặc tả QTI - một mô tả về phương diện kỹ thuật cho câu hỏi và bài trắc nghiệm. Đề xuất quy trình xây dựng ngân hàng câu hỏi trắc nghiệm cho nội dung về kỹ năng công nghệ thông tin. Ứng dụng lý thuyết IRT trong hệ thống trắc nghiệm của Viện Công nghệ Thông tin - Đại học Quốc gia Hà Nội
MỞ ĐẦU ..........................................................................................................................1
CHƢƠNG 1 TỔNG QUAN VỀ TRẮC NGHIỆM.......................................................6
1.1. Trắc nghiệm và phân loại trắc nghiệm.................................................6
1.1.1. Trắc nghiệm (Test) là gì?..............................................................6
1.1.2. Phân loại trắc nghiệm ...................................................................7
1.1.3. So sánh giữa trắc nghiệm khách quan và tự luận........................10
1.2. Trắc nghiệm trực tuyến ......................................................................14
1.3. Tình hình phát triển và ứng dụng trắc nghiệm...................................17
1.3.1. Tình hình phát triển và ứng dụng trắc nghiệm trên thế giới .......17
1.3.2. Tình hình phát triển và ứng dụng trắc nghiệm ở Việt Nam........18
CHƢƠNG 2 LÝ THUYẾT TRẮC NGHIỆM ...........................................................22
2.1. Nhắc lại một số khái niệm trong xác suất thống kê ...........................23
2.2. Lý thuyết trắc nghiệm cổ điển (Classical Test Theory) .....................25
2.2.1. Xác định tham số của câu hỏi, thuộc tính của bài trắc nghiệm ..26
2.2.2. Ưu điểm của CTT .......................................................................32
2.2.3. Nhược điểm của CTT .................................................................32
2.3. Lý thuyết ứng đáp câu hỏi (Item Response Theory)..........................33
2.3.1. Các tiên đề...................................................................................33
2.3.2. Đường cong đặc trưng của câu hỏi .............................................34
2.3.3. Ước lượng các tham số của câu hỏi ............................................39
2.3.4. Ước lượng năng lực thí sinh .......................................................46
2.3.5. Ước lượng đồng thời các tham số câu hỏi và năng lực thí sinh .53
2.3.6. Điểm thực của bài trắc nghiệm ...................................................58
2.3.7. Ưu, nhược điểm của IRT ............................................................60
2.4. Lý thuyết ứng đáp câu hỏi nhiều chiều ..............................................64
CHƢƠNG 3 NGÂN HÀNG CÂU HỎI ......................................................................66
3.1. Một số dạng câu hỏi trắc nghiệm .......................................................66
3.2. Đặc tả QTI cho câu hỏi, bài trắc nghiệm ...........................................70
3.2.1. Giới thiệu chung về đặc tả QTI...................................................70
3.2.2. Các tài liệu trong đặc tả QTI.......................................................71
3.2.3. Các đối tượng cơ bản nhất trong QTI ........................................72
3.2.4. Ví dụ minh hoạ biểu diễn câu hỏi theo đặc tả QTI.....................74
3.3. Quy trình xây dựng ngân hàng câu hỏi ..............................................78
3.3.1. Xác định các đặc điểm năng lực mà câu hỏi sẽ đo .....................78
3.3.2. Viết câu hỏi .................................................................................79
3.3.3. Xem xét lại câu hỏi đã viết (review)...........................................81
3.3.4. Thử nghiệm (pilot test) ...............................................................82
CHƢƠNG 4 ỨNG DỤNG LÝ THUYẾT IRT TRONG HỆ THỐNG TRẮC
NGHIỆM CỦA VIỆN CNTT – ĐHQGHN.................................................................84
4.1. Hệ thống trắc nghiệm của Viện CNTT ..................................................84
4.2. Thử nghiệm ước lượng các tham số câu hỏi và năng lực thí sinh..........86
KẾT LUẬN....................................................................................................................94
TÀI LIỆU THAM KHẢO ............................................................................................96
PHỤ LỤC.......................................................................................................................99
MỞ ĐẦU
Trong những năm gần đây trắc nghiệm trực tuyến (Online Testing hay
Internet Based Testing - iBT) được đặc biệt quan tâm bởi các ưu điểm nổi bật của
nó như: dễ dàng sinh bài thi theo yêu cầu; có thể triển khai kỳ thi trên diện rộng;
tích hợp với các hệ thống đào tạo từ xa e-Learning; không phụ thuộc thời gian,
địa điểm tổ chức kỳ thi; ... Hầu hết các tổ chức sát hạch nổi tiếng trên thế giới
đều chuyển sang cách trắc nghiệm trực tuyến, hai ví dụ điển hình là: tổ
chức Educational Testing Service (ETS) - http://www.ets.org/ - một đơn vị
chuyên tổ chức các kỳ thi sát hạch cấp chứng chỉ TOEFL, TOEIC, GRE,…- đã
chuyển kỳ thi TOEFL từ trắc nghiệm trên giấy sang iBT; hay tổ chức
International Computer Driving Licence Asia Pacific (ICDLAP) -
http://www.icdlap.com/ - đơn vị tổ chức các kỳ thi sát hạch kỹ năng Công nghệ
Thông tin cũng chuyển sang hình thức sát hạch iBT. Cùng với sự phát triển của
cách đào tạo qua Web (Web Based Training), trắc nghiệm trực tuyến sẽ
ngày càng được quan tâm và phát triển.
Trắc nghiệm trên máy tính nói chung và trắc nghiệm trực tuyến nói riêng
thường gồm hai bộ phận quan trọng là: ngân hàng câu hỏi và phần mềm trắc
nghiệm. Ngân hàng câu hỏi được xem là phần nội dung (content) của phần mềm
trắc nghiệm. Trong trắc nghiệm trực tuyến, tất cả các câu hỏi trắc nghiệm thuộc
một môn học hay một chủ đề nào đó được tập trung lại thành một ngân hàng câu
hỏi đặt ở phía máy chủ; phần mềm trắc nghiệm làm nhiệm vụ tổ chức câu hỏi
được lấy ra từ ngân hàng thành bài thi và phân phối đến thí sinh thông qua trình
duyệt Web, đồng thời thực hiện phân tích các phương án trả lời của thí sinh và
cuối đưa ra kết quả đánh giá năng lực thí sinh. Việc đánh giá năng lực thí sinh
(qua việc làm bài thi trắc nghiệm) phụ thuộc vào một số yếu tố, trong đó đặc biệt
chú ý đến: (1) ngân hàng câu hỏi trắc nghiệm có chất lượng và phù hợp mục tiêu
trắc nghiệm; (2) cách đánh giá năng lực thí sinh khách quan và có độ
chính xác cao.
(1) Ngân hàng câu hỏi trắc nghiệm: Cho dù triển khai trắc nghiệm theo phương
thức nào thì câu hỏi luôn thành phần cơ bản trong mỗi bài thi trắc nghiệm.
Chất lượng của các câu hỏi được xem xét theo một số tiêu chí, chẳng hạn:
mục đích thiết kế ra câu hỏi; nội dung câu hỏi; các tham số đặc trưng cơ bản
của câu hỏi như độ khó, độ phân biệt, độ phỏng đoán (xem giải thích ý
nghĩa các tham số này trong Chương 2)... Để có được một ngân hàng câu
hỏi trắc nghiệm có chất lượng cần thực hiện qua nhiều công đoạn khác
nhau: từ bước lập kế hoạch; viết câu hỏi;... đến bước đánh giá câu hỏi. Mỗi
công đoạn đều có những yêu cầu riêng. Để tổng hợp lại các công đoạn thực
hiện trong quá trình xây dựng ngân hàng câu hỏi đồng thời giúp nâng cao
chất lượng câu hỏi trắc nghiệm luận văn đề xuất ra một quy trình xây dựng
ngân hàng câu hỏi trắc nghiệm được trình bày trong Chương 3 của Luận
văn.
Trong trắc nghiệm trực tuyến, việc tổ chức câu hỏi trắc nghiệm thành ngân
hàng ngoài ý nghĩa dễ dàng sinh ra các bài thi ngẫu nhiên từ các câu hỏi có
trong ngân hàng, còn có một ý nghĩa khác đó là: dễ dàng sử dụng lại hoặc
chia sẻ các câu hỏi có trong ngân hàng với các hệ thống trắc nghiệm trực
tuyến khác. Cũng vì lý do này mà IMS Global đưa ra một đặc tả có tên IMS
QTI specification – Question and Test Interoperability (tạm dịch là: đặc tả
về tính khả thi tương tác giữa câu hỏi và bài trắc nghiệm) cho các câu hỏi
và bài trắc nghiệm. Đặc tả này cũng được giới thiệu ngắn gọn trong Mục 3.2
của Luận văn.
(2) cách đánh giá năng lực thí sinh:
Thuật ngữ năng lực được hiểu như sau: Khi xét một khối kiến thức cụ thể
(môn học, lĩnh vực...), mỗi thí sinh luôn sở hữu một lượng kiến thức nào đó,
không phụ thuộc vào bài trắc nghiệm. Mục tiêu của bài trắc nghiệm được tổ
chức ra là để đo “lượng kiến thức” mà thí sinh này sở hữu là bao nhiêu, từ
đó định vị các thí sinh trên một thang đo. Thuật ngữ “năng lực” được sử
dụng với hàm ý nói đến “lượng kiến thức” mà thí sinh sở hữu.
Sau khi đã có được ngân hàng câu hỏi trắc nghiệm đã đánh giá được chất
lượng (đã ước lượng được các tham số độ khó, độ phân biệt, độ phỏng đoán
của các câu hỏi), phần mềm trắc nghiệm thực hiện chọn ngẫu nhiên (theo
một tiêu chí nào đó) các câu hỏi trong ngân hàng và tổ chức thành bài thi
trắc nghiệm. Từ các phương án trả lời mỗi câu hỏi trắc nghiệm của thí sinh
trong bài thi, phần mềm trắc nghiệm thực hiện việc xác định năng lực thí
sinh thông qua một cách đánh giá dựa trên một lý thuyết trắc
nghiệm đã chọn.
Việc đánh giá các câu hỏi và năng lực thí sinh có liên quan mật thiết với
nhau và được thực hiện dựa trên cơ sở là lý thuyết trắc nghiệm. Cho đến nay, có
hai lý thuyết trắc nghiệm chính giúp thực hiện điều này, đó là: lý thuyết cổ điển
(Classical Test Theory - CTT) và lý thuyết ứng đáp câu hỏi (Item Response
Theory - IRT). IRT được ra đời sau CTT và đã khắc phục được hai nhược điểm
lớn của CTT: (i) việc xác định các tham số đặc trưng của câu hỏi không bị phụ
thuộc vào nhóm các thí sinh trong mẫu thử nghiệm; (ii) năng lực của thí sinh
không bị phụ thuộc vào bộ câu hỏi trắc nghiệm dùng để xác định năng lực.
Trong IRT, mối quan hệ giữa năng lực thí sinh và các tham số đặc trưng cơ
bản của câu hỏi trắc nghiệm được thể hiện thông qua một hàm số. Nếu biết trước
các tham số của câu hỏi có thể ước lượng được năng lực thí sinh; ngược lại, nếu
biết trước năng lực của thí sinh có thể ước lượng được các tham số của các câu
hỏi. Nhưng tại thời điểm ban đầu, khi mới xây dựng được các câu hỏi thì các
tham số của các câu hỏi này là chưa biết trước được; đồng thời năng lực của các
thí sinh lại là đại lượng đang cần đo thông qua việc thực hiện bài thi trắc nghiệm.
Sử dụng IRT giúp giải quyết được vấn đề này. Nét độc đáo của IRT là nhờ áp
dụng các thuật toán ước lượng trong thống kê với tập mẫu lớn mà có thể ước
lượng đồng thời tham số thời năng lực thí sinh và các tham số của câu hỏi với
một độ chính xác nào đó. Nếu trường hợp các tham số của các câu hỏi đã ước
lượng được từ trước đó, lúc này có thể dễ dàng ước lượng được năng lực thí sinh
nhờ thuật toán “Ước lượng năng lực thí sinh” được trình bày trong Mục 2.3.4.
Việc ứng dụng lý thuyết trắc nghiệm, đặc biệt là ứng dụng IRT trong phân
tích câu hỏi và năng lực thí sinh là yếu tố then chốt nhằm: (a) phân tích các tham
số đặc trưng của câu hỏi đồng thời tìm ra những câu hỏi kém chất lượng trong
quá trình thử nghiệm; (b) giúp đem lại kết quả trắc nghiệm mang tính khách quan
và có độ chính xác cao.
Ở Việt Nam, việc áp dụng một lý thuyết trắc nghiệm vào đánh giá kết quả
trắc nghiệp chưa thực sự được quan tâm, phần lớn các hệ thống trắc nghiệm mới
chỉ dừng lại ở mức tính ra điểm thô (điểm thô được tính bằng số câu trả lời đúng
nhân thêm một hệ số nào đó cho mỗi câu). Năm 2005, GS. Lâm Quang Thiệp đã
có bài viết “Việt Nam cần áp dụng một khoa học đo lường trong giáo dục” trên
website www.vnn.vn [17]. Gần đây trên diễn đàn giáo dục của Bộ Giáo dục
www.edu.net có một vài bài ngắn gọn nói về vấn đề này, nhưng cho đến nay mới
chỉ dừng lại ở mức giới thiệu hết sức đơn giản. Chính vì vậy, việc tìm hiểu và
ứng dụng IRT trong hệ thống trắc nghiệm trực tuyến cũng là một vấn đề được
giải quyết trong luận văn.
Luận văn tập trung vào việc trình bày lý thuyết ứng đáp câu hỏi (IRT) và
ứng dụng của lý thuyết này trong việc phân tích câu hỏi và năng lực thí sinh
thông qua kết quả làm bài thi trên hệ thống trắc nghiệm trực tuyến của Viện
Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Luận văn cũng đề xuất ra một
quy trình xây dựng ngân hàng câu hỏi trắc nghiệm áp dụng cho một số môn học
chuyên ngành Công nghệ Thông tin nói chung và trước mắt áp dụng trong xây
dựng ngân hàng câu hỏi sát hạch Kỹ năng Công nghệ Thông tin triển khai tại
Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội. Trong quá trình xây dựng
ngân hàng câu hỏi trắc nghiệm dùng trong hệ thống trắc nghiệm trực tuyến, luận
văn đã tìm hiểu sơ bộ về đặc tả QTI – Question and Test Interoperability – một
đặc tả được đưa ra bởi tổ chức IMS Global và là đặc tả phổ biến được dùng trong
các hệ thống trắc nghiệm trực tuyến. Cuối cùng là phần ứng dụng lý thuyết ứng
đáp câu hỏi vào phân tích bộ câu hỏi trắc nghiệm và năng lực thí sinh, đồng thời
luận văn đưa ra một số kết luận và hướng phát triển trong thời gian tới.
Luận văn được chia thành 4 chương với các nội dung sau:
Chƣơng 1: Tổng quan về thi trắc nghiệm
Giới thiệu về tình hình phát triển thi trắc nghiệm cùng với những ưu,
nhược điểm của nó; giới thiệu về một số cách thi trắc nghiệm trên máy
tính đặc biệt là thi trắc nghiệm trực tuyến; tình hình ứng dụng của cách
thi trắc nghiệm trên thế giới và tại Việt Nam.
Chƣơng 2: Lý thuyết trắc nghiệm
Chương này trình bày về một số lý thuyết trắc nghiệm: lý thuyết trắc
nghiệm cổ điển (Classical Test Theory); lý thuyết ứng đáp câu hỏi (Item
Response Theory - IRT); lý thuyết ứng đáp câu hỏi nhiều chiều
(Multidimensional Item Response Theory – MIRT), trong đó, chủ yếu tập trung
vào lý thuyết ứng đáp câu hỏi với các thuật toán ước lượng các tham số câu hỏi,
năng lực thí sinh.
Chƣơng 3: Ngân hàng câu hỏi
Mô tả một số dạng câu hỏi trắc nghiệm thường gặp; đặc tả QTI (Question
& Test Interoperability) (tạm dịch: đặc tả về tính khả thi tương tác của câu hỏi
và bài trắc nghiệm) – là một mô tả về phương diện kỹ thuật cho câu hỏi và bài
trắc nghiệm. Bên cạnh đó trong chương này còn đề xuất về một Quy trình xây
dựng ngân hàng câu hỏi trắc nghiệm cho nội dung về kỹ năng Công nghệ Thông
tin. Quy trình này đã được Viện Công nghệ Thông tin áp dụng cho quá trình xây
dựng ngân hàng câu hỏi trắc nghiệm Kỹ năng Công nghệ Thông tin cho Đề án
112.
Chƣơng 4: Ứng dụng lý thuyết IRT trong hệ thống trắc nghiệm của Viện
Công nghệ Thông tin
Giới thiệu một số chức năng của hệ thống trắc nghiệm của Viện Công
nghệ Thông tin đồng thời đưa ra kết quả thử nghiệm việc ứng dụng lý thuyết ứng
đáp câu hỏi (IRT) (đã trình bày trong Chương 3) vào phân tích câu hỏi và năng
lực thí sinh dựa trên kết quả làm bài thi trắc nghiệm môn Tin học Văn phòng của
315 thí sinh thuộc hệ đào tạo Kỹ thuật viên thuộc Trung tâm Tin học PT – Viện
Công nghệ Thông tin – Đại học Quốc gia Hà Nội.
Phần kết luận đưa ra tổng kết các kết quả luận văn đã làm được và một số hướng
nghiên cứu tiếp theo của luận văn.
X84X8VyfOuPFu53
