ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC

Phạm Thị Thùy Linh

NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)
TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC

LUẬN VĂN THẠC SĨ

Hà Nội – Năm 2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
VIỆN ĐẢM BẢO CHẤT LƢỢNG GIÁO DỤC

Phạm Thị Thùy Linh

NGHIÊN CỨU MỘT SỐ YẾU TỐ GÂY RA LỖI THIÊN LỆCH (BIAS)
TRONG CÂU HỎI THI PISA 2012 – LĨNH VỰC TOÁN HỌC

Chuyên ngành: Đo lƣờng và đánh giá trong giáo dục
Mã số: 60140120

LUẬN VĂN THẠC SĨ

Ngƣời hƣớng dẫn khoa học: TS. Sái Công Hồng

Hà Nội – Năm 2015



Phương pháp phát hiện câu hỏi thiên lệch ............ Error! Bookmark not
defined.
1.3.2.1.

Chỉ số DIF .................................................. Error! Bookmark not defined.

1


1.3.2.2.

Các loại câu hỏi DIF .................................. Error! Bookmark not defined.

1.4. Lý thuyết Ứng đáp câu hỏi ................................. Error! Bookmark not defined.
2.

Tổng quan các tài liệu nghiên cứu ................... Error! Bookmark not defined.

CHƢƠNG 2.PHƢƠNG PHÁP LUẬN NGHIÊN CỨUError! Bookmark not defined.
1. Giới thiệu về Chương trình đánh giá học sinh quốc tế PISA Error! Bookmark
not defined.
1.1. Giới thiệu chung ................................................. Error! Bookmark not defined.
1.2. Mục tiêu của PISA .............................................. Error! Bookmark not defined.
1.3. Chọn mẫu PISA 2012 ......................................... Error! Bookmark not defined.
1.4. Quy trình xây dựng đề thi PISA.......................... Error! Bookmark not defined.
1.5. Khung đánh giá năng lực Toán học của PISA 2012Error! Bookmark not defined.
1.6. Mã hóa (chấm điểm)........................................... Error! Bookmark not defined.
2.

Phần mềm phân tích câu hỏi DIF .................... Error! Bookmark not defined.


2.

Hạn chế và hƣớng nghiên cứu tiếp theo ...... Error! Bookmark not defined.

2


MỞ ĐẦU
1. Lý do chọn đề tài
Hiện nay, nền giáo dục Việt Nam đang thực hiện công cuộc đổi mới căn bản,
toàn diện nhằm đáp ứng yêu cầu của sự nghiệp công nghiệp hoá, hiện đại hóa đất
nước. Chúng ta đang tiến hành đổi mới từ mục tiêu, nội dung, phương pháp tới hình
thức tổ chức, phương tiện giáo dục... Để đảm bảo công cuộc đổi mới giáo dục thành
công, chúng ta cần đẩy mạnh đổi mới kiểm tra, đánh giá. Chính vì nhu cầu như vậy,
ngày 03/11/2011, Bộ GD&ĐT đã ban hành Thông tư số 51/2011/TT-BGDĐT Quy
định về Đánh giá định kỳ quốc gia kết quả học tập của học sinh trong các cơ sở giáo
dục phổ thông. Thông tư đã tạo điều kiện thuận lợi cho các kỳ đánh giá học sinh ở
cả 3 cấp học: Tiểu học, Trung học cơ sở và Trung học phổ thông, tương ứng với các
lớp 5, lớp 9 và lớp 11. Bên cạnh các kỳ đánh giá quốc gia, Việt Nam cũng tích cực
tham gia hội nhập quốc tế thông qua các kỳ đánh giá quốc tế như PISA, PASEC...
Trong đó, đáng chú ý nhất là chương trình đánh giá học sinh quốc tế PISA.
Năm 2010, lãnh đạo Bộ Giáo dục và Đào tạo Việt Nam đã quyết định ký hợp
đồng với OECD (Tổ chức hợp tác và phát triển kinh tế) để Việt Nam tham gia
Chương trình đánh giá học sinh quốc tế (Programme for international student
assessment – gọi tắt là PISA) từ chu kỳ năm 2012. Đây là chương trình đánh giá
mang quy mô toàn cầu với sự tham gia của hơn 70 quốc gia/vùng lãnh thổ, được
tiến hành theo chu kỳ 3 năm 1 lần, mỗi chu kỳ sẽ tập trung đánh giá chuyên sâu một
trong ba lĩnh vực Toán học, Khoa học và Đọc hiểu. Năm 2012, PISA tập trung vào
đánh giá năng lực của học sinh ở lĩnh vực Toán học. Chương trình này xây dựng

của học sinh. Nhưng một đề thi bị lỗi sẽ cho những kết quả sai lệch, nghiêm trọng
hơn có thể làm hỏng cả một kỳ đánh giá. Một đề thi lỗi có thể là một đề thi sai về
kiến thức, có các câu hỏi gây hiểu nhầm cho học sinh, hoặc có thể các câu hỏi chỉ
phù hợp với một nhóm đối tượng nhất định...
Sau kỳ khảo sát PISA 2012 thành công, đã có rất nhiều câu hỏi được đặt ra:
Liệu rằng một bộ đề thi chuẩn quốc tế khi áp dụng tại Việt Nam có mắc các lỗi
thiên lệch hay không? Có yếu tố nào khiến cho câu hỏi thi PISA trở nên thiên lệch
hay không? Nếu có, mức độ thiên lệch của bộ đề thi PISA như thế nào?

4


Với mong muốn giải đáp một phần những câu hỏi trên, tác giả đã chọn đề tài
"Nghiên cứu một số yếu tố gây ra lỗi thiên lệch (Bias) trong câu hỏi thi PISA 2012 lĩnh vực Toán học" làm đề tài luận văn thạc sỹ của mình.
2. Ý nghĩa khoa học và thực tiễn của đề tài
2.1.

Ý nghĩa khoa học
Đề tài nghiên cứu tập trung vào nghiên cứu hệ thống lý thuyết về câu hỏi

thực hiện chức năng khác biệt (differential item functioning – DIF) và quy trình
phân tích phát hiện DIF (điều kiện cần để kết luận câu hỏi thiên lệch). Vì vậy đề tài
nghiên cứu thành công sẽ góp phần vào hệ thống lý luận về những lý thuyết đánh
giá liên quan đến các nguy cơ gây ra lỗi thiên lệch (bias) trong câu hỏi thi.
2.2.

Ý nghĩa thực tiễn
Đề tài cung cấp một hệ thống lý thuyết về các yếu tố ngôn ngữ, vị trí địa lý,

vùng miền, giới tính có thể làm xuất hiện lỗi thiên lệch (bias) trong câu hỏi thi lĩnh

Toán học tại Việt Nam.
 Yếu tố loại hình trường gây ra lỗi thiên lệch trong câu hỏi thi lĩnh vực Toán
học PISA 2012 tại Việt Nam.
6. Khách thể, đối tƣợng nghiên cứu
6.1. Đối tượng nghiên cứu
Các yếu tố có nguy cơ gây ra lỗi thiên lệch trong câu hỏi thi PISA 2012 lĩnh
vực Toán học.
6.2. Khách thể nghiên cứu
Câu hỏi thi PISA lĩnh vực Toán học.
7. Phƣơng pháp nghiên cứu
* Phƣơng pháp nghiên cứu định tính: phƣơng pháp nghiên cứu lý luận
Tác giả tiến hành thu thập tài liệu từ nhiều nguồn khác nhau: bài báo, các đề

6


tài nghiên cứu và các tài liệu khác có liên quan ở trong và ngoài nước. Sau khi thu
thập, phân tích, tổng hợp lý thuyết, tác giả phân loại, hệ thống hóa và khái quát hóa
cơ sở lý thuyết để từ đó xây dựng được cơ sở lý luận cho đề tài.
* Phƣơng pháp phân tích định lƣợng: Tác giả sử dụng các phần mềm SPSS
và CONQUEST để chạy dữ liệu và phân tích các kết quả cần thiết. Cụ thể:
- SPSS: chạy điểm trung bình, chênh lệch điểm trung bình và Independent
Samples T-test cho các cặp dữ liệu
- CONQUEST: chạy DIF cho câu hỏi theo các cặp yếu tố.
8. Cấu trúc luận văn
Chương I. Cơ sở lý luận và tổng quan vấn đề nghiên cứu
Chương II. Phương pháp luận nghiên cứu
Chương III. Kết quả nghiên cứu và kết luận
Kết luận
Tài liệu tham khảo

thuật ngữ quan trọng: Test (Kiểm tra), Measurement (Đo lường), Assessment (Đánh
giá) và Evaluation (Định giá).

8


Ở Việt Nam, thường có sự đánh đồng giữa các thuật ngữ trên.Với nhiều người,
các thuật ngữ này đều là chỉ sự đánh giá. Trên thực tế, mỗi thuật ngữ này đều sử
dụng hình thức test (kiểm tra, bài kiểm tra) nhưng không từ nào đồng nghĩa với
testing (trắc nghiệm) cả, và các bài kiểm tra trong 3 quy trình này có thể khác
nhau...”. Cụ thể:
- Thuật ngữ Test (Kiểm tra): kiểm tra chính là một hoạt động đánh giá. Kiểm
tra là hoạt động đo lường nhằm thu được các kết quả, các nhận xét, phán quyết dựa
vào các thông tin thu được theo công cụ đã chuẩn bị trước với mục đích xác định
xem cái gì đã đạt được, cái gì chưa đạt được, những nguyên nhân….
- Thuật ngữ Measurement (Đo lƣờng): đây là một hoạt động của đánh giá
định lượng. Đo lường (Measurement) là việc gán các con số cho các đặc điểm
(lượng hóa) nhằm đánh giá được cá nhân.
- Thuật ngữ Assessment (Đánh giá): đánh giá (assessment) trong giáo dục là
quá trình mô tả đối tượng thông qua các thông tin thu thập được, bao gồm các loại
thông tin định tính, thông tin định lượng. Đối tượng được đánh giá có thể là học
sinh, giáo viên hoặc hiệu trưởng. Cách thức thu thập thông tin hết sức đa dạng,
không chỉ giới hạn trong việc đo lường (measurement) hay kiểm tra (test).
- Thuật ngữ Evaluation (Định giá): đây chính là quy trình hoàn thiện, bổ
sung bước cuối cùng cho đánh giá (assessement), người đánh giá sẽ đưa ra những
nhận định/quyết định thông qua những đánh giá đã được thực hiện.
Từ khi ra đời đến nay, đánh giá giáo dục đã trải quả rất nhiều xu hướng đánh
giá. Nhưng các chuyên gia đã tóm gọn trong 3 xu hướng chính: Đánh giá để phát
triển học tập hay đánh giá vì sự tiến bộ của người học (assessment for learning),
Đánh giá về kết quả học tập (assessment of learning), Đánh giá là một quá trình

5.

Berk, R.A. (Ed.). (1982) Handbook of methods for detecting test bias.

Baltimore, The Johns Hopkins University Press.
6.

Chappuis, A.& Chappuis, J. (December 2007 - January 2008). The Best

Value

in

Formative

Assessment.

Educational

Leadership.

Informative

Assessment, p14-19.
7.

Chipman, S.F. (1988, April) Word problems: Where test bias creeps, Paper

presented at the meeting of AERA, New Orleans.
8.

Journal of Educational Measurement: Issues and Practices. p253-262.
16. Hambleton, Ronald & Rodgers, Jane (1995). Item bias review. Practical
Assessment, Research & Evaluation,
17. Hambleton, R.K., & Jones, R.W (1985) Comparisons of empirical and
judgemental methods for detecting differential item functioning. Educational
Research Quarterly.
18. Harris, D. (1989). Comparison of 1-, 2-, and 3-paramater IRT models. A
module in NCME Series of Instructional Topics in Educational Measurement.
NCME Journal of Educational Measurement: Issues and Practices, 8(1), p35-41.
19. Herbert J Walberg, Geneva D Haertel (1990),The International Encyclopedia
of Educational Evaluation, Pergamon Press, USA.
20. Jean – Marie de Ketele (1989) L’évaluation de la productivité des institutions
d’éducation, Cahier de la Fondation Universitaire : Université et société, le
rendement de l’enseignement univeristaire.
21. Kubiszyn,

T.&Borich,

G.(2003).

Educational

Testing

and

Measurement: Classroom Application and Practice. John Wiley&Sons,
Inc.Singapore.

11


Technical Report, OEDC.

12


34. Program for International Student Assessment (2008), PISA 2006

Technical Report, OEDC
35. Program for International Student Assessment (2011), PISA 2009
Technical Report, OEDC
36. Program for International Student Assessment (2013), PISA 2012
Results: What students know and can do – Volume I”, OEDC.
37. Scheuneman, J.D. (1982a). A new look at bias in aptitude tests. In P.
Merrifield (Ed.), New directions for testing and measurement: Measuring human
abilities, No. 12. San Francisco: Jossey-Bass.
38. Scheuneman, J.D. (1982b). A posteriori analyses of biased items. In R. A. Berk
(Ed.), Handbook of methods for detecting test bias. Baltimore, The Johns Hopkins
University Press.
39. Scheuneman, J.D. (1984). A theoretical framework for the exploration of
causes and effects of bias in testing.Educational Psychology, 19(4), 219-225.
40. Schmitt, A.P., Curley, W.E., Blaustein, C.A., & Dorans, N.J. (1988, April).
Experimental evaluation of language and interest factors related to differential item
functioning for Hispanic examinees on the SAT-verbal. Paper presented at the
meeting of AERA, New Orleans.
41. Scheuneman, Janice Dowd (1985) Exploration of Causes of Bias in Test Items,
ETS Research Report.
42. T. Anne Cleary (1986), Test Bias: Prediction of grades of negro and white
students in intergrated colleges, Journal of Educational Measurement.
43. https://nces.ed.gov/surveys/pisa/pisa2012/pisa2012highlights_3f.asp.

Lê Đức Ngọc (2001),Tài liệu giảng dạy Đo lường và đánh giá trong giáo dục,

Chương trình đào tạo Thạc sĩ chuyên ngành Đo lường và đánh giá trong giáo dục.
Trung tâm ĐBCLĐT & NCPTGD, ĐHQGHN.
6.

Phạm Xuân Thanh (2007), Tài liệu bài giảng về Lý thuyết đánh giá, Chương

trình đào tạo Thạc sĩ chuyên ngành Đo lường và đánh giá trong giáo dục. Trung
tâm ĐBCLĐT & NCPTGD, ĐHQGHN.
7.

Lâm Quang Thiệp (2008), Trắc Nghiệm và Ứng Dụng, Nxb Khoa Học Kỹ

Thuật, Hà Nội.
8.

Lâm Quang Thiệp (2010), Đo lường trong giáo dục, lý thuyết và ứng dụng,

Nxb Đại học Quốc gia Hà Nội.
9.

Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập,

Trường ĐH Tổng hợp TP. Hồ Chí Minh.

14