การเปรียบเทียบการทำหน้าที่ต่างกันของข้อสอบ ด้วยวิธี HGLM วิธี MIMIC และวิธี BAYESIAN

Abstract

การวิจัยครั้งนี้มีวัตถุประสงค์เพื่อ 1) เปรียบเทียบผลการประมาณค่าพารามิเตอร์ความยากของข้อสอบ ( i δ ) พารามิเตอร์ความสามารถของผู้สอบ ( j θ ) สำหรับผู้สอบจำแนกตาม เพศ สถานที่ตั้งทางภูมิศาสตร์ของโรงเรียน ระหว่าง วิธี HGLM วิธี MIMIC และ วิธี BAYESIAN 2) เปรียบเทียบผลการวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบ (DIF) สำหรับ ผู้สอบ จำแนกตาม เพศ สถานที่ตั้งทางภูมิศาสตร์ของโรงเรียน ระหว่างวิธี HGLM วิธี MIMIC และวิธี BAYESIAN 3) ศึกษา ลักษณะของข้อสอบที่เกิดการทำหน้าที่ต่างกันของข้อสอบ (DIF) ที่ได้จากการวิเคราะห์การทำหน้าที่ต่างกัน โดยวิธี HGLM วิธี MIMIC และวิธี BAYESIAN ด้วยการวิเคราะห์ลักษณะและเนื้อหาของคำหรือข้อความที่ใช้ในการเขียนข้อสอบ

ข้อมูลที่ใช้ในการวิเคราะห์ครั้งนี้ เป็นคะแนนการสอบวัดผลสัมฤทธิ์ทางการเรียนเพื่อประเมินคุณภาพการศึกษา ระดับชาติ ของนักเรียนชั้นประถมศึกษาปีที่ 3 ในรายวิชาภาษาไทย คณิตศาสตร์ และวิทยาศาสตร์ ของสำนักทดสอบทาง การศึกษา กระทรวงศึกษาธิการ ปีการศึกษา 2553 ซึ่งได้มาโดยการสุ่มแบบหลายขั้นตอน (Multi-Stage Random Sampling Technique) จำนวน 1,000 คน จำแนกเป็นเพศชายและเพศหญิง ที่อยู่ในเขตกรุงเทพมหานครและปริมณฑล และนอกเขตกรุงเทพมหานครและปริมณฑล การวิเคราะห์ค่าพารามิเตอร์ความยากของข้อสอบ พารามิเตอร์ความสามารถ ของผู้สอบ และการทำหน้าที่ต่างกันของข้อสอบ (DIF) ด้วยวิธี HGLM-2L วิธี MIMIC และวิธี BAYESIAN โดยใช้โปรแกรม สำเร็จรูป 3 โปรแกรม ได้แก่ โปรแกรม HLM โปรแกรม Mplus และโปรแกรม WinBUGS ตามลำดับ เมื่อพบการทำ หน้าที่ต่างกันของข้อสอบ ผู้วิจัยทำการวิเคราะห์เนื้อหา คำ ประโยค หรือข้อความ ที่ใช้ในการเขียนข้อสอบของแต่ละวิชา

ผลการวิจัยพบว่า ผลการวิเคราะห์ค่าพารามิเตอร์ความยากของข้อสอบ ค่าพารามิเตอร์ความสามารถของผู้สอบ และผลการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบ ในวิชาภาษาไทย คณิตศาสตร์ และวิทยาศาสตร์ ด้วยวิธี HGLM-2L วิธี MIMIC และวิธี BAYESIAN พบว่า มีความสัมพันธ์กันในระดับสูงมาก อย่างมีนัยสำคัญทางสถิติที่ระดับ .01 วิธี ตรวจสอบที่พบการทำหน้าที่ต่างกันของข้อสอบมากที่สุด คือ วิธี HGLM-2L ส่วนวิธีที่ตรวจสอบการทำหน้าที่ต่างกันของ ข้อสอบน้อยที่สุด คือ วิธี MIMIC ผลการศึกษาลักษณะของข้อสอบที่ตรวจพบการทำหน้าที่ต่างกันของข้อสอบ (DIF) วิชา ภาษาไทย คณิตศาสตร์ และวิทยาศาสตร์ ลักษณะของข้อสอบที่เกิดการทำหน้าที่ต่างกัน เมื่อจำแนกตามเพศ ส่วนใหญ่ ข้อสอบที่เกิดการทำหน้าที่ต่างกันของข้อสอบ จะมีคำศัพท์ที่เกี่ยวข้องกับเพศนั้น จึงทำให้ข้อสอบเข้าข้างเพศนั้น และอาจ เป็นเพราะความสามารถที่แตกต่างระหว่างเพศชายและเพศหญิงที่มีลักษณะความสามารถ ความถนัด และความสนใจใน เรื่องนั้นๆต่างกัน เมื่อจำแนกตามสถานที่ตั้งทางภูมิศาสตร์ของโรงเรียน ส่วนใหญ่สาเหตุที่ทำให้ข้อสอบเกิดการทำหน้าที่ ต่างกันอาจเป็นเพราะประสบการณ์ ความคุ้นเคยเกี่ยวกับเรื่องนั้น สภาพแวดล้อมและการฝึกปฏิบัติที่แตกต่างกันระหว่าง นักเรียนในเขตกรุงเทพมหานครและปริมณฑลนักเรียนนอกเขตกรุงเทพมหานครและปริมณฑล

A COMPARISON OF DIFFERENTIAL ITEM FUNCTIONING BY HGLM, MIMIC AND BAYESIAN METHODS

This study aimed to: 1) compare the item parameters ( i δ ) and person parameters ( j θ ) of grade three students’ national test scores of Science, Mathematics and Thai Language on gender and locations variables among HGLM, MIMIC and Bayesian approaches; 2) compare the differential item functioning (DIF) of Science, Mathematics and Thai Language test items on gender and locations variables with which estimate by HGLM, MIMIC and Bayesian approaches; and 3) analyze the content of stems and their options of test items which were detected DIF by all of the detection approaches.

The national test scores of grade three students in 2010 academic year were drawn from the Bureau of Testing’s database, Ministry of Education by using the multi-stage random sampling techniques. All one thousand cases of test scores were divided into two groups along gender (male vs female) and location (Bangkok and Metropolitan areas vs Non Bangkok and Metropolitan areas) variables.

The analysis procedures to estimate the item parameters, person parameters and DIF by HGLM- 2L, MIMIC, and BAYESIAN methods were used HLM, Mplus and WinBUGS program software, respectively. All parameter estimates and DIF detection results were compared in terms of congruence and correlation. The meaning of words, purposes of author, structure, grammar, and history were used to analyze test stems and options when met DIF.

The research findings revealed that the difficulty parameters of Thai Language and Science test scores which estimate by HGLM-2L, MIMIC, and BAYESIAN methods were perfectly correlate with .01 statistical significant level while in Mathematics those parameters were high correlation. The correlation among person parameters which estimating by HGLM, MIMIC, and BAYESUAN were very high with .01 statistical significant level in all subject test scores. According to DIF detection, the results of HGLM-2L, MIMIC, and BAYESIAN methods were found DIF in all subjects. The HGLM-2L method was very sensitive to detect DIF and the MIMIC method was hardly to find DIF. The consequences of DIF detection by all methods were high correlation in all subject test scores. Finally, the test items of Science, Mathematics, and Thai Language which found DIF were used familiar words, sentences, situations and experiences of examinees in their stems and options to gender and location variables.