초록 close

본 연구의 목적은 혼합문항 유형으로 구성된 평가도구에서 발생 가능한 차별기능의 원인을 파악하기 위하여 ‘차별기능문항군(Differential Bundle Functioning: DBF)’ 기법을 적용하는 것이다. 본 연구의 분석 자료는 PISA 2006 읽기 소양 검사를 응시한 한국과 핀란드 자료이며, 차별기능 분석을 위해서는 비모수적 접근 중 공통 로그 승산비 기법을 활용한 L-A LOR 검증(Liu & Agresti, 1996)과 DIF 효과 분산 추정치(Penfield & Algina, 2006) 및 PSIBTEST(Shealy & Stout, 1993)를 사용하였다. 문항 수준의 차별기능과 더불어서 PISA 평가틀의 하위차원인 읽기상황, 지문유형, 인지과정 및 문항유형에 따라 문항군(item bundle)을 구성하고, 전체 검사 및 이들 문항군 수준에서 집단 간 차별기능이 파악되는지를 검증하였다. 연구 결과, 문항수준에서는 약 59%의 DIF가 파악되었고, 전체 검사는 한국과 핀란드 집단 간에 ‘큰’ 수준의 차별기능을 보였다. 한편 DBF 분석 결과에서는 읽기상황, 지문유형 및 문항유형 등이 차별기능의 원인으로 탐색되었다. 마지막으로 본 연구 결과로부터 차별기능문항군 및 검사 분석이 평가도구 개발 및 검토 단계에 주는 유용성 및 시사점을 논의하였다.


The purpose of this study is to demonstrate the applicability of differential bundle or test functioning(DBF or DTF) analyses to understand possible sources of differential functioning. The process is described on the reading literacy test from PISA 2006 that includes 27 mixed format items. Comparisons were made between Korea and Finland. Differential item functioning(DIF) analyses were conducted using L-A LOR tests(Liu & Agresti, 1996), whereas DBF or DTF analyses were conducted using variance-based DTF measures suggested by Penfield and Algina(2006) and PSIBTEST(Shealy & Stout, 1993). Bundles were created by using the sub-dimensions of assessment framework developed for PISA 2006 as well as item formats. About 59% of the items were identified as DIF, while some item bundles for text format or item types exhibited DBF. Implications of the results, as well as suggestions for future research related to test development or validation, are discussed.