CBT(computer-based test)는 종이시험을 단순히 컴퓨터로 옮긴 형태로, 모든 응시자가 동일한 개수의, 동일한 문제를 풀게 됩니다. 반면 CAT은 응시자의 실력에 맞춰 문제를 실시간으로 맞춤 제공하는 평가 방식입니다.
CAT은 AI 시험인가요?
네, David J. Weiss 교수의 설명에 따르면 CAT은 인공지능(AI) 시험입니다. Weiss 교수는 "기계가 개인의 응답에 맞춰 적응(adapt)하는 것" 자체가 인공지능의 본질이라고 설명합니다. 의사가 환자의 이전 대답에 따라 다음 질문의 방향을 지능적으로 바꾸며 진단해 나가는 것처럼, 기계가 응시자의 수준을 실시간으로 파악해 최적의 문항을 제시하는 과정이 바로 AI의 작동 방식이라 볼 수 있습니다.
시험 문제가 사람마다 다르면 공정한가요?
CAT은 응시자마다 서로 다른 문항이 제시되지만, 동일한 기준에 따라 능력을 평가하도록 설계되어 있어 공정성이 확보되어 있습니다. 또한 문항반응이론 기반 CAT의 점수는 단순한 정답 개수가 아니라 문항의 특성(변별도, 난이도 등)과 응답 패턴(정답, 오답)을 종합적으로 반영하여 산출됩니다. 따라서 정답을 맞춘 개수가 동일하더라도, 쉬운 문제를 맞춘 사람보다 어려운 문제를 맞춘 사람의 점수가 높게 산출됩니다.
CAT을 꼭 문항반응이론으로 해야 하나요?
응시자의 능력을 정확하고 안정적으로 추정하고, 서로 다른 문항에 응시한 시험 결과를 동일한 기준에서 비교하기 위해서는 문항반응이론(IRT)을 기반으로 하는 것이 국제적으로 가장 널리 인정되는 방법입니다. 국외의 국가 단위 시험과 전문 자격시험, 의료·교육 분야의 대규모 적응형 평가에서는 IRT 기반 CAT이 표준적인 방법으로 활용되고 있으며, 신뢰성과 타당성이 요구되는 실제 평가에서는 IRT 기반 CAT을 사용하는 것이 일반적이며 가장 권장되는 방식입니다.
시험 시간이 얼마나 줄어드나요?
CAT은 응시자의 능력 수준에 맞는 문항만을 선별하여 제시하기 때문에 기존 시험보다 더 적은 문항으로 평가를 진행할 수 있습니다. CAT은 최대 80%까지 문항 수를 줄일 수 있으며, 평균적으로 기존 대비 50%정도의 문항 수를 줄일 수 있습니다.
CAT을 사용하면 문제 수가 줄어드는데 점수를 정확하게 측정할 수 있나요?
CAT은 단순히 문항 수를 줄이는 것이 아닌 응시자의 능력을 가장 효과적으로 측정할 수 있는 문항을 선택하여 출제하는 맞춤형 평가 방식입니다. 그렇기에 문항 수를 최대 50%까지 줄이면서도 응시자 능력 측정의 정확성은 기존 검사와 동일하거나 더 높습니다.
CAT은 어떤 분야에서 활용되고 있나요?
CAT은 사람의 잠재특성(지능, 능력, 숙련도, 흥미, 태도, 성격, 정서 등)을 측정해야 하는 다양한 분야에서 활용되고 있습니다. 대표적으로는 학업성취도, 국가자격시험, 전문가면허시험, 채용시험, 어학평가, 우울검사, 불안검사 등에 CAT이 사용되고 있습니다.
해외에서도 실제로 사용하는 시험 방식인가요?
CAT은 해외에서 실제로 사용되는 시험 방식입니다. 이때 사용되는 CAT은 일부 소수를 제외하고는 문항반응이론(item response theory, IRT) 기반의 CAT이 사용되고 있습니다. 대표적으로 인지검사에서는 미국 간호사 면허시험(NCLEX-RN), 듀오링고(duolingo)의 듀오링고 영어 테스트, 미국회계사(AICPA) 시험에 사용되며, 심리검사 분야에서는 환자의 종합적인 증상을 진단하는 PROMIS(patient-reported outcomes measurement information system)가 대표 사례입니다.