우리 시험에도 CAT을 적용할 수 있나요?
CAT은 대부분의 시험 및 평가에 적용할 수 있습니다. 일반적으로 가장 널리 적용되는 시험은 객관식으로 구성된 시험이며, 단답형이나 서술형 시험에도 적용 가능합니다. 다만, 단답형이나 서술형 시험의 경우 평가 설계 및 CAT 구축 단계에서 추가적인 검토가 필요합니다.
기존 문항을 그대로 사용할 수 있나요?
기존에 보유한 문항도 CAT 환경에서 사용할 수 있으나, 문항반응이론 분석 과정을 거쳐야 합니다. CAT은 문항반응이론을 기반으로 작동하기에 문항반응이론을 통해 문항의 심리측정적 속성인 난이도, 변별도 등을 분석 하는 과정이 필수적입니다. 이러한 과정을 통해 기존 문항은 정량화된 평가 자산으로 전환되며, CAT 시스템 내에서 효과적으로 활용될 수 있습니다.
시험 운영 방식은 어떻게 바뀌나요?
CAT을 도입하면 모든 응시자가 동일한 개수의 동일한 문제를 푸는 방식에서 응시자의 능력 수준에 따라 서로 다른 문항을 푸는 방식으로 시험 운영 방식이 전환됩니다. 더불어 CAT은 컴퓨터를 이용한 시험이기에 검사매체가 종이에서 컴퓨터로 변경됩니다. 그리고 CAT은 종이를 이용한 지필검사와 지필검사를 컴퓨터로 실시하는 컴퓨터기반 시험(computer-based test)에 비해 시험을 상시로 운영하는 데에 장점이 있어 시험을 상시로 운영하는 것도 가능해집니다.
새로 문항을 모두 만들어야 하나요?
반드시 새로운 문항을 모두 개발해야 하는 것은 아닙니다. 기존에 보유하고 있는 문항도 CAT에 활용할 수 있으며, 대부분의 경우 기존 문항을 기반으로 문제은행을 구축합니다. 다만, CAT에서는 각 문항의 난이도와 변별도 등의 특성 정보가 필요하므로, 기존 문항에 대한 문항반응이론 분석 결과가 없다면 분석을 수행해야 합니다.
객관식 시험만 CAT으로 운영할 수 있나요?
객관식 문항이 가장 일반적으로 활용되지만, 객관식만 가능한 것은 아닙니다. 문항반응이론을 적용할 수 있는 문항 유형이라면 선다형뿐 아니라 단답형, 부분점수를 부여하는 문제 등 다양한 문제 형태에도 CAT을 적용할 수 있습니다. 다만, 서술형이나 논술형처럼 응시자가 답안을 제출하는 즉시 자동으로 점수를 채점하기 어려운 문항은 현재의 CAT 운영 방식에서는 적용이 제한될 수 있으며, 별도의 채점 절차와 운영 방식이 필요합니다. 그러나 최근 AI 기술의 발전으로 서술형과 논술형 문제에도 앞으로 CAT 적용이 가능할 것 같습니다.
자격시험, 채용시험, 학교시험에도 사용할 수 있나요?
CAT은 사람의 잠재특성(지능, 능력, 숙련도, 흥미, 태도, 성격, 정서 등)을 측정하는 다양한 평가에 활용 가능하기에 자격시험, 채용시험, 학교시험 모두에 적용할 수 있습니다. 국외에서는 국가 및 민간 자격시험, 채용시험, 학교 및 대학의 학업성취도 평가, 교육기관의 진단평가, 의료 및 전문교육 평가 등 다양한 평가에 사용되고 있습니다.
심리검사나 인성검사에도 적용할 수 있나요?
심리검사와 인성검사에도 CAT을 적용할 수 있습니다. 우울, 불안과 같은 심리척도에 문항반응이론 기반의 적응형 검사가 적용되어 사용되고 있으며, 대표적으로 미국의 PROMIS(patient-reported outcomes measurement information system)가 이에 해당합니다.
현재 운영 중인 시험을 CAT으로 전환할 수 있나요?
기존에 운영 중인 시험도 CAT으로 전환 가능합니다. 기존 시험을 그대로 변경하기보다 기존 시험의 목적, 문제은행과 운영 방식을 분석한 후 단계적으로 CAT을 적용하는 방식을 권장드리며 필요하신 경우 전환을 위한 컨설팅 및 지식서비스를 제공드립니다.