CBT(computer-based test)는 종이시험을 단순히 컴퓨터로 옮긴 형태로, 모든 응시자가 동일한 개수의, 동일한 문제를 풀게 됩니다. 반면 CAT은 응시자의 실력에 맞춰 문제를 실시간으로 맞춤 제공하는 평가 방식입니다.
CAT은 AI 시험인가요?
네, David J. Weiss 교수의 설명에 따르면 CAT은 인공지능(AI) 시험입니다. Weiss 교수는 "기계가 개인의 응답에 맞춰 적응(adapt)하는 것" 자체가 인공지능의 본질이라고 설명합니다. 의사가 환자의 이전 대답에 따라 다음 질문의 방향을 지능적으로 바꾸며 진단해 나가는 것처럼, 기계가 응시자의 수준을 실시간으로 파악해 최적의 문항을 제시하는 과정이 바로 AI의 작동 방식이라 볼 수 있습니다.
시험 문제가 사람마다 다르면 공정한가요?
CAT은 응시자마다 서로 다른 문항이 제시되지만, 동일한 기준에 따라 능력을 평가하도록 설계되어 있어 공정성이 확보되어 있습니다. 또한 문항반응이론 기반 CAT의 점수는 단순한 정답 개수가 아니라 문항의 특성(변별도, 난이도 등)과 응답 패턴(정답, 오답)을 종합적으로 반영하여 산출됩니다. 따라서 정답을 맞춘 개수가 동일하더라도, 쉬운 문제를 맞춘 사람보다 어려운 문제를 맞춘 사람의 점수가 높게 산출됩니다.
CAT을 꼭 문항반응이론으로 해야 하나요?
응시자의 능력을 정확하고 안정적으로 추정하고, 서로 다른 문항에 응시한 시험 결과를 동일한 기준에서 비교하기 위해서는 문항반응이론(IRT)을 기반으로 하는 것이 국제적으로 가장 널리 인정되는 방법입니다. 국외의 국가 단위 시험과 전문 자격시험, 의료·교육 분야의 대규모 적응형 평가에서는 IRT 기반 CAT이 표준적인 방법으로 활용되고 있으며, 신뢰성과 타당성이 요구되는 실제 평가에서는 IRT 기반 CAT을 사용하는 것이 일반적이며 가장 권장되는 방식입니다.
시험 시간이 얼마나 줄어드나요?
CAT은 응시자의 능력 수준에 맞는 문항만을 선별하여 제시하기 때문에 기존 시험보다 더 적은 문항으로 평가를 진행할 수 있습니다. CAT은 최대 80%까지 문항 수를 줄일 수 있으며, 평균적으로 기존 대비 50%정도의 문항 수를 줄일 수 있습니다.
CAT을 사용하면 문제 수가 줄어드는데 점수를 정확하게 측정할 수 있나요?
CAT은 단순히 문항 수를 줄이는 것이 아닌 응시자의 능력을 가장 효과적으로 측정할 수 있는 문항을 선택하여 출제하는 맞춤형 평가 방식입니다. 그렇기에 문항 수를 최대 50%까지 줄이면서도 응시자 능력 측정의 정확성은 기존 검사와 동일하거나 더 높습니다.
CAT은 어떤 분야에서 활용되고 있나요?
CAT은 사람의 잠재특성(지능, 능력, 숙련도, 흥미, 태도, 성격, 정서 등)을 측정해야 하는 다양한 분야에서 활용되고 있습니다. 대표적으로는 학업성취도, 국가자격시험, 전문가면허시험, 채용시험, 어학평가, 우울검사, 불안검사 등에 CAT이 사용되고 있습니다.
해외에서도 실제로 사용하는 시험 방식인가요?
CAT은 해외에서 실제로 사용되는 시험 방식입니다. 이때 사용되는 CAT은 일부 소수를 제외하고는 문항반응이론(item response theory, IRT) 기반의 CAT이 사용되고 있습니다. 대표적으로 인지검사에서는 미국 간호사 면허시험(NCLEX-RN), 듀오링고(duolingo)의 듀오링고 영어 테스트, 미국회계사(AICPA) 시험에 사용되며, 심리검사 분야에서는 환자의 종합적인 증상을 진단하는 PROMIS(patient-reported outcomes measurement information system)가 대표 사례입니다.
우리 시험에도 CAT을 적용할 수 있나요?
CAT은 대부분의 시험 및 평가에 적용할 수 있습니다. 일반적으로 가장 널리 적용되는 시험은 객관식으로 구성된 시험이며, 단답형이나 서술형 시험에도 적용 가능합니다. 다만, 단답형이나 서술형 시험의 경우 평가 설계 및 CAT 구축 단계에서 추가적인 검토가 필요합니다.
기존 문항을 그대로 사용할 수 있나요?
기존에 보유한 문항도 CAT 환경에서 사용할 수 있으나, 문항반응이론 분석 과정을 거쳐야 합니다. CAT은 문항반응이론을 기반으로 작동하기에 문항반응이론을 통해 문항의 심리측정적 속성인 난이도, 변별도 등을 분석 하는 과정이 필수적입니다. 이러한 과정을 통해 기존 문항은 정량화된 평가 자산으로 전환되며, CAT 시스템 내에서 효과적으로 활용될 수 있습니다.
시험 운영 방식은 어떻게 바뀌나요?
CAT을 도입하면 모든 응시자가 동일한 개수의 동일한 문제를 푸는 방식에서 응시자의 능력 수준에 따라 서로 다른 문항을 푸는 방식으로 시험 운영 방식이 전환됩니다. 더불어 CAT은 컴퓨터를 이용한 시험이기에 검사매체가 종이에서 컴퓨터로 변경됩니다. 그리고 CAT은 종이를 이용한 지필검사와 지필검사를 컴퓨터로 실시하는 컴퓨터기반 시험(computer-based test)에 비해 시험을 상시로 운영하는 데에 장점이 있어 시험을 상시로 운영하는 것도 가능해집니다.
새로 문항을 모두 만들어야 하나요?
반드시 새로운 문항을 모두 개발해야 하는 것은 아닙니다. 기존에 보유하고 있는 문항도 CAT에 활용할 수 있으며, 대부분의 경우 기존 문항을 기반으로 문제은행을 구축합니다. 다만, CAT에서는 각 문항의 난이도와 변별도 등의 특성 정보가 필요하므로, 기존 문항에 대한 문항반응이론 분석 결과가 없다면 분석을 수행해야 합니다.
객관식 시험만 CAT으로 운영할 수 있나요?
객관식 문항이 가장 일반적으로 활용되지만, 객관식만 가능한 것은 아닙니다. 문항반응이론을 적용할 수 있는 문항 유형이라면 선다형뿐 아니라 단답형, 부분점수를 부여하는 문제 등 다양한 문제 형태에도 CAT을 적용할 수 있습니다. 다만, 서술형이나 논술형처럼 응시자가 답안을 제출하는 즉시 자동으로 점수를 채점하기 어려운 문항은 현재의 CAT 운영 방식에서는 적용이 제한될 수 있으며, 별도의 채점 절차와 운영 방식이 필요합니다. 그러나 최근 AI 기술의 발전으로 서술형과 논술형 문제에도 앞으로 CAT 적용이 가능할 것 같습니다.
자격시험, 채용시험, 학교시험에도 사용할 수 있나요?
CAT은 사람의 잠재특성(지능, 능력, 숙련도, 흥미, 태도, 성격, 정서 등)을 측정하는 다양한 평가에 활용 가능하기에 자격시험, 채용시험, 학교시험 모두에 적용할 수 있습니다. 국외에서는 국가 및 민간 자격시험, 채용시험, 학교 및 대학의 학업성취도 평가, 교육기관의 진단평가, 의료 및 전문교육 평가 등 다양한 평가에 사용되고 있습니다.
심리검사나 인성검사에도 적용할 수 있나요?
심리검사와 인성검사에도 CAT을 적용할 수 있습니다. 우울, 불안과 같은 심리척도에 문항반응이론 기반의 적응형 검사가 적용되어 사용되고 있으며, 대표적으로 미국의 PROMIS(patient-reported outcomes measurement information system)가 이에 해당합니다.
현재 운영 중인 시험을 CAT으로 전환할 수 있나요?
기존에 운영 중인 시험도 CAT으로 전환 가능합니다. 기존 시험을 그대로 변경하기보다 기존 시험의 목적, 문제은행과 운영 방식을 분석한 후 단계적으로 CAT을 적용하는 방식을 권장드리며 필요하신 경우 전환을 위한 컨설팅 및 지식서비스를 제공드립니다.
어떤 IRT 모형을 사용하나요? (1PL, 2PL, 3PL)
더캣코리아의 LIVECAT은 현재 이분문항(dichotomous item)에 대한 CAT을 제공하고 있으며, Rasch, 1PL, 2PL, 3PL 모형을 모두 지원합니다.
응시자는 별도의 프로그램을 설치해야 하나요?
응시자는 별도의 프로그램 설치 없이 웹 브라우저에서 시험 응시가 가능합니다. 인터넷 연결이 가능한 곳이라면 PC, 노트북, 태블릿을 통해 시험에 응시할 수 있습니다.
시험 운영자가 직접 시험을 관리할 수 있나요?
시험 운영자가 직접 시험을 관리할 수 있습니다. 뿐만 아니라 문항 등록 및 수정, 문항pool 생성 및 관리, 시험 결과를 모두 관리할 수 있습니다.
CAT 방식의 시험 유형만 지원하나요?
LIVECAT은 CBT, CAT, MST를 모두 지원합니다. CBT 형식을 지원하고 있기에 LIVECAT으로 CBT를 운영하시면서 시험을 CAT으로 전환하실 수 있습니다.
클라우드(SaaS) 방식으로도 사용할 수 있나요?
클라우드 SaaS 방식을 지원하고 있어 별도의 프로그램 설치 없이 웹 브라우저에서 바로 사용하실 수 있습니다. 클라우드 방식의 LIVECAT은 구독형으로 이용하실 수 있습니다.
기존 시스템과 연동할 수 있나요?
네, 연동 가능합니다. 기존에 사용하고 계신 평가 시스템이 있으시다면 CAT 평가를 실시하기 위한 부분만 별도로 연동 가능하며, 이외 필요하신 부분을 말씀해 주시면 기존 시스템에 연동할 수 있도록 서비스를 제공하고 있습니다.
우리 기관 서버에서 운영할 수도 있나요?
네, On-premise 구축 서비스를 제공하고 있어 고객사의 서버에 LIVECAT 플랫폼을 구축하거나 이관하는 것이 가능합니다. 기존에 사용하고 계신 평가 시스템이 있고 CAT 기능만 원하시는 경우 기존 시스템에 CAT 기능을 추가하는 형태로도 지원이 가능합니다.
SaaS vs API vs 구축형 방식 차이는?
LIVECAT은 SaaS(구독형), API, 구축형(On-premise) 3가지 방식으로 제공됩니다. SaaS형은 별도의 시스템 구축 없이 클라우드 기반 CAT 플랫폼을 이용하는 방식입니다. API는 이미 보유하고 있는 평가 시스템이나 LMS가 있는 경우 기존 시스템에 CAT 알고리즘만 연동하여 사용하실 수 있도록 제공하는 서비스입니다. 구축형(On-premise)은 고객 기관의 서버 또는 인프라에 CAT 시스템을 설치 및 구축하는 방식입니다.