측정/평가 전문가가 개발한 올인원 IRT 기반 CAT 플랫폼
라이브캣

컴퓨터 기반 적응형 검사CAT
LIVECAT
단계적 적응형 검사MST

LIVECAT은 IRT 기반 개별 적응형 검사(Computerized Adaptive Testing, CAT)와 IRT 기반 소검사를 이용한 단계적 적응형 검사(Multistage Adaptive Testing, MST)를
구현하기 위한 국내 독자 기술을 이용한 인공지능 맞춤형 평가 플랫폼입니다.

서동기 대표와 David J. Weiss 교수
(2020년 IACAT 학회, 미네소타대학)

문항반응이론* 기반의 정통 CAT을 제공하는
국내 최초, 국내 유일의 평가 플랫폼

LIVECAT

LIVECAT은 IRT 기반 CAT을 최초로 제안하고 개발한 David J. Weiss 교수의 직속 제자인 서동기 대표가 직접 설계·개발한 정통성과 전문성을 갖춘 CAT 플랫폼입니다.학문적 계보 보기

LIVECAT은 아시아 및 한국 최초로 국제CAT학회(IACAT)에서 인증한 CAT Platform으로 등재되어 있습니다.

* 문항반응이론(Item Response Theory, IRT): 응시자의 응답 반응을 응시자의 잠재능력과 문항 특성(난이도, 변별도)을 통해 확률적으로 구현하는 심리측정학의 대표 이론이다. 응시자 잠재능력과 문항의 난이도를 같은 척도에 위치시키기 때문에 응시자의 잠재능력과 문항의 난이도를 1:1로 비교하여 CAT을 가능하게 하는 이론이다.

컴퓨터 기반 적응형 검사

CAT

CAT 자세히 알아보기 →

CAT이란?

응시자의 답변에 따라 다음 문제의 난이도가 실시간으로 조정되는 맞춤형 평가입니다. 기존 시험 대비 시험의 문항 수를 최대 50% 이상 단축하면서도 평가의 정확성은 그대로 유지하면서 신뢰도는 높은 공정한 평가를 가능하게 합니다.

CAT의 창시자, David J. Weiss 교수

+

David J. Weiss 교수는 IRT 기반 컴퓨터 적응형 검사(CAT)를 최초로 개발한 권위자로, 미네소타 대학교에서 수십 년간 검사개발과 CAT 연구를 진행하고 계십니다.

Why CAT?

+

CAT은 적은 수의 문항으로 높은 측정 정확도를 확보할 수 있어 응시자의 피로도를 줄이고, 개인별 능력 수준에 최적화된 문항을 제공해 보다 공정하고 효율적인 평가를 가능하게 합니다.

LIVECAT

ALL-IN-ONE 검사 시스템

LIVECAT은 검사 준비부터 결과 제공까지 한번에 가능한 종합검사 플랫폼입니다.

Step 1문항 등록
Step 2문항 Pool 생성
Step 3시험 생성
Step 4결과 확인
  • · 신규 문항 등록
  • · 문항은행 구축
  • · 문항 관리 및 변경
  • · 문항 모수 변화 추적
  • · 통상적인 시험지 생성과 동일
  • · 문제은행에서 시험에 사용할 문항들을 선별
  • · 각 시험마다 문항Pool을 생성하여 독립적으로 시험 운영 가능
  • · 시험시간, 종료규칙, 문항노출빈도를 자유롭게 설정 가능
  • · 시험 생성 완료 후 자동으로 생성되는 URL을 응시자에게 배포
  • · 시험 종료 후 응시자에게 즉시 결과 제공 가능
  • · 응시자 점수, 응답 반응, 응답 시간 등 응시자 관련 데이터 다운로드 가능

국내에서는 아직까지 검사개발부터 채점까지 사람이 관리하고 있지만, 미국 등 선진국에서는 이미 모든 검사를 컴퓨터로 자동화하여 시행하고 있습니다.
LIVECAT을 사용하면 실제 시험 관리 절차를 자동적으로 구현할 수 있고 지속적인 문항 및 시험 관리가 가능합니다.

LIVECAT 기능

  • · 문제은행(문항 등록, 수정, 관리) 구축
  • · 검사 시행 및 모니터링
  • · 검사 결과 제공 및 분석
  • · 검사결과 보고서 제공

실시 가능 검사 유형

  • · CAT(computerized adaptive testing)
  • · MST(multistage adaptive testing)
  • · CBT(computer-based test)
  • · 심리검사(성격, 정서, 태도 등)

LIVECAT 특장점

원스톱 서비스

CAT 플랫폼 뿐만 아니라 심리측정 컨설팅 및 지식 서비스를 통합적으로 제공

올인원 검사 시스템

문항 등록부터 평가 실시까지 하나의 플랫폼에서 지속적으로 운영 가능

유연한 적용 방식

SaaS, API, On-premise 등 다양한 방식으로 CAT 알고리즘 제공

국제 학회 공식 등재

아시아 및 국내 최초로 국제 CAT학회(IACAT) 홈페이지에 직접 소개

Dr. Weiss 교수의 직속 제자가 개발

CAT 창시자인 David J. Weiss 교수의 직속 박사 제자가 설계하고 개발한 CAT 및 MST 알고리즘

100% 자체 원천 기술

100% 자체 기술력으로 개발하여 CAT, MST 알고리즘 원천 기술 보유(특허 등록 2건)

LIVECAT 적용분야

배치

수검자에게 적절한 위치를 배정하는 것이 목적인 검사

  • 영어배치검사
  • 부서배치
  • 승진평가
선발·채용

기준에 따라 수검자를 선별 및 선발하는 것이 목적인 검사

  • 적성검사, 인성검사
  • GRE, SAT
  • 신입사원 채용
자격검증

자격요건을 갖췄는지 평가하는 것이 목적인 검사

  • 운전면허검사
  • 간호사/의사 자격검사
  • 임상심리사 자격검사
진단

어떤 증상을 정의할 수 있는 특성의 유무를 살펴봄으로써 학습장면 또는 일상장면에서 문제가 있는지를 결정하는 검사

  • 우울검사
  • 정신건강검사(PROMIS)
  • 중독검사
학습

맞춤형 검사를 통한 즉각적 피드백 제공으로 학습동기 유발

  • 영어시험
  • 수학시험
  • 한국어시험
분류

수검자들을 어떤 특성에 따라 분류하는 것이 목적인 검사

  • 학습유형검사
  • 성격검사
  • 태도검사

LIVECAT 적용절차

SaaS 서비스 API 서비스 On-premise 서비스
01

서비스 상담 및
문의

02

계정 개설

03

서비스 사용

01

서비스 상담 및
문의

02

API 계정 생성 및
인증키 발급

03

연동 개발 &
테스트

04

API 운영

01

서비스 상담 및
문의

02

요구사항 분석

03

구축

04

테스트 및
최적화

05

시스템 운영

Feasibility of applying computerized adaptive testing to the Clinical Medical Science Comprehensive Examination in Korea: a psychometric study

Jeongwook Choi, Sung-Soo Jung, Eun Kwang Choi, Kyung Sik Kim, Dong Gi Seo

대학생 기초학력 진단을 위한 CAT 기반 진단체계 개발

한우진, 최정욱, 서동기

컴퓨터 기반 맞춤형 검사의 구현을 위한 웹 기반 플랫폼(LIVECAT)의 정확성 및 효율성 검증

김도경, 서동기

Introduction to the LIVECAT web-based computerized adaptive testing platform

Dong Gi Seo, Jeongwook Choi

자주 묻는 질문

자주 문의하시는 내용을 모아두었습니다.
찾으시는 내용이 없다면 문의하기를 통해 문의해주세요.

문의하기

기존 CBT와 무엇이 다른가요?

+
CBT(computer-based test)는 종이시험을 단순히 컴퓨터로 옮긴 형태로, 모든 응시자가 동일한 개수의, 동일한 문제를 풀게 됩니다. 반면 CAT은 응시자의 실력에 맞춰 문제를 실시간으로 맞춤 제공하는 평가 방식입니다.

CAT은 AI 시험인가요?

+
네, David J. Weiss 교수의 설명에 따르면 CAT은 인공지능(AI) 시험입니다. Weiss 교수는 "기계가 개인의 응답에 맞춰 적응(adapt)하는 것" 자체가 인공지능의 본질이라고 설명합니다.
의사가 환자의 이전 대답에 따라 다음 질문의 방향을 지능적으로 바꾸며 진단해 나가는 것처럼, 기계가 응시자의 수준을 실시간으로 파악해 최적의 문항을 제시하는 과정이 바로 AI의 작동 방식이라 볼 수 있습니다.

시험 문제가 사람마다 다르면 공정한가요?

+
CAT은 응시자마다 서로 다른 문항이 제시되지만, 동일한 기준에 따라 능력을 평가하도록 설계되어 있어 공정성이 확보되어 있습니다. 또한 문항반응이론 기반 CAT의 점수는 단순한 정답 개수가 아니라 문항의 특성(변별도, 난이도 등)과 응답 패턴(정답, 오답)을 종합적으로 반영하여 산출됩니다. 따라서 정답을 맞춘 개수가 동일하더라도, 쉬운 문제를 맞춘 사람보다 어려운 문제를 맞춘 사람의 점수가 높게 산출됩니다.

우리 시험에도 CAT을 적용할 수 있나요?

+
CAT은 대부분의 시험 및 평가에 적용할 수 있습니다. 일반적으로 가장 널리 적용되는 시험은 객관식으로 구성된 시험이며, 단답형이나 서술형 시험에도 적용 가능합니다. 다만, 단답형이나 서술형 시험의 경우 평가 설계 및 CAT 구축 단계에서 추가적인 검토가 필요합니다.

기존 문항을 그대로 사용할 수 있나요?

+
기존에 보유한 문항도 CAT 환경에서 사용할 수 있으나, 문항반응이론 분석 과정을 거쳐야 합니다. CAT은 문항반응이론을 기반으로 작동하기에 문항반응이론을 통해 문항의 심리측정적 속성인 난이도, 변별도 등을 분석하는 과정이 필수적입니다. 이러한 과정을 통해 기존 문항은 정량화된 평가 자산으로 전환되며, CAT 시스템 내에서 효과적으로 활용될 수 있습니다.

CAT을 꼭 문항반응이론으로 해야 하나요?

+
응시자의 능력을 정확하고 안정적으로 추정하고, 서로 다른 문항에 응시한 시험 결과를 동일한 기준에서 비교하기 위해서는 문항반응이론(IRT)을 기반으로 하는 것이 국제적으로 가장 널리 인정되는 방법입니다. 국외의 국가 단위 시험과 전문 자격시험, 의료·교육 분야의 대규모 적응형 평가에서는 IRT 기반 CAT이 표준적인 방법으로 활용되고 있으며, 신뢰성과 타당성이 요구되는 실제 평가에서는 IRT 기반 CAT을 사용하는 것이 일반적이며 가장 권장되는 방식입니다.

LIVECAT 상품 요금

구분 Pricing for Researchers Pricing for Enterprise
학위논문 연구논문
(학술지 게재 목적)
Basic Standard Advanced Expert Master
관리자 계정 수 1135제한 없음제한 없음제한 없음
등록 가능한 조직 수 12010203050제한 없음
조직 구성원 등록 제한 3006000최대 1만명최대 3만명최대 5만명제한 없음제한 없음
등록 가능한 문항 수 객관식, 설문지 2005003008001500제한 없음제한 없음
최대 구성 가능한 문항Pool 개수 3105102050제한 없음
최대 동시 운영 가능한 시험 수 1535815제한 없음
컴퓨터 기반 검사(CBT) 지원
컴퓨터 기반 적응형 검사(CAT) 지원지원 제한적 지원(Rasch model / MLE method) 제한적 지원(Rasch model / MLE method) 제한적 지원(Rasch model / MLE method) 지원지원
문항분석 및 관리 미지원미지원미지원미지원상반기, 하반기매달 1회매달 1회
선택형 유료 서비스 추가 가능 여부 불가능불가능불가능가능가능가능가능
검사 결과 다운로드 가능
맞춤형 결과 보고서(심리검사) 미지원미지원미지원미지원1회 지원3회 지원5회 지원
사용 지원 미지원이메일 상담이메일 상담이메일 상담이메일 상담이메일 및 전화 상담이메일 및 전화 상담
기간 제한 최초 test 활성화 일자를 기준으로
30일 / 12개월
결제 후 계정 유효기간에 따름
계정 유효기간 만료 후
데이터 보존 기간
Monthly 6개월 3년 3개월6개월6개월 3년 5년
Annual 1년1년3년
요금
(단위: 만원 / VAT별도)
Monthly Free 요금 별도 협의
Annual

LIVECAT 선택형 유료 서비스

1

문항 등록 서비스

구분 등록 비용
고정비용100,000원
문자로만 구성된 문항3,000원 (개)
이미지, 표, 수식 중 하나를 포함한 문항4,000원 (개)
이미지, 표, 수식 중 둘 이상을 포함한 문항5,000원 (개)
하나의 지문을 공유하는 여러 문항이 함께 제공되는 문항 중 문자로만 구성된 문항지문 3,500원 (개) + 문항 3,000원 (개)
하나의 지문을 공유하는 여러 문항이 함께 제공되는 문항 중 문자 외의 것을 포함하는 문항지문 4,500원 (개) + 문항 3,500원 (개)
  • 문항 오탈자 및 오류 검수는 하지 않으니 검수 후 자료 전달 요망
  • 단시간 문항등록 요청의 경우 추가 비용 발생함.
  • VAT 별도
2

문항 분석 서비스

구분 기본(회당) IRT 모수 추정(회당)
~ 50문항 구간별 비용 별도 협의
~ 100문항
~ 150문항
~ 200문항
200문항 이상 sales@thecatkorea.com 으로 문의해 주시기 바랍니다.
  • 단, 기존에 출제된 기록이 있는 문항을 보유하고 있어야 하며 가능 여부는 상담을 통해 결정됨.
  • IRT 문항 모수 추정은 문항 모수만 분석하여 제공됨.
  • VAT 별도
3

문항은행 구축 및 유지관리 서비스

sales@thecatkorea.com 으로 문의해 주시기 바랍니다.