CBTでは、IRTと呼ばれる理論を用いることがあります。IRTは試験と受験者を公平に評価するための理論です。ここではIRTの概要とCBTにおけるIRTの必要性を解説しています。
IRTは「Item Response Theory」の略語です。日本語で項目反応理論といいます。簡単に説明すると、試験問題と受験者を公平に評価するための理論といえるでしょう。IRTの特徴は、受験者の能力と試験の問題を切り離して評価できることです。試験の問題や試験を受けた集団に依存せず個々の受験者を評価できます。従来の理論では、受験者の能力と試験の問題を切り離して評価することはできませんでした。
実際の評価では、項目特性曲線などを用いて受験者のスコアを算出します。項目特性曲線は受験者の能力と問題の正答率の関係を示すグラフです。これを活用することで、ある能力の受験者が問題に正答する確率がわかります。項目特性曲線と受験者の解答を組み合わせることで、推定される能力値を算出できます。また、基準となる集団と比較して受験者のレベルを評価することも可能です。
以上の特徴を備えるため、IRTを活用すれば受験者ごとに問題を変更しても公平に評価できます。従来のテストのように、問題が簡単だったため受験者の評価が高くなる、問題が難しかったため受験者の評価が低くなるといったことは基本的にありません。あるレベルの受験者がある問題に正答する確率を導き出せるからです。IRTは、試験の公平性を保つ重要な理論と考えられます。
従来の試験は、合計点数で受験者を評価します。問題の識別力(試験全体と問題の成績の関連性を示す指標)や難易度は基本的に考慮しません。したがって、検定試験などでは、年度により合格率が大きく異なることもあります。問題が簡単な年度は合格率が高く、問題が難しい年度は合格率が低くなってしまうためです。
受験者の能力だけでなく、問題の難易度からも影響を受けるため、従来の理論で受験者の能力を公平に評価することは難しいといえます。IRTを活用すれば、あるレベルの受験者がある問題に正答する確率を導き出せるため、問題の難易度を問わず受験者の能力値を推定できます。例えば、別々の問題で構成されるテストを受けた受験者を比較することも可能です。
CBTは複数の試験日程を用意しているケースが少なくありません。情報漏洩に備えて複数パターンの問題を用意していることが多いでしょう。適切な対策ですが、従来の理論だと受験者を公平に評価できない恐れがあります。公平性を担保するためIRTの導入が必要と考えられます。
IRT(項目反応理論)は、テストの信頼性と有効性を高めるための重要な理論です。この理論を理解することで、テスト設計や結果の解釈がより正確になります。
テストの設計や運用をより効率的に行いたい場合、プロのCBT運用代行会社のサポートを受けることで、IRTを活用した質の高いテストを実現することができます。このサイトでは、信頼できるCBT運用代行会社を厳選して紹介しています。自分に最適なパートナーを見つけましょう。
CBT運用代行会社のうち、2023年2月時点で団体数や取引団体例など実績を確認できた2社を選定しました。国内の受験会場数にもご注目ください。
国内会場数 | 国内360カ所 47都道府県対応 ※2023年2⽉時点 |
---|---|
国内団体実績 | 200団体以上 ※2023年2⽉時点 |
システムの カスタマイズ性 |
〇 内部開発対応 |
取引団体例 | 日本漢字能力検定・日商簿記・秘書検定・銀行業務検定試験・基本情報技術者試験・電気工事士・アマチュア無線技士など |
こんな団体に おすすめ |
全国各地の多くの都市でCBT試験を行いたい、実績ある質の高いサービスを求める団体・企業 |
国内会場数 | 国内約160カ所 47都道府県対応 ※2023年2⽉時点 |
---|---|
国内団体実績 | 約30団体 ※2023年2⽉時点 |
システムの カスタマイズ性 |
- 記載なし |
取引団体例 | 米国認定損害保険士・米国公認管理会計士・EXIN認定試験・ASPPA・ABP・DSST・FINRA・SOA / CIAなど |
こんな団体に おすすめ |
世界へ試験を配信したい、世界進出のノウハウが欲しい団体・企業 |
※選定基準
2023.2.1時点、「CBT 運用代行(計8P)」「CBT試験(計14P)」でGoogle検索し、公式HPが上位表示したCBT運用代行会社8社のうち、国内における団体数・会場数が最多のCBTS、世界における配信数・会場数が最多のプロメトリックを選定。