テストが測りたい能力をきちんと測れているかという性質。会話力を測りたいのに漢字の書き取りで判定する、読解力を測るつもりが背景知識だけで解けてしまう、といった場合に妥当性が低いと言う。
内容が出題範囲を偏りなく代表しているかを問う内容的妥当性、別の指標(他のテストや実際の成績)とどれだけ一致するかを問う基準関連妥当性、測ろうとしている能力の理論的な構成と合っているかを問う構成概念妥当性などに分けて論じられる。
信頼性との定義の入れ替えに注意。妥当性=何を測っているか/信頼性=結果が安定しているか。信頼性が高くても妥当性が低いテスト(採点は完全に一致するが会話力とは無関係な多肢選択問題など)は成立する、という関係も問われる。
「レストランで注文できる」ことを目標にしたコースの最後に、メニューの語彙を漢字で書かせるテストを行ったとする。漢字が書けても注文できるとは限らず、注文できても漢字が書けないこともある。このテストは目標とする力を測れておらず、妥当性が低い。注文の場面を設定したロールプレイのほうが、目標に沿った測り方になる。
読解テストで、本文を読まなくても常識だけで正解を選べる設問が多い場合も、妥当性が問題になる。測っているのが読解力ではなく、背景知識や推測の力になってしまうからである。作問の段階で、本文を読まずに解けないかを第三者に試してもらうと、こうした設問を見つけやすい。
読んだ用語を1冊で引き直す・体系で押さえ直すなら。