テストが測りたい能力をきちんと測れているかという性質。会話力を測りたいのに漢字の書き取りで判定する、読解力を測るつもりが背景知識だけで解けてしまう、といった場合に妥当性が低いと言う。
内容が出題範囲を偏りなく代表しているかを問う内容的妥当性、別の指標（他のテストや実際の成績）とどれだけ一致するかを問う基準関連妥当性、測ろうとしている能力の理論的な構成と合っているかを問う構成概念妥当性などに分けて論じられる。
信頼性との定義の入れ替えが最頻出のひっかけ。妥当性＝何を測っているか／信頼性＝結果が安定しているか。信頼性が高くても妥当性が低いテスト（採点は完全に一致するが会話力とは無関係な多肢選択問題など）は成立する、という関係も問われる。