テストの結果がどれだけ安定しているかという性質。同じ受験者が別の日に受けても、別の採点者が採点しても、ほぼ同じ結果になるならば信頼性が高い。
確かめ方には、同じテストを時間をおいて2回行う再テスト法、項目を2つに分けて相関を見る折半法、内的整合性を示すクロンバックのα係数などがある。作文やスピーチのように採点者の判断が入るものでは採点者間信頼性が問題になり、ルーブリックの作成と採点者訓練が対策になる。一般に、項目数を増やす・採点基準を明確にする・実施条件をそろえることで信頼性は上がる。
妥当性と混同しないこと。また、信頼性を上げようとして採点しやすい客観問題ばかりにすると妥当性が下がることがあり、両者はしばしば緊張関係に立つ。実施のしやすさ・費用・採点の手間といった実用性も含めて、3つのバランスで判断するのが評価論の基本姿勢である。