Bu araştırmada, genellenebilirlik kuramında farklı desenler kullanılarak yapılan güvenirlik sınamasıyla, yüzey (facet) sayısı değişiminin güvenirliği nasıl etkilediği incelenmiştir. Araştırma verileri 2011- 2012 Bahar döneminde Kütahya ilinde bir ortaokulda eğitim gören 132 6-7-8. sınıf öğrencisinin rutin olmayan problem çözümüne yönelik sergiledikleri performansların dört puanlayıcı tarafından, göreve özgü analitik ve bütünsel dereceli puanlama anahtarı kullanarak puanlanmasından elde edilmiştir. Araştırmada, bireyin ölçme objesi; görev, puanlayıcı (b:birey, görev:g, p:puanlayıcı) ve dereceli puanlama anahtarı (a:anahtar) çeşidinin değişkenlik kaynağı olarak alındığı bxgxp ve bxgxpxa tümüyle çapraz desenleri kullanılmıştır. Araştırma sonucunda, genellenebilirlik kuramında kullanılan desenlerin G ve phi katsayılarını etkilediği, değişkenlik kaynağı sayısı arttıkça ölçmenin amacı bireyin toplam varyansı açıklama yüzdesinin azaldığı görülmüştür. Ayrıca dereceli puanlama anahtarı türünün de ölçümlerin güvenirliğini etkileyebileceği, analitik dereceli puanlama anahtarından elde edilen puanların göreceli olarak bütünsel dereceli puanlama anahtarından elde edilenlere oranla daha yüksek güvenirliğe sahip olduğu bulunmuştur.

Anahtar Kelimeler: Performansa dayalı durum belirleme, Genellenebilirlik kuramı, Puanlayıcılar arası güvenirlik, Analitik dereceli puanlama anahtarı, Bütünsel dereceli puanlama anahtarı