Computerized Adaptive Ability Measurement Part 2 (1976)

Bilgisayarlı Uyarlanabilir Yetenek Ölçümü — Bölüm 2

Dr. David J. Weiss
Psikoloji Profesörü
University of Minnesota
Minneapolis, MN 55414

"Bir bireyin yetenek düzeyini ölçmedeki doğruluk, test ortamındaki bireysel davranışlar nedeniyle azalabilir. Tahmin etme, düşük motivasyon, hayal kırıklığı, kaygı, sıkılma ve diğer psikolojik değişkenler, bireyin test puanlarına hata ekleyebilir ..."

Bazı Güncel Bulgular

Bugüne kadarki araştırmalarımız öncelikle çeşitli uyarlanabilir test stratejilerinin göreli etkililiğini ve yararlılığını değerlendirmeye ve uyarlanabilir testlerden elde edilen yetenek tahminlerini geleneksel testlerden elde edilenlerle karşılaştırmaya odaklanmıştır. Gerçek test uygulamalarına dayanan çalışmalar, uyarlanabilir testlerden elde edilen puanların zaman içinde geleneksel testlerden elde edilen puanlara kıyasla daha güvenilir olduğunu göstermiştir. Bu daha yüksek güvenilirlik, ölçümde daha yüksek doğruluk ve uzunlamasına tahminler yapmada daha büyük yararlılık anlamına gelir.

Bu gerçek test çalışmalarını tamamlayan simülasyon çalışmaları, uyarlanabilir testler için daha yüksek ölçüm doğruluğunun, incelenen tüm uyarlanabilir test stratejilerinde yetenek aralığının tamamı boyunca geçerli olduğunu göstermektedir; ancak bazı stratejiler, yetenek aralığı boyunca sabit bir doğruluk derecesini koruma açısından diğerlerinden daha iyidir. Çalışmalarımız ayrıca uyarlanabilir test puanlarının, geleneksel testlere kıyasla bir grubun yetenek dağılımını daha iyi yansıttığını göstermiştir.

Özellikle ilgi çekici bir veri kümesi, stradaptive test stratejisini kullanan gerçek test, test-tekrar test çalışmasından elde edilmiştir. Daha önce belirtildiği ve Şekil 2 ve 3’te gösterildiği gibi (bkz. Computers and People, Haziran 1976, s. 17 ve 18), stradaptive testler yetenek düzeyi puanlarının yanı sıra "tutarlılık" puanları da üretir. Bu puanlar, bir bireyin karşılaştığı maddelerin zorluk aralığını yansıtır.

Yanıt tutarlılığı kavramının bir işlemselleştirilmesi, sonlandırma ölçütü karşılanmadan önce bir birey tarafından kullanılan katman sayısıdır. Son derece tutarlı bireyler az sayıda katman kullanır; tutarsız test katılımcıları ise çok farklı zorluklardaki katmanlarda maddelerle karşılaşır.

Tutarlılık ve Öngörülebilirlik Arasındaki İlişki

Tutarlılığın güvenilirlikle ilişkili olması gerektiğini varsaydık. Buna göre, daha tutarlı bireylerin zaman içinde daha öngörülebilir, daha az tutarlı bireylerin ise daha az öngörülebilir olması beklenir. Bu varsayımı incelemek için, bir grup bireye stradaptive testi iki kez uyguladık; iki uygulama arasında yaklaşık altı haftalık bir aralık vardı.

İlk test sonuçlarını kullanarak her bir katılımcının tutarlılık puanını belirledik ve toplam grubu çok yüksek tutarlılıktan çok düşük tutarlılığa kadar uzanan beş alt gruba ayırdık (grup başına N = 17 ile N = 41). Her bir grup için, stradaptive testle yeteneği tahmin etmenin on yönteminin her biri için test-tekrar test korelasyonunu (istikrar katsayısı) hesapladık.

Sonuçların genel örüntüsü öngörülen yöndeydi, ancak yetenek tahmin etme ve tutarlılık yöntemlerine göre değişiklik gösterdi. En belirgin örüntü, Tutarlılık Puanı II kullanılarak elde edilen Yetenek Puanı I için ortaya çıktı (bkz. Şekil 2 ve 3). Tüm denek grubu için (N = 170) test-tekrar test güvenilirliği .65 idi.

Tutarlılık arttıkça güvenilirlik de arttı. En tutarlı grup için güvenilirlik .94 iken, orta düzey tutarlılığa sahip grupların güvenilirlikleri .85, .84 ve .77 idi. Stradaptive testte yeteneğin puanlanmasına ilişkin diğer yöntemlerde, en tutarlı grup için güvenilirlikler .98’e kadar çıktı; bu da bu alt grup için ikinci testteki puanların, birinci testteki puanlardan neredeyse mükemmel biçimde öngörülebilir olduğunu göstermektedir.

Buna karşılık, ilk testte son derece tutarsız yanıtlar veren bireyler, tekrar testte genellikle en az öngörülebilir olanlardı.

Bu sonuçlar elbette oldukça kısa bir zaman aralığında elde edilmiştir. Daha uzun zaman aralıklarında da geçerli oldukları gösterilebilirse, önemli pratik sonuçları olacaktır; çünkü bu durum, belirli bir testte puanları daha fazla (ya da daha az) güvenilir olan bireyleri belirlememize olanak tanıyacaktır. Böylece, her bir kişinin test puanlarının güvenilirliğini dikkate alarak bireylere özgü seçme, yerleştirme ve sınıflandırma kararları verebileceğiz.

Naval Research Reviews, Kasım 1975 sayısından, Arlington, VA’daki Office of Naval Research tarafından yayımlanan yayından izin alınarak yeniden basılmıştır. Bu makalenin 1. Bölümü Computers and People, Haziran 1976, s. 14–17, 25’te yayımlanmıştır.

Psikolojik Etkiler

Uyarlanabilir testlerde psikometrik değişkenleri incelemenin yanı sıra, uyarlanabilir testlerin belirli psikolojik değişkenler üzerindeki etkilerini de sistematik olarak araştırıyoruz. Bir bireyin yetenek düzeyini ölçmedeki doğruluk, test ortamındaki bireysel davranışlar nedeniyle azalabilir. Tahmin etme, düşük motivasyon, hayal kırıklığı, kaygı, sıkılma ve diğer psikolojik değişkenler, bireyin test puanlarına hata ekleyebilir; bu da bu puanların pratik kararlar için yararlılığını azaltır.

Uyarlanabilir bir test, test maddelerinin zorluk düzeyini test katılımcısının yetenek düzeyinde ya da ona yakın tutabildiği için, bu psikolojik değişkenlerin olumsuz etkisini azaltması ve böylece test puanlarının doğruluğunu artırması gerektiğini varsaydık.

Bu yararların, uyarlanabilir test prosedürünün sağladığı salt psikometrik doğruluk artışlarına ek olarak ortaya çıkması beklenir. Farklı uyarlanabilir test prosedürleri, test maddelerini uygun zorluk düzeyinde tutma konusunda farklı derecelerde başarılı olduklarından, bu farklı stratejilerin bu dışsal değişkenlerde farklı düzeylerde azalmaya yol açıp açmadığını da inceliyoruz.

Bu çalışma alt kümesi, hâlihazırda sürdürülen çeşitli tasarımları içermektedir. Bir çalışmada, test katılımcılarının kendilerine sunulan test maddelerinin zorluklarını doğru biçimde algılayıp algılayamadıklarıyla ilgileniyoruz. Eğer kolay maddeler ile zor maddeleri ayırt edemiyorlarsa, farklı zorluktaki maddelerin bu farklı psikolojik etkileri ortaya çıkarması pek olası değildir.

İkinci bir çalışma, geleneksel test ile uyarlanabilir testin test kaygısı ve test alma motivasyonu üzerindeki etkilerini doğrudan karşılaştırmakla ilgilidir. Bu çalışma ayrıca "geri bildirim"in test puanları ve aynı psikolojik değişkenler üzerindeki etkileriyle de ilgilidir; yani test katılımcılarının bir alt grubuna her maddeden sonra doğru yanıtlayıp yanıtlamadıklarına ilişkin bilgi verilmektedir.

Üçüncü bir çalışmada, uyarlanabilir testin tahmin etme davranışı üzerindeki etkilerini inceliyoruz. Bu çalışmada test katılımcıları, çoktan seçmeli bir test sorusunu, beş alternatifin her birine olasılıklar atayarak yanıtlar; bu beş olasılığın toplamının 1.00 olması koşuluyla. Test katılımcısının olasılıkları ile maddelerin bilinen zorlukları arasındaki ilişkinin, katılımcının yetenek düzeyiyle birlikte analiz edilmesi yoluyla, bir bireyin bir test maddesinde tahmin yapmış olma olasılığını değerlendirebiliriz.

Daha sonra, uyarlanabilir testlerin gerçekten tahmin etme davranışını azaltıp azaltmadığını belirlemek için, geleneksel testlerde ve farklı uyarlanabilir stratejilerde tahmin etmenin göreli sıklıklarını karşılaştırabiliriz. Bu çalışma kapsamında, olasılıksal yanıtlamanın, geleneksel ikili yanıt moduna önemli bir alternatif olarak daha genel yararlılığını da değerlendiriyoruz. Uyarlanabilir test prosedürleriyle birleştirildiğinde, olasılıksal yanıtlamanın yetenek ölçümü için çok güçlü bir yaklaşım ortaya koyması mümkündür.

Uyarlanabilir testlerin psikolojik etkilerine olan ilgimiz, kısmen yetenek testlerinin azınlık bireylerle kullanımında ortaya çıkan sorunlardan kaynaklanmaktadır. Azınlık bireyler için ölçüm doğruluğunu artırmak ve böylece bu gruplar için testin adilliğini yükseltmekle ilgileniyoruz. Bu nedenle, hem azınlık hem de azınlık olmayan gruplarda test puanlarının doğruluğunu azaltma olasılığı daha yüksek olan psikolojik değişkenleri belirlemeye ve mümkün olduğu ölçüde bunları test ortamından ortadan kaldırmaya çalışıyoruz.

Üç Tanımlayıcı ve Sınırlayıcı Özellik

Bugüne kadar bilgisayarlı testler alanındaki araştırmalar üç tanımlayıcı özelliğe sahip olmuştur. Birincisi, tek boyutlu bir özelliğin varlığını varsaymış olmasıdır. Yani, belirli bir test madde havuzunun yalnızca tek bir yeteneği ölçtüğü kabul edilmektedir.

Bu araştırmanın ikinci bir özelliği, tamamen maddeler arası dallanma stratejilerine dayanmasıdır. Başka bir deyişle, bir deneğin belirli bir test maddesine (ya da bir test maddeleri dizisine) verdiği yanıt, sırada hangi maddenin uygulanacağını belirlemek için kullanılır.

Son olarak, uyarlamalı test araştırmalarının çoğu sözel test maddelerini kullanmıştır; bunun temel nedeni, resimsel materyallerin bilgisayar ortamında gösteriminin son derece yüksek maliyetli olmasıdır.

Uyarlamalı testlerde gelecekteki araştırmalarımız, mevcut araştırmaların çoğundaki bu üç kısıtlayıcı yönü ortadan kaldırmaya yoğunlaşacaktır. Tek boyutluluk gibi kısıtlayıcı bir varsayımı gerektirmeyen dallanma modellerinin geliştirilmesiyle ilgileneceğiz.

Tek boyutluluk varsayımı çeşitli nedenlerle gerçekçi değildir. İlk olarak, herhangi bir yetenek alanı (örneğin sözcük dağarcığı ya da kelime bilgisi) içinde kesin olarak tek boyutlu olan test madde havuzlarını elde etmek son derece zordur. Bunun nedeni, boyutluluğun kısmen test maddelerinin zorluğunun bir fonksiyonu olmasıdır; çok zor test maddeleri, orta derecede zor ya da kolay maddelere kıyasla farklı yetenek faktörlerini tanımlama eğilimindedir.

İkinci olarak, bir test madde havuzunun makul ölçüde tek boyutlu olduğu gösterilebilse bile (örneğin McBride ve Weiss, 1974), bu görünen tek boyutluluk, boyutluluğun incelendiği denek grubunun ortalama özelliklerine dayanarak tanımlanır. Ancak bir madde kümesinin bir grup için tek boyutlu olması, aynı madde kümesinin bir birey için de tek boyutlu olacağının garantisi değildir.

Başka bir yerde (Weiss, 1973, ss. 39–42) görünürde tek boyutlu olan bir madde kümesinde farklı bireylerin farklı biçimlerde ölçeklenebilir olduğunu ima eden bazı ön sonuçlar gösterdim. Bu alandaki gelecekteki araştırmalarımız, bu sonuçları sistematik biçimde yinelemeye ve genişletmeye odaklanacaktır. Bu olgu doğrulanırsa, etkileşimli uyarlamalı test sürecinde birey içi boyutluluğu dikkate alan modeller geliştireceğiz.

Test Süresinin En Aza İndirilmesi

Personel seçimi ve yerleştirme, yalnızca tek bir değişkenin ölçümünden yapılan kestirimlere dayandığında nadiren başarılı olur. Bu nedenle, bireylerin mesleki açıdan ilgili çeşitli yetenekler üzerindeki kapasitelerini değerlendirmek için çoklu yetenek bataryaları geliştirilmiştir.

Bu yetenekler tek boyutlu olsa bile, çoğu zaman birbirleriyle ilişkilidir. Katı biçimde tek boyutlu bir dallanma modeli kullanıldığında, uyarlamalı test, önce bireyin bir değişken üzerindeki yetenek düzeyinin belirlenmesiyle ilerler, ardından ikinciye, sonra üçüncü yeteneğe geçer ve bu şekilde devam eder. Ancak yetenekler birbiriyle ilişkili olduğunda, bu yöntem test süresini boşa harcar; çünkü bir yetenekteki durumun bilinmesi, bireyin diğer yetenek boyutlarındaki durumu hakkında da bilgi sağlar.

Test süresini en aza indirmek için iki yol izlenebilir. Birincisi, bireyin bir yetenek üzerindeki konumunun değerlendirilmesiyle başlanabilir. Ardından, bu yeteneğin ikinci bir yetenekle olan korelasyonuna ilişkin bilgimizi kullanarak, ikinci yetenek için başlangıç yetenek kestirimi üretilebilir. Üçüncü yetenekteki bir puanı kestirmek için ise, üçüncü yeteneğin birinci ve ikinci yeteneklerle olan çoklu korelasyonu kullanılarak üçüncü yetenek için başlangıç kestirimlerinin aralığı daraltılabilir ve bu süreç tüm yetenekler boyunca sürdürülebilir.

İkinci bir yaklaşım, ilişkili yetenekler kümesini çok boyutlu bir uzay olarak kavramsallaştırmak ve bireyi bu uzayda sistematik biçimde dallandıracak uyarlamalı test prosedürleri geliştirmektir. Böylece, asgari sayıda maddeyle deneğin tüm yeteneklerdeki konumu eşzamanlı olarak belirlenebilir. Bu ikinci model, aynı zamanda birey içi boyutluluk sorununu eşzamanlı olarak ele alabilecek şekilde tasarlanabileceği için avantajlı olacaktır.

Akıl Yürütme Yeteneği ve Belleğin Test Edilmesi

Geleceğe yönelik planlarımız, şu anda geleneksel kâğıt-kalem testleriyle ölçülemeyen yetenekleri ölçmek üzere bilgisayar tarafından uygulanan testlerin geliştirilmesini de içermektedir. Bunlar, madde içi dallanma tekniklerine dayalı akıl yürütme yeteneği testlerini kapsayacaktır.

Bu testlerde tipik bir test maddesi bir problem durumu olabilir ve bireye, problemi çözmede kullanabileceği çeşitli türlerde bilgiler arasından seçim yapma olanağı verilir. Belirli bir bilgi türünü seçmesi, onu problemin çözümünde kullanılan belirli bir akıl yürütme yolunda, ardışık bir dizi ek seçimle ilerletecektir. Bazı yollar uygunsuz çözümlere, bazıları ise verimsiz çözümlere götürebilir. Bu nedenle, bu tür bir test maddesi, bireyin çözüm sürecindeki verimliliği ve her kararı vermek için harcadığı süre de dâhil olmak üzere, çözüm yolunun niteliğiyle belirlendiği bir "kavramsal labirent" olarak düşünülebilir.

Bu tür testler, yalnızca bilgisayar denetimi altında çok sayıda deneğe uygulanabildiğinden, personel değerlendirmesinde önemli kullanım alanlarına sahip olmalıdır.

Ayrıca işitsel, resimsel ve sözel kiplerde kısa süreli ve uzun süreli belleği ölçen testler geliştirmeyi planlıyoruz. Bilgisayarın ölçüm sürecinde sağladığı hassas denetim, bu yeni yeteneklerin ölçülmesini mümkün kılacaktır. Uygun bilgisayar terminal donanımı mevcut olduğunda, mevcut basılı sözel testlerin yerine geçebilecek resimsel ve konuşma dili testlerinin yararlılığını da inceleyeceğiz. Konuşma dili testleri, azınlık grubu üyeleri için basılı sözel testleri tamamlayıcı nitelikte olabilir. Sözel olmayan testler ise, mevcut yetenek ölçümlerini tamamlamak üzere grafik ve harita okuma ile görsel tarama ve yorumlama gibi yeteneklerin uyarlamalı ölçümüne olanak tanıyabilir.

Maliyetler Üzerine Bir Not

Bilgisayarlı testlere ilişkin bir tartışma, bu test yönteminin ekonomik uygulanabilirliği ele alınmadan tamamlanmış sayılmaz. Ekonomik uygulanabilirlik, birbirini tamamlayan iki bakış açısından değerlendirilebilir:

Test uygulama, puanlama ve raporlama süreçlerindeki gerçek maliyet farkları.
Test puanlarının özelliklerinden kaynaklanan tasarruflar.

Uyarlamalı testlerin temel bir özelliği, bir deneğin testlere ayırdığı süreyi önemli ölçüde azaltabilmesidir. Bazı uyarlamalı test stratejileri, 30 maddelik bir testle, 100 maddelik geleneksel bir testin geçerlik ve güvenirliğine ulaşabilmektedir. Dolayısıyla ortalama bir uyarlamalı test, geleneksel bir test için gereken 30 dakikaya kıyasla yalnızca 10 dakika sürebilir.

Denek zamanı çoğu zaman hem bireysel hem de kurumsal bir yatırım olduğundan, süredeki bu üçte iki oranındaki azalma önemli bir ekonomik kazanç anlamına gelmelidir. Denek zamanı "ücretsiz" ise, yani test süresinin kısaltılmasından doğrudan parasal bir tasarruf hesaplanamıyorsa bile, yine de ekonomik bir kazanç mümkündür; çünkü uyarlamalı test prosedürüyle kazanılan zaman, deneğin diğer alanlardaki yeteneklerini ölçmek için kullanılabilir. Bu yolla, uyarlamalı testler, her denekten aşırı miktarda test süresi talep etmeden karmaşık ölçütlerin doğru biçimde kestirilmesini mümkün kılabilir.

Gizli Maliyetler

Uyarlamalı testlerin ya da mevcut kâğıt-kalem prosedürlerinin gerçek maliyetleri hakkında çok az veri bulunmaktadır. Kâğıt-kalem testlerinin maliyetleri hesaplanırken, bir dizi gizli maliyetin akılda tutulması gerekir. Bunlar arasında yayınevlerinin kataloglarının temin edilmesi, malzemelerin sipariş edilmesi, depolanması, yeniden sipariş verilmesi, yanıt kâğıtlarının puanlama için postalanması, puanlama için gönderilen yanıt kâğıtlarının kayıtlarının tutulması ve benzeri işlemlerin maliyetleri yer alır. Bu maliyetler, test kitapçıkları, yanıt kâğıtları ve puanlama hizmetlerinin (ya da elle puanlama anahtarları ve puanlama personelinin ücretleri) satın alınmasına ek olarak ortaya çıkar.

Buna, beklemeyle ilişkili maliyetler de eklenmelidir: malzemelerin gelmesini bekleme, deneklerin test için bir araya gelmesini bekleme ve test sonuçlarının puanlanmasını bekleme. Buna karşılık, bilgisayarlı testlerde test bir ya da iki düğmeye basılarak kullanılabilir. Puan raporları için gecikmeler olmayacak, sipariş edilecek malzemeler bulunmayacak, stokların tutulması gerekmeyecektir. Test, ihtiyaç duyulduğu anda hazır olacak ve sonuçlar (çeşitli biçimlerde yorumlanmış olarak) karar verme sürecine yardımcı olmak üzere anında elde edilebilecektir.

Waters (1975), geliştirme maliyetleri ve terminal donanımı maliyetleri hariç tutulduğunda, bilgisayarlı bir stradaptive testin denek başına maliyetini 87 sent olarak tahmin eden veriler sunmaktadır. Bizim hesaplamalarımız ise, yine geliştirme maliyetlerini hariç tutmakla birlikte terminal donanımını dâhil ettiğimizde, test başına 1 ile 1,25 dolar arasında değişmektedir. Dolayısıyla bir saatlik test süresinde bir denek, toplam maliyeti 6 ile 7,25 dolar arasında olan altı test tamamlayabilir. Son beş yılda bilgisayar maliyetlerinde meydana gelen düşüşler dikkate alındığında ve bu eğilim birkaç yıl daha geleceğe yansıtıldığında, yakın gelecekte bilgisayarlı testlerin doğrudan maliyetlerinin kâğıt-kalem testlerinden daha düşük olacağı görülmektedir.

Doğru Test Puanlarının Ekonomik Avantajları

Bununla birlikte, bilgisayarlı testlerin asıl ekonomik avantajları, test puanlarının daha yüksek doğruluğundan kaynaklanacaktır. Uyarlamalı testler hem daha hassas hem de daha doğru puanlar ürettiğinden, uyarlamalı test puanları seçme, yerleştirme ve sınıflandırmada daha az hataya yol açmalıdır.

Bir kişiyi belirli bir görev için eğitmenin maliyeti binlerce dolara ulaşabildiğinden, güvenirliği ya da geçerliği düşük test puanlarına dayalı her uygunsuz atama bu binlerce doların boşa harcanmasına neden olabilir. Bir kişinin yeteneğinin olduğundan yüksek tahmin edilmesi, uygun olmayan bir personel atamasına yol açabilir ve birey görevinde yeterli değilse, bu durum ek binlerce doların daha israf edilmesine neden olabilir. Buna karşılık, test puanları gerçek yeteneğinden düşük olan bir birey yeterince değerlendirilemez. Bu durumda, yetersiz test prosedürleri nedeniyle beceri ve yetenekleri olduğundan düşük değerlendirilen bireyin potansiyel verimliliği kaybedilir ve bu da yine istihdam eden kuruluş için maliyet anlamına gelir.

Son olarak, yeterince değerlendirilmeyen birey bir elde tutma ya da moral sorunu da oluşturabilir. Bu durumda, bireyin eğitimi için yapılan harcamalar tam olarak geri kazanılamaz; çünkü işteki görev süresi (ya da performansı) büyük olasılıkla en uygun düzeyde olmayacaktır.

Bilgisayarlı uyarlamalı testlerin ekonomik açıdan uygulanabilir olduğu görülmektedir. Mesleki açıdan ilgili daha geniş bir yetenek yelpazesini daha doğru ölçen testler sağlayacağı ölçüde, askerî hizmetler için önemli bir ekonomik yarar sunmalıdır. Uyarlamalı test prosedürlerini uygulamanın en pratik ve en verimli yolunu arama süreci henüz başlamaktadır. Araştırma sonuçlarımız, yakın gelecekte etkili bilgisayarlı uyarlamalı test sistemlerinin geliştirilip uygulanabileceği gerekli verileri sağlamalıdır.

Kaynaklar

W. E. Hick, "Information Theory and Intelligence Tests." British Journal of Psychology, Statistical Section, 1951, 4, 147–164.
F. M. Lord, "Some Test Theory for Tailored Testing." W. H. Holtzman (Ed.) içinde, Computer-Assisted Instruction, Testing, and Guidance. New York: Harper and Row, 1970.
F. M. Lord ve M. R. Novick, Statistical Theories of Mental Test Scores. Reading, Mass.: Addison-Wesley, 1968.
J. R. McBride ve D. J. Weiss, "A Word Knowledge Item Pool for Adaptive Ability Measurement." Research Report 74-1, Psychometric Methods Program, Department of Psychology, University of Minnesota, 1974. (AD 781894)
B. K. Waters, "An Empirical Investigation of Weiss' Stradaptive Testing Model." Computerized Adaptive Testing Conference'ta sunulan bildiri, Washington, D.C., 13–14 Haziran 1975.
D. J. Weiss, "The Stratified Adaptive Computerized Ability Test." Research Report 73-3, Psychometric Methods Program, Department of Psychology, University of Minnesota, 1973. (AD 768376)
D. J. Weiss, "Strategies of Adaptive Ability Measurement." Research Report 74-5, Psychometric Methods Program, Department of Psychology, University of Minnesota, 1974. (AD A004270)