Dr. Joseph Weizenbaum
Yapay Zekâ Laboratuvarı
Massachusetts Institute of Technology
Cambridge, MA 02139
"Bu zamanlarda entelektüellerin en yüksek görevi, en basit gerçekleri mümkün olan en basit sözcüklerle söylemektir."
— George Orwell
Görünürdeki Normallik
Batı Almanya’da bulunduğumda, gündelik yaşamın görünürdeki normalliği beni her seferinde şaşırtır. Almanya’ya yalnızca ara sıra gelen bir ziyaretçi olarak, artık Almanlara rutin, hatta doğal görünen tuhaf şeyler görürüm. Örneğin, nükleer kara mayınlarıyla doldurulmak üzere tasarlanmış sokaklardaki oyuklar ya da her Alman vatandaşının nükleer silah depolama tesislerine olan yakınlığı. Başka bir deyişle, Almanların nihai felakete olan fiziksel, fakat ondan da çok psikolojik, yakınlığını fark ederim.
Biz Amerikalılar, Almanlardan felakete daha uzak değiliz. Savaş durumunda, ister savaşı önlemek için tasarlandığı iddia edilen teknolojiler tarafından istemeden başlatılsın, ister düğmeye basmayı görev sayan sözde devlet adamları ya da kadınları tarafından başlatılsın, Almanlar kale Amerika’daki bizlerden on dakika önce ölebilir; ama hepimiz öleceğiz.
Nükleer Kara Mayınları İçin Açılan Oyuklar
Bizim sokaklarımızda nükleer kara mayınları için oyuklar yok. Füze silolarımızı yalnızca ara sıra görürüz; yani yalnızca birileri onları televizyonda bize göstermeyi uygun gördüğünde. Hükümetimiz ne kadar tutkuyla, kötü Sovyetlerin Avrupalılara olduğu kadar bize de fiilen yakın olduğunu, örneğin Küba’dan ya da Nikaragua’dan bizi tehdit ettiklerini anlatmaya çalışırsa çalışsın, Amerikalılar genel olarak ikna olmaz ve bu nedenle bu tür çabalardan huzursuzluk duymaz. Bu yüzden ortalama bir Amerikalının bizi karşı karşıya bırakan tehlike hakkında bu kadar az kaygılanması şaşırtıcı değildir. Aslında, onun bunun özellikle farkında olması bile şaşırtıcı olurdu. Amerikan savaş deneyimi, günlük yaşamın acil kaygılarından çok uzak görünen şeylere yönelik somut bir korku yerine, "burada olmaz" tutumunun gelişmesine olanak tanır.
İnsanların, varoluşlarına yönelik doğrudan tehditlerle çok uzun süre yaşamasının, bu tehlikeleri bilinçlerinden dışlamaya yarayan psikolojik mekanizmaları devreye sokmadan duygusal olarak imkânsız olduğunun farkındayım. Ancak bastırma, sistematik olarak yanlış yönlendirilmiş çabaları gerekli kılıyor ya da potansiyel olarak hayat kurtarıcı davranışları dışlıyorsa, o zaman onu tehdidin kendisine derinlemesine bakmakla değiştirme zamanı gelmiştir.
Bu zaman bilgisayar profesyonelleri için gelmiştir. Artık dünyanın durumunu temelden ve yaşamı destekleyecek bir yönde değiştirme gücüne sahibiz.
Bilgisayar Profesyonelleri Nükleer Kara Mayınları İçin İşbirliği Yapıyor
Bugün soykırım ölçeğinde cinayet tehdidi oluşturan ve tasarımı, üretimi ve satışı sayısız insanı — özellikle çocukları — yoksulluğa ve açlığa mahkûm eden silah sistemlerinden hiçbirinin, bilgisayar profesyonellerinin ciddi, hatta coşkulu işbirliği olmadan geliştirilemeyeceği, sıradan bir gerçektir. Bu biz olmadan devam edemez! Biz olmadan silahlanma yarışı, özellikle niteliksel silahlanma yarışı, bir adım bile ilerleyemez.
Bu yalın, basit ve apaçık gerçek, biz bilgisayar profesyonellerine bir şey söylüyor mu? Bence söylüyor:
Öncelikle, belki de bunun farkında olmadan yeteneklerini yaşamın değil ölümün hizmetinde kullananlarımızın, bize barışı getirmedikleri için politikacılara, devlet adamlarına ve kadınlarına lanet etmeye pek de hakkı yoktur. Bizim adanmış yardımımız olmadan, yeryüzündeki halkları artık tehlikeye atamazlardı. Bu nedenle hepimiz, günlük çalışmamızın daha fazla silahlanmanın çılgınlığına mı yoksa barış için gerçek olanaklara mı katkıda bulunduğunu düşünmek zorundayız.
Bu bağlamda özellikle yapay zekâ (AI) akla gelmektedir. Bilgisayar biliminin bu alt disiplinindeki pek çok teknik görev ve sorun, teknik yönelimli çalışanların hayal gücünü ve yaratıcılığını özellikle güçlü biçimde harekete geçirir. Bilgisayardan düşünen bir varlık yapmak, bilgisayara konuşulan dili anlama yeteneği vermek, bilgisayarın görmesini mümkün kılmak — bu tür hedefler, oyun alanındaki çocukça fantezilerimizi henüz bütünüyle bastırmamış ya da her şeye gücü yetme sanrılarımızı bilgisayar sahnesinde, yani bilgisayar sistemleri üzerinden tatmin etmeyi amaçlayanlarımız için neredeyse karşı konulmaz cazibeler sunar. Bu tür görevler olağanüstü derecede zorlayıcı ve ilgi çekicidir. Robert Oppenheimer bunları "tatlı" olarak adlandırmıştır. Üstelik bu alanlardaki araştırma projeleri cömertçe finanse edilir. Gerekli paralar genellikle — en azından Amerika’da — ordunun kasasından çıkar.
Baştan Çıkarıcı, Aldatıcı Masal
Ayrıntılar içinde, alt problemlerde ve onların alt problemlerinde kaybolmak ya da kendini gizlemek son derece caziptir ve özellikle yapay zekâ çalışmalarında baştan çıkarıcı derecede kolaydır. Üzerinde çalışılan — ve böylesine cömertçe desteklenen — gerçek sorunlar gizlenir ve dönüştürülür; ta ki temsilleri yalnızca masallar, zararsız, masum, sevimli peri hikâyeleri hâline gelene kadar.
Örneğin, bir doktora öğrencisi planladığı tez çalışmasını şöyle tanımlamıştır:
Belki altı ya da yedi yaşında bir çocuk, üzerinde bir yavru kedi ve bir ayının görülebildiği bir bilgisayar ekranının önünde oturmaktadır — elbette tümü tam renkli. Yavru kedi bir topla oynamaktadır. Çocuk bilgisayar sistemine konuşur: "Ayı, biri ona bir şey verdiğinde ‘teşekkür ederim’ demeli." Sistem, yapay ama yine de hoş bir sesle yanıt verir: "Teşekkür ederim, anlıyorum." Sonra çocuk tekrar konuşur: "Kedicik, topunu arkadaşına ver." Anında, bilgisayar ekranında yavru kedinin topu ayıya attığını görürüz. Ardından ayının şöyle dediğini duyarız: "Teşekkür ederim sevgili kedicik."
Bu, geliştirilmesi öğrencinin doktora çalışmasını oluşturacak sistemin başarması gereken şeyin özüdür. Teknik açıdan bakıldığında, sistem konuşulan talimatları anlamalıdır — bu tek başına bile basit değildir — ve onları daha sonra kendi hesaplama yapısına sorunsuz biçimde entegre edeceği bir bilgisayar programına dönüştürmelidir. Hiç de önemsiz değil ve bunun ötesinde, oldukça dokunaklı.
Tehlikeli, Korkunç Gerçeklik
Şimdi gerçekliğe bir çeviri.
Bir savaş pilotuna, pilotun yardımcı sistemi tarafından hitap edilir:
"Efendim, aşağıda bir düşman tank kolu görüyorum. Emirleriniz lütfen."
Pilot:
"Böyle bir şey gördüğünde beni rahatsız etme, pislikleri yok et ve eylemi kaydet. Hepsi bu."
Sistem yanıt verir:
"Emredersiniz efendim!"
işaretini verir ve uçağın roketleri yeryüzüne doğru uçar.
Bu pilot yardımcı sistemi, Amerikan ordusunun yeni ve büyük bir araştırma ve geliştirme programı olan Strategic Computing Initiative’de, başlıca bir yapay zekâ sorunu olarak açıkça tanımlanan üç silah sisteminden biridir. Önümüzdeki dört ya da beş yıl içinde bu programa altı yüz milyon dolardan fazla harcanacaktır.
Düşünceyi Engellemek ve Vicdanı Susturmak mı?
Askerî sistemlere saldırmak ya da onları kötülemek niyetinde değilim. Amerika’daki akademik yapay zekâ araştırmalarının gerçek uygulamalarından alınan bu örnekle, düşünceyi engelleyen ve nihayetinde vicdanı susturan örtmeci dilsel gizlemenin etkisini göstermek istiyorum.
Bu denli büyük bir örtmece sevgisinin özellikle bilgisayar bilimine mi yoksa onun alt disiplini olan yapay zekâya mı özgü olduğunu tam olarak bilmiyorum. Anlayan, gören, karar veren, yargılarda bulunan bilgisayar sistemlerinden öylesine gösterişli ve rahat biçimde söz ediyoruz ki, bu kavramlara ilişkin kendi yüzeyselliğimizi ve ölçüsüz saflığımızı fark etmiyoruz. Ve bu şekilde konuşurken, çalışmamızın niteliğini değerlendirme yeteneğimizi ve daha da önemlisi, onun nihai kullanımını saptama ve bunun bilincine varma yetimizi uyuşturuyoruz.
Yukarıda sözünü ettiğim öğrenci, çalışmasının çocuklar için bilgisayar oyunlarıyla, belki oyuncak kediler, ayılar ve toplarla ilgili olduğunu hayal etmektedir. Oysa çalışmasının gerçek nihai kullanımı büyük olasılıkla, bir gün, öğrencinin kendisine çok benzeyen, anne babası ve belki bir kız arkadaşı olan genç bir adamın, öğrencinin araştırmasıyla biçimlenmiş bir pilot yardımcı sistemi tarafından kendisine gönderilen bir füzenin patlamasıyla alevler içinde kalması anlamına gelecektir. Öğrencinin çalışmasına dair tasavvuru ile bunun gerçek sonuçları arasındaki psikolojik mesafe astronomiktir. Tam da bu muazzam mesafe, kişinin yaptığı işin mantıklı olup olmadığını ya da ölümcül aygıtların daha verimli hâle gelmesine katkıda bulunup bulunmadığını bilmemeyi ve sormamayı mümkün kılar.
Bu durumdan, tekrar tekrar şu soruları sormadan çıkılamaz:
- "Ben gerçekte ne yapıyorum?"
- "Çalışmamın ürünlerinin nihai uygulaması ve kullanımı nedir?"
- ve nihayet, "Bu kullanıma katkıda bulunmuş olmaktan memnun muyum, yoksa utanıyor muyum?"
Dilimizi güzelleştirme çabasını terk ettikten sonra, bilgisayar profesyonelleri olarak yaptığımız işler hakkında gerçekçi ve ciddi biçimde konuşmaya başlamalıyız. Örneğin, bilgisayar sistemlerinin görmesini mümkün kılmaya yönelik girişimler hakkında sorular sormalıyız. Bu alandaki ilerleme, mutlak bir kesinlikle, cruise ve Pershing gibi füzeleri hedeflerine giderek daha hassas biçimde yönlendirmek için kullanılacaktır. Ve hedeflerinde kitlesel cinayet işlenecektir.
Bilgisayar "Yalnızca Bir Araç" mı?
Bu tür ifadeler sıklıkla, bilgisayarın yalnızca bir araç olduğu iddiasıyla karşılanır. Bu hâliyle iyilik için de kötülük için de kullanılabilir. Kendi başına değerlerden arındırılmıştır. Ayrıca bilim insanları ve teknisyenler, çalışmalarının ürünlerinin nasıl uygulanacağını, iyi mi yoksa kötü mü bir kullanım bulacağını bilemezler. Dolayısıyla bilim insanları ve teknisyenler, çalışmalarının nihai uygulamasından sorumlu tutulamaz.
Birçok bilim insanı, az önce belirtilen argümanı benimser. Üzerinde çalıştıkları sistemlerin insanları Ay’a götürüp geri getirebildiği gibi, Moskova’ya yöneltilmiş füzelerin ateşlendiğinde gerçekten Moskova’yı vurmasını da garanti edebildiğini söylerler. Önceden, çalışmalarının bu iki hedeften hangisine ya da başka hangi hedeflere hizmet edeceğini bilemezler. Öyleyse, çalışmalarının doğurabileceği sonuçlardan nasıl sorumlu tutulabilirler?
Bilgisayar profesyonelleri için de durum genel olarak böyledir.
M. A. Fischler ve O. Firschein tarafından yazılan, Addison-Wesley Publishing Co., Reading, MA 01867 tarafından yayımlanan ve telif hakkı © 1987’ye ait olan Intelligence: The Eye, the Brain, and the Computer adlı eserin 1. bölümü, Intelligence temel alınarak hazırlanmıştır. İzin alınarak yeniden basılmıştır.
Makine Çevirisi
Bir doğal dilden diğerine makine çevirisi alanındaki çalışmalar, insan dilinin inceliklerinin bilgisayarlaştırmaya kolayca boyun eğmediğini ortaya koymuştur. Yirmi yıl önceki sözcük sözcüğe çeviri yapan sistemler işe yaramıyordu.
Makine çevirisi araştırmaları, insan dilini bilişsel olarak kavramanın, aşağıdakiler de dâhil olmak üzere pek çok türde bilgi gerektiren son derece karmaşık bir yetenek olduğunu giderek daha açık hâle getirmiştir:
- cümlelerin yapısı;
- sözcüklerin anlamı;