“Stratejik Bilgi İşlem Planı”: Bir Değerlendirme
Severo M. Ornstein
Brian C. Smith
Lucy A. Suchman
Computer Professionals for Social Responsibility
P.O. Box 717
Palo Alto, CA 94301
“Herhangi bir bilgisayar sistemi, ne kadar karmaşık olursa olsun ve yapay zekâ içerip içermediğine bakılmaksızın, eylemlerinin kapsamı ve uygun şekilde yanıt verebileceği durumların aralığı bakımından sınırlıdır.”
ACM tarafından yayımlanan Communications of the ACM dergisinin Şubat 1985 sayısından, ACM’nin izniyle yeniden basılmıştır, 11 West 42 St., New York, NY 10036.
Bilgisayarlar: Kritik Alan
1940’larda atom fiziği yaklaşık 25 yaşındaydı. Yeni alanın buluşları üzerine inşa eden bilim insanları, daha önce hiç tasavvur edilmemiş kadar güçlü bir silah üretebildiler. 1980’lerde ise, yine yaklaşık 25 yaşında olan bilgisayar bilimi, modern silah sistemlerinin temelini oluşturan kritik alan hâline gelmiştir.
Bu durum henüz yaygın biçimde fark edilmemektedir; nükleer silahları düşündüğümüzde, genellikle savaş başlıklarını ve patlamaları gözümüzde canlandırır, füzelerin ateşlenmesi kararını destekleyen ve onları hedeflerine yönlendiren karmaşık bilgisayar teknolojisini unuturuz. Bilgisayar sistemleri artık ordunun her alanında erken uyarı, iletişim, silah yönlendirme ve hedeflerin seçildiği, savaşların planlandığı simülasyonlar için kullanılmaktadır.
“Stratejik Bilgi İşlem Planı”
1983 sonbaharında, Savunma İleri Araştırma Projeleri Ajansı (DARPA), askerî uygulamalar için yeni bir bilgi işlem teknolojisi kuşağı geliştirmeyi amaçlayan bir Stratejik Bilgi İşlem Planı yayımladı. Plan, beş yıllık, 600.000.000 dolarlık bir program başlatmaktadır ve bunun yalnızca bir başlangıç olduğuna inanmak için güçlü nedenler vardır.
Öneri, yeni donanım ve yazılımlardan oluşan temel bir teknoloji altyapısının geliştirilmesine yönelik planlar içermektedir. Donanım vurgusu, DARPA’nın net hesaplama gücünde en az bin katlık bir artış elde etmeyi umduğu mikroelektronik ve çok işlemcili mimariler üzerinde olacaktır. Yazılım bileşeni ise yapay zekâya (YZ)—özellikle uzman sistemlere—odaklanarak, makinelere doğal dili anlama, görme, konuşma ve çeşitli türlerde otomatik akıl yürütme dâhil olmak üzere “insan benzeri, akıllı yetenekler” kazandırmayı hedeflemektedir /1/.
Tamamen Otonom Hava, Deniz ve Kara Araçları
Bu teknoloji temeli üzerine, üç özel askerî uygulamanın geliştirilmesi öngörülmektedir. Kara Kuvvetleri için Plan, yalnızca bağımsız olarak hareket edebilen değil, aynı zamanda "çevrelerini algılayıp yorumlayabilen, algılanan ve diğer verileri kullanarak planlama yapabilen ve akıl yürütebilen, yapılacak eylemleri başlatabilen ve insanlarla ya da diğer sistemlerle iletişim kurabilen" bir "otonom araçlar" sınıfı önermektedir.
Hava Kuvvetleri için öneri, "yaşam ya da ölüm kararlarını dayandırmak zorunda oldukları gelen veri ve iletişim miktarı tarafından düzenli olarak bunaltılan" uçak operatörlerine yardımcı olacak bir "pilot yardımcısı"dır; bu yardım, rutin görevlerden, "operatör için tümüyle zor ya da imkânsız" olan ve "üst düzey hedef ifadelerini ya da görev tanımlarını kabul edebilme yeteneği" gerektiren görevlere kadar uzanmaktadır. Son olarak Deniz Kuvvetleri’ne, "olasılıklı olaylara ilişkin öngörüler üretmek için belirsiz verileri kavrayabilen, olası hareket tarzlarını üretmek üzere önceki insan ve makine deneyimlerinden yararlanan, bu seçenekleri değerlendiren ve destekleyici gerekçeyi açıklayan" bir "muharebe yönetim sistemi" sunulmaktadır.
Bu üç uygulamanın, teknolojinin gücünü göstermek amacıyla tasarlandığı belirtilmektedir; ayrıca "karmaşık, geniş kapsamlı keşif ve taarruz görevlerini yerine getirebilen tamamen otonom kara, deniz ve hava araçlarını" hayal etmemiz de istenmektedir.
Askerî Karar Alma Süreçlerinin Otomasyonu
İki olgu öne çıkmaktadır. Birincisi, Stratejik Hesaplama Planı, askerî sistemlerde yapay zekâ teknolojisinin kullanımını, kökten yeni bir esneklik ve uyarlanabilirlik türü sağlamak amacıyla önermektedir. Modern savaşın artan hızı ve öngörülemezliğine defalarca atıfta bulunan Plan, bilişim teknolojisinin "sahadaki beklenmeyen düşman davranışlarına" uyum sağlayabilecek şekilde geliştirilebileceğini vaat etmektedir. /2/
Bu, "gelecekteki çatışmaların doğasını temelden değiştirebilecek" "yeni bir askerî sistemler kuşağını" gerektirecektir. Değişim, hem hesaplama miktarının artırılmasını hem de askerî karar almanın otomasyonunu kapsayacak biçimde rolünün genişletilmesini içermektedir.
Araştırma Üzerinde Sıkı Askerî Denetim
İkinci olarak, bilgisayar bilimi araştırmalarının nasıl yönlendirileceğine ilişkin somut öneriler bulunmaktadır. Araştırmacıların kendi yollarını izlemelerine izin vermek yerine, Plan onları askerî hedeflere odaklamayı amaçlamaktadır. Bunu gerçekleştirmek için, desteklenebilir araştırma hedefleri ile askerî ihtiyaçların sıkı biçimde eşleştirilmesi, katı geliştirme zaman çizelgelerine uyum ve teknolojinin üretilme sürecini "çekmesi" amaçlanan belirli geliştirme projelerinin seçilmesi gibi çeşitli mekanizmalar önerilmektedir. (Yukarıda anılan Kara, Deniz ve Hava Kuvvetleri projeleri bunun ilk örnekleridir.)
İmkânsız Olduğunda Güvenilir Karar Alma Umudu
Stratejik Hesaplama Planı’nı değerlendirirken, kaygımız ne altta yatan teknoloji temeliyle ne de askerî projelerin kendisiyle ilgilidir. Yapay zekânın yeni ve önemli bir teknoloji olarak gücünü de sorgulamıyoruz. Kaygımız, kritik askerî durumlarda otomatik karar almaya artan bağımlılığın, daha fazla güvenlik getirmek yerine son derece tehlikeli bir yöne götürmesidir.
Yapay zekâya böyle bir rol önererek Stratejik Hesaplama Planı, hem politika yapıcıların hem de kamuoyunun zihninde yanlış bir güvenlik duygusu oluşturmaktadır. Sorun şudur ki Plan, bilgisayarlarla ya da insanlarla basitçe elde edilmesinin bir yolu olmayan koşullarda güvenilir karar alma umudu taşımaktadır.
Birbiriyle Etkileşen Üç Eğilim
Modern savaş, birbiriyle etkileşen üç eğilimle belirlenmektedir: giderek daha güçlü silahlar, planlama ile icra arasında (hem zaman hem de mekân bakımından) daha fazla ayrışma ve giderek hızlanan bir tempo. Birincisi, eylemlerimizin—kasıtlı ya da kasıtsız—sonuçlarının her zamankinden daha büyük olabileceği anlamına gelir. İkincisi, komuta, kontrol ve iletişim için giderek daha büyük, karmaşık ve dolaylı sistemlere bel bağladığımız anlamına gelir. Üçüncüsü ise herhangi bir yanlış hesabın, denetlenmesi zor, belki de imkânsız olan büyük sonuçlara hızla yol açabileceği anlamına gelir.
Üçünün birlikte taşıdığı tehlikeli potansiyeli görmek kolaydır. Bunların tümü, taarruz ve savunma silah sistemlerindeki teknolojik gelişmelerin doğrudan ürünüdür; ve bizi bugün birlikte yaşadığımız duruma getirmiştir: serbest bırakıldıkları takdirde bir saatten kısa sürede her ikisini de yok edecek güçlerle karşı karşıya duran iki ulus.
Mevcut Durum Kırılgandır
Bu tehlike her tarafta kabul edilmektedir; insanlar yalnızca bu konuda ne yapabileceğimizi ya da yapmamız gerektiğini düşündükleri noktasında ayrılmaktadır. Bununla birlikte, evrensel olarak kabul edilen bir şey varsa, o da mevcut durumun kırılgan olduğudur; ve Stratejik Hesaplama Planı bu duruma yeni bir bileşen olarak yapay zekâyı dâhil etmeyi önermektedir:
Silahların hız ve menzilindeki iyileşmeler, muharebelerin gelişme hızını artırmış, bunun sonucunda askerî örgütün tüm düzeylerinde bilgi akışına ve karar almaya yardımcı olmak üzere bilgisayarların yaygınlaşmasına yol açmıştır .... Bu eğilime karşıt bir etki, askerî durumların öngörülebilirliğinin hızla azalmasıdır; bu da katı mantığa sahip bilgisayarların değerini sınırlamaktadır .... Bu tür durumlarla karşı karşıya kalan liderler ve planlayıcılar ... öngörülemez durumlara yanıt vermek için yalnızca insanlarına güvenmek zorunda kalacaklardır. Bu tür beklenmedik muharebe durumlarında daha yetkin makine desteği sağlamak için bilişim teknolojisinde devrimsel iyileştirmeler gereklidir .... İyileştirmeler ancak geleceğin bilgisayarları işlevsel yeteneklerde yeni bir "kuantum" düzeyi sağlayabilirse mümkün olabilir. [ss. 3–5]
Öngörülemezlik Çok Büyük Olacaktır
Bunun sade Türkçeyle anlamı şudur: Daha hızlı muharebeler bizi bilgisayarlara daha fazla güvenmeye iter, ancak mevcut bilgisayarlar artan belirsizlik ve karmaşıklıkla baş edemez. Bu da insanlara güvenmek zorunda olduğumuz anlamına gelir. Ancak bilgisayar desteği olmadan, insanlar da karmaşıklık ve öngörülemezlikle başa çıkamaz. Dolayısıyla yeni, daha güçlü bilgisayar sistemlerine ihtiyaç duyulur.
Ayrıca bilgisayarların oynayacağı rol küçük değildir; Plan, otomatik sistemlere güvenin stratejik silahların denetimini de kapsamasının amaçlandığını açıkça ortaya koymaktadır.
Örneğin:
Komutanlar, angajman kurallarının hızla değişebileceği barıştan çatışmaya geçiş sırasında otonom sistemlerin oynayacağı rolden özellikle endişe duymaktadır. Böyle bir duruma son derece zorlayıcı bir örnek, stratejik nükleer füzelere karşı öngörülen savunmadır; burada sistemlerin o kadar hızlı tepki vermesi gerekir ki, neredeyse tamamen otomatik sistemlere güvenilmesi olasıdır. Aynı zamanda, kararları etkileyen etkenlerin karmaşıklığı ve öngörülemezliği çok büyük olacaktır. [s. 4]
Yanlış Alarmları İptal Etmek İçin Yargı ve Sağduyu Sahibi İnsanlara İhtiyaç Vardır
Stratejik Hesaplama Planı, otomatik karar almaya bu ölçüde güvenilmesini haklı çıkaracak herhangi bir argüman sunmamaktadır. Ne kadar karmaşık olursa olsun ve yapay zekâ içerip içermediğine bakılmaksızın, herhangi bir bilgisayar sistemi, eylemlerinin kapsamı ve uygun biçimde yanıt verebileceği durumların aralığı bakımından sınırlıdır.
Örneğin Amerika Birleşik Devletleri’nin balistik füze erken uyarı sistemleri (ve muhtemelen Sovyetler Birliği’ninkiler), aşırı duyarlılık yönünde hata yapacak şekilde tasarlanmıştır ve düzenli olarak yaklaşan saldırılara ilişkin yanlış alarmlar vermektedir. /3/ Bu alarmların çoğu rutin olarak ele alınsa da, bazı durumlarda tam ölçekli bir alarmın erken aşamalarını tetiklemişlerdir.
Bu yanlış alarmlar; doğal olaylarla başa çıkmadaki yazılım yetersizlikleri (bir durumda ayın doğuşu, başka bir durumda bir kaz sürüsü), altta yatan donanımdaki arızalar (ufuk üzerinden kaç füzenin geldiğine dair bir mesajın içine sayılar püskürtmeye başlayan arızalı bir tümleşik devre yongası gibi) ve insan hatası (bir operatörün eğitim bandını yanlış teyp sürücüsüne takması ve böylece sistemin bir simülasyon olarak amaçlanan şeye ciddi biçimde tepki vermesine neden olması gibi) kadar çeşitli nedenlerden kaynaklanmaktadır.
Bu tür arızalardan kaynaklanan kazalara karşı başlıca güvence, yargı ve sağduyu sahibi insanların sürece dâhil olması olmuştur. Şimdiye kadar, geri döndürülemez ve bütünüyle gerçek bir "karşı saldırıyı" önlemek için müdahale edebilmelerine her zaman yetecek kadar zaman bulunmuştur.
Beklenmeyen Olaylar
Bu derslere rağmen, Stratejik Hesaplama Planı, kritik karar almada insan unsurunun büyük ölçüde, hatta tamamen, makinelerle ikame edilebileceği görüşünü teşvik etmektedir. Bu, bilgisayarların yalnızca "uzman bilgiyi" değil, aynı zamanda sağduyu ve pratik akıl yürütmeyi de bünyesinde barındırmasını gerektirir.
Oysa sağduyulu akıl yürütmeyi ayırt eden özellik, son derece öngörülemez biçimlerde devasa bir deneyim arka planından yararlanabilme yeteneğidir. Örneğin bir arkadaşınıza evinizin yolunu tarif ederken, yol boyunca meydana gelebilecek tüm olası şeyler hakkında talimat vermeniz gerekmez: devrilmiş ağaçlar, kazalar, patlak lastikler. Olağanüstü geniş bir bilgi ve deneyim yelpazesi ilgili olabilir; neye ne zaman ihtiyaç duyacağımızı asla bilemeyiz. Çoğu zaman bu arka plan bilgisini kullandığımızı fark bile etmeyiz.
Bu gerçekler, sağduyu bilgisini ve pratik akıl yürütmeyi kodlama yönündeki her türlü girişimi zayıflatmaktadır. Sonuç olarak, mevcut uzman sistemler küçük bir çocuğun bile sahip olduğu sağduyuya sahip değildir. Bu sağduyu eksikliği, yapay zekâ sistemlerinde—herhangi bir bilgisayar sisteminde olduğu gibi—beklenmeyen olayların anormal tepkileri tetiklemeye yatkın olduğu anlamına gelir. Bu durum askerî sistemler açısından özellikle sorunludur; zira Stratejik Hesaplama Planı’nın da belirttiği gibi, en büyük tehdidi oluşturan savaşın öngörülemezliğidir.
Yapay Zekâdan Gelen Birçok Yerine Getirilmemiş Vaat
Gelişmiş yapay zekâ sistemleri bilimsel açıdan ilgi çekicidir; belirsizlikle başa çıkmakla ilgili olanlar dâhil, insan yeteneklerinin büyük ilgi duyduğumuz alanlarını keşfetmemizi sağlar. Yıllar içinde, yapay zekânın cazibesi araştırma fonlarına yönelik artan bir iştaha yol açmıştır. Bu iştah da profesyonel topluluğun, birçoğu öngörülenden daha zor olduğu ortaya çıkan vaatlerde bulunmasına neden olmuştur.
Örneğin, 1950’lerde kısa süre içinde tamamen otomatik makine çevirisine sahip olacağımıza yaygın olarak inanılıyordu; bu başarı hâlâ elimizden kaçmaktadır. Bu yerine getirilmemiş vaatler sıklıkla sıradan bir safdillik, yersiz iyimserlik ve bilimsel önerilerde abartmaya yönelik yaygın ama talihsiz bir eğilimin birleşimidir. Eksiklikler çoğu zaman ince anlamsal kaymalarla gizlenir. Makinelerimize "akıl yürütme" ya da "anlama" yetisi kazandıramadığımızda, bu terimlerin anlamını, gerçekte başardığımız şeyi tanımlayacak şekilde ayarlamaya eğilimliyiz. Bu süreçte, yapay zekânın gücüne ilişkin iddialarımızın gerçek anlamını bulanıklaştırırız.
Teknolojinin Gücüne Dair Gerçekçi Olmayan Güven
İddialar uygun nitelendirmeler olmaksızın kelimesi kelimesine alındığında, teknolojinin gücüne dair gerçekçi olmayan bir güven ortaya çıkar. Mesleğe yakın olanlar dâhil, politika yapıcılar bu tür yanlış anlamalara karşı bağışık değildir.
26 Nisan 1984 tarihli Los Angeles Times’ta bildirildiği üzere, Savunma Bakanlığı’nın uzay tabanlı silah sistemlerine ilişkin araştırmalarına dair aşağıdaki tartışmaya bakınız:
... Havai fişekler, Savunma İleri Araştırma Projeleri Ajansı direktörü Robert S. Cooper, Reagan’ın bilim danışmanı George Keyworth ve Stratejik Savunma Girişimi direktörü Korgeneral James A. Abrahamson’ın da aralarında bulunduğu bir panelin, Sovyet uzun menzilli füzelerini "itki" safhasında etkisiz kılmak üzere tasarlanan uzay tabanlı bir lazer sisteminin olağanüstü kısa bir bildirim süresiyle tetiklenmesi gerekeceğini kabul etmesiyle başladı.
Savaş başlıklarını uzaya yerleştirmeden önce iticilere saldırmak, Beyaz Saray’da bir karar alınmasını dışlayabilecek—hatta bir bilgisayar tarafından karar verilmesini gerektirebilecek—kadar hızlı bir eylem gerektirecekti, dedi panel.
Bunun üzerine Senatör Paul E. Tsongas (D.-Mass.) patladı: "Belki de 1990’larda R2-D2’yi Başkanlığa aday göstermeliyiz. En azından her zaman çevrimiçi olurdu."
"Birisi Başkan’a karar alma sürecinin dışında bırakıldığını söyledi mi?" diye sordu Tsongas.
"Ben kesinlikle söylemedim," dedi Keyworth.
Senatör Joseph R. Biden, Jr. (D.-Del.), bir hatanın Sovyetleri gerçek bir saldırı başlatmaya kışkırtıp kışkırtmayacağı konusunu zorladı. "Başkan’ın kendisinin bir hata yaptığını varsayalım ...," dedi.
"Neden?" diye araya girdi Cooper, "Onun hata yapamamasını sağlayacak teknolojiye sahip olabiliriz."
"Tamam," dedi Biden. "Beni ikna ettiniz. Bu programı sizin yürütmenizi istemediğime beni ikna ettiniz."
Derinlemesine İnsani Bir Politik Sorun
Cooper’ın son yorumu, bilgisayarların kritik kararları devralabilecek yetkinlikte olabileceği ve hatta insan yargısındaki eksiklikleri de düzeltebileceği inancını ele vermektedir. Tartışmanın gösterdiği gibi, sağduyu böyle bir iddianın inandırıcı olmadığını düşündürmektedir. Sağduyunun yanlış olması—altta yatan bilimin, sıradan insanların beklentilerinin ötesine geçmiş olması—mümkün olabilirdi. Ancak biz, bu kuşkuculuğun aslında sağlam temellere dayandığına inanıyoruz.
Modern savaşta karmaşıklık ve hız sorunlarıyla başa çıkmak için Stratejik Hesaplama Planı, 1940’larda nükleer silah teknolojisinin ortaya çıkışıyla karşılaştırılabilecek bir bilgisayar teknolojisi sıçraması önermektedir. İronik olarak, sorunlar kısmen çözüm olarak önerilen teknolojinin kendisinden kaynaklanmaktadır. Güvenliğimizi artırmak yerine, askerî üstünlük sağlamak amacıyla yeni teknoloji geliştirmeye yönelik geçmiş girişimler bizi bugünkü sürdürülemez duruma getirmiştir. Bu durumdan çıkış yolu olarak sözde "akıllı" silahlar geliştirme yönündeki itki, derinden insani bir politik sorun olan ve öyle kalacak bir mesele için teknolojik bir çözüm bulmaya yönelik bir başka beyhude girişimdir.
Kaynaklar
- Aksi belirtilmedikçe, tüm alıntılar Strategic Computing, New-Generation Computing Technology: A Strategic Plan for Its Development and Application to Critical Problems in Defense, Advanced Research Projects Agency, Rosslyn, Va., 28 Ekim 1983 adlı eserdendir.
- Schwartz, L. DoD to get $95 million in funding. Electronic News 3, 1489 (19 Mart 1984), 18.
- Örneğin bkz. Birleşik Devletler Senatosu Silahlı Hizmetler Komitesi’ne sunulan Hart-Goldwater raporu, Recent False Alerts from the Nation's Missile Attack Warning System, U.S. Government Printing Office, Washington, D.C., 9 Ekim 1980; ve Accidental Nuclear War, Newsletter of Physicians for Social Responsibility 3, 4 (Kış 1983), 1.