Yapay zeka bilimsel ilerlemenin mantığını takip etmiyor
Makine öğrenimi sistemlerini, onları inşa edenler için bile “kara kutular” (1) olarak ilan eden araştırmacılar ve profesyoneller hakkında MT'de birçok kez yazdık. Bu, sonuçları değerlendirmeyi ve ortaya çıkan algoritmaları yeniden kullanmayı zorlaştırır.
Sinir ağları - bize akıllı dönüştürme botları ve şiir bile yaratabilen ustaca metin oluşturucuları sağlayan teknik - dışarıdaki gözlemciler için anlaşılmaz bir gizem olmaya devam ediyor.
Daha büyük ve daha karmaşık hale geliyorlar, devasa veri kümelerini yönetiyorlar ve devasa hesaplama dizileri kullanıyorlar. Bu, elde edilen modellerin çoğaltılması ve analizi, çok büyük bütçeli büyük merkezler dışında diğer araştırmacılar için maliyetli ve bazen imkansız hale getirir.
Birçok bilim insanı bu sorunun farkındadır. Aralarında Joel Pino (2), tekrarlanabilirlik konusundaki önde gelen konferans olan NeurIPS'in başkanı. Liderliği altındaki uzmanlar bir "tekrarlanabilirlik kontrol listesi" oluşturmak istiyor.
Pino, fikrin, araştırmacıları başkalarına bir yol haritası sunmaya teşvik etmek olduğunu, böylece daha önce yapılmış çalışmaları yeniden oluşturabilmelerini ve kullanabileceklerini söyledi. Yeni bir metin oluşturucunun belagatına veya bir video oyunu robotunun insanüstü becerisine hayran olabilirsiniz, ancak en iyi uzmanların bile bu harikaların nasıl çalıştığı hakkında hiçbir fikri yoktur. Bu nedenle, AI modellerinin çoğaltılması, yalnızca araştırma için yeni hedefler ve yönler belirlemek için değil, aynı zamanda tamamen pratik bir kullanım kılavuzu olarak da önemlidir.
Diğerleri bu sorunu çözmeye çalışıyor. Google araştırmacıları, olası hatalara işaret eden sonuçlar da dahil olmak üzere, sistemlerin nasıl test edildiğini ayrıntılı olarak açıklamak için "model kartları" sundu. Allen Yapay Zeka Enstitüsü'ndeki (AI2) araştırmacılar, Pinot tekrarlanabilirlik kontrol listesini deneysel süreçteki diğer adımlara genişletmeyi amaçlayan bir makale yayınladılar. “İşini göster” diyorlar.
Bazen temel bilgiler, araştırma projesinin, özellikle şirket için çalışan laboratuvarların mülkiyetinde olduğu için eksiktir. Bununla birlikte, daha sıklıkla, değişen ve giderek karmaşıklaşan araştırma yöntemlerini tanımlayamamanın bir işaretidir. Sinir ağları çok karmaşık bir alandır. En iyi sonuçları elde etmek için, çoğu zaman, bazılarının "kara büyü" dediği binlerce "düğme ve düğmenin" ince ayarı gerekir. Optimal modelin seçimi genellikle çok sayıda deneyle ilişkilendirilir. Büyü çok pahalı hale gelir.
Örneğin, Facebook, DeepMind Alphabet tarafından geliştirilen bir sistem olan AlphaGo'nun çalışmasını kopyalamaya çalıştığında, görev son derece zor oldu. Facebook çalışanlarına göre, devasa hesaplama gereksinimleri, binlerce cihaz üzerinde günlerce süren milyonlarca deney, kod eksikliğiyle birleştiğinde, sistemi "imkansız olmasa da yeniden oluşturmayı, test etmeyi, iyileştirmeyi ve genişletmeyi çok zor" hale getirdi.
Sorun uzmanlaşmış görünüyor. Bununla birlikte, daha fazla düşünürsek, bir araştırma ekibi ile diğeri arasındaki sonuçların ve işlevlerin tekrarlanabilirliği ile ilgili problemler olgusu, bilimin işleyişinin ve bildiğimiz araştırma süreçlerinin tüm mantığını baltalamaktadır. Kural olarak, önceki araştırmaların sonuçları, bilgi, teknoloji ve genel ilerlemenin gelişimini teşvik eden ileri araştırmalar için bir temel olarak kullanılabilir.
