Teknoloji

Algoritma, Met’teki resimler arasında gizli bağlantılar bulur

Algoritma, Met'teki resimler arasında gizli bağlantılar bulur

Sanat, zaman ve mekandaki bir anı sağlamlaştıran, geçmişe yapılan en büyük yolculuk olarak müjdeliyor; şimdiki zamandan bir an kaçmamızı sağlayan güzel araç.

Var olan resimlerin sınırsız hazinesi ile, bu sanat eserleri arasındaki farklı zaman ve mekan dönemlerine ait bağlantılar genellikle gözden kaçabilir. En bilgili sanat eleştirmenlerinin bile binlerce yıl boyunca milyonlarca resim alması ve temalarda, motiflerde ve görsel stillerde beklenmedik paralellikler bulmaları imkansızdır.

Bu süreci kolaylaştırmak için, MIT’nin Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’ndan (CSAIL) ve Microsoft’tan bir grup araştırmacı, Metropolitan Museum of Art (Met) ve Amsterdam’ın Rijksmuseum’daki resimler arasındaki gizli bağlantıları keşfetmek için bir algoritma oluşturdu.

Rijksmuseum’daki özel bir sergi olan “Rembrandt ve Velazquez” ten esinlenen yeni “MosAIc” sistemi, iki görüntünün ne kadar “yakın” olduğunu anlamak için derin ağlar kullanarak farklı kültürlerden, sanatçılardan ve medyadan eşleştirilmiş veya “benzer” çalışmaları bulur. Bu sergide, araştırmacılar beklenmedik ama benzer bir eşleştirmeden ilham aldı: Francisco de Zurbarán’ın “Aziz Serapion Şehitliği” ve Jan Asselijn’in “Tehdit Altındaki Kuğu”, derin fedakârlık sahnelerini ürkütücü bir görsel benzerlikle tasvir eden iki çalışma.

CSAIL Doktora öğrencisi Mark Hamilton, “Bu iki sanatçının hayatları boyunca bir yazışması yoktu veya birbirleriyle tanışmamışlardı, ancak resimleri her iki eserinin altında yatan zengin, gizli bir yapıya işaret ediyordu” diyor. ” Mozaik.”

Ekip, benzer iki resmi bulmak için, belirli bir sanatçı veya kültürün en yakın eşleşmesini ortaya çıkarmak için görsel arama için yeni bir algoritma kullandı. Örneğin, “mavi-beyaz bir elbisenin bu tablosuna hangi müzik aletinin en yakın olduğu” sorusuna yanıt olarak algoritma, mavi-beyaz porselen keman görüntüsünü alır. Bu eserler sadece desen ve form bakımından benzer olmakla kalmıyor, aynı zamanda köklerini Hollandalılar ve Çinliler arasında daha geniş bir kültürel porselen değişiminden alıyor.

Hamilton, “Görüntü alma sistemleri, kullanıcıların bir sorgu görüntüsüne anlamsal olarak benzeyen, ters görüntü arama motorlarının ve birçok ürün öneri motorunun belkemiği olarak hizmet veren görüntüleri bulmasına izin veriyor,” diyor. “Bir görüntü alma sistemini belirli görüntü alt kümeleriyle sınırlamak, görsel dünyadaki ilişkilere yeni bakış açıları sağlayabilir. Yaratıcı eserlerle yeni bir etkileşim düzeyini teşvik etmeyi amaçlıyoruz. “

Nasıl çalışır

Birçoğu için sanat ve bilim uzlaşmaz: Biri mantık, akıl yürütme ve kanıtlanmış gerçeklere dayanır, diğeri ise duygu, estetik ve güzellik tarafından motive edilir. Ancak son zamanlarda, yapay zeka ve sanat, son 10 yılda daha ciddi bir şeye dönüşen yeni bir flörtleşmeye başladı.

Örneğin, bu çalışmanın büyük bir kolu, daha önce AI kullanarak yeni sanat üretmeye odaklandı. MIT, NVIDIA ve Berkeley’deki California Üniversitesi’ndeki araştırmacılar tarafından geliştirilen GauGAN projesi vardı; Hamilton ve diğerlerinin önceki GenStudio projesi; ve hatta Sotheby’s’de 51.000 dolara satılan yapay zeka tarafından üretilmiş bir sanat eseri.

Ancak MosAIc, mevcut sanatı keşfetmeye yardımcı olmak kadar yeni sanat yaratmayı hedeflemiyor. Benzer bir araç, Google’ın “X Degrees of Separation”, iki sanat eserini birbirine bağlayan sanat yollarını bulur, ancak MosAIc yalnızca tek bir görüntü gerektirmesi bakımından farklılık gösterir. Yollar bulmak yerine, kullanıcının ilgilendiği kültür veya medyadaki bağlantıları ortaya çıkarır, örneğin “Anthropoides paradisea” ve “Seth Slaying a Serpent, Hibis’teki Amun Tapınağı” gibi ortak sanatsal formları bulmak gibi.

Hamilton, algoritmalarını oluşturmanın zor bir çaba olduğunu, çünkü yalnızca renk veya stil açısından değil, anlam ve tema açısından da benzer görüntüler bulmak istediklerini belirtiyor. Başka bir deyişle, köpeklerin diğer köpeklere yakın olmasını, insanların diğer insanlara yakın olmasını vb. İsterlerdi. Bunu başarmak için, Met ve Rijksmuseum’un birleşik açık erişim koleksiyonlarındaki her görüntü için derin bir ağın iç “etkinleştirmelerini” araştırıyorlar. Genellikle “özellikler” olarak adlandırılan bu derin ağın “etkinleştirmeleri” arasındaki mesafe, görüntü benzerliğini nasıl değerlendirdikleriydi.

Ekip, farklı kültürler arasında benzer görüntüler bulmak için benzer görüntüleri ağaç benzeri bir yapıda gruplayan “koşullu KNN ağacı” adı verilen yeni bir görüntü arama veri yapısı kullandı. Yakın bir eşleşme bulmak için, ağacın “gövdesinden” başlarlar ve en yakın resmi bulduklarından emin olana kadar en umut verici “dalı” takip ederler. Veri yapısı, ağacın kendisini belirli bir kültüre, sanatçıya veya koleksiyona hızlı bir şekilde “budamasına” izin vererek, yeni sorgu türlerine hızlı bir şekilde yanıtlar vererek öncüllerine göre gelişir.

Hamilton ve meslektaşlarının şaşırtıcı buldukları şey, bu yaklaşımın yakın zamanda ortaya çıkan “derin sahte” dalgalanmalarıyla ilgili mevcut derin ağlarla ilgili sorunları bulmaya yardımcı olmak için de uygulanabileceğiydi. Bu veri yapısını, genellikle derin sahte oluşturmak için kullanılan üretici rakip ağlar (GAN’lar) gibi olasılık modellerinin çöktüğü alanları bulmak için uyguladılar. Bu sorunlu alanları “kör noktalar” oluşturdular ve bize GAN’ların nasıl önyargılı olabileceğine dair fikir verdiklerini not ettiler. Bu tür kör noktalar ayrıca, GAN’ların, çoğu sahtekarlığı bir insanı kandırabilse bile, bir veri kümesinin belirli alanlarını temsil etmek için mücadele ettiğini göstermektedir.

MosAIc’i Test Etme

Ekip, MosAIc’in hızını ve görsel analojiler hakkındaki insan sezgilerimizle ne kadar uyumlu olduğunu değerlendirdi.

Hız testleri için, veri yapılarının hızlı, kaba kuvvetle arama ile koleksiyonda basitçe arama yapmak yerine değer sağladığından emin olmak istediler.

Sistemin insan sezgileriyle ne kadar uyumlu olduğunu anlamak için koşullu görüntü alma sistemlerini değerlendirmek için iki yeni veri seti oluşturdular ve yayınladılar. Bir veri kümesi, nöral stil aktarım yöntemiyle “stilize edildikten” sonra bile aynı içeriğe sahip görüntüleri bulmak için algoritmalara meydan okudu. İkinci veri kümesi, farklı yazı tiplerinde İngilizce harfleri kurtarmak için algoritmalara meydan okudu. Zamanın üçte ikisinden biraz daha az olan MosAIc, 5.000 görüntüden oluşan “samanlıktan” tek bir tahminle doğru görüntüyü kurtarmayı başardı.

Hamilton, “İleriye dönük olarak, bu çalışmanın başkalarına bilgi edinme araçlarının sanat, beşeri bilimler, sosyal bilimler ve tıp gibi diğer alanlara nasıl yardımcı olabileceğini düşünmeleri için ilham vermesini umuyoruz” diyor. “Bu alanlar, bu tekniklerle hiç işlenmemiş bilgiler açısından zengindir ve hem bilgisayar bilimcileri hem de alan uzmanları için büyük ilham kaynağı olabilir. Bu çalışma, yeni veri kümeleri, yeni sorgu türleri ve işler arasındaki bağlantıları anlamanın yeni yolları açısından genişletilebilir. “

Hamilton, Profesör Bill Freeman ve MIT lisans öğrencileri Stefanie Fu ve Mindren Lu ile birlikte MosAIc üzerine yazdı. MosAIc web sitesi MIT, Fu, Lu, Zhenbang Chen, Felix Tran, Darius Bopp, Margaret Wang, Marina Rogers ve Johnny Bui tarafından Microsoft Garage kış staj programında oluşturuldu.

Basın İletişim

Rachel Gordon
E-posta: rachelg@csail.mit.edu
Telefon: 617-258-0675
MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı

Daha Fazla Göster

İlgili Makaleler

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Başa dön tuşu
Kapalı
Kapalı

Reklam Engelleyici Algılandı

Lütfen reklam engelleyiciyi devre dışı bırakarak bizi desteklemeyi düşünün
Sohbete Başla
Merhaba .
Yazarınız olmak istiyorum :)