Metaverse sakinlerinin daha kolay etkileşim kurabilmeleri için gerçek zamanlı konuşmadan konuşmaya çeviri geliştirmeye çalışan Meta’nın Evrensel Konuşma Tercümanı (UST) programının bir parçası olacak.

Haberin Devamı

Haberin Devamı

Haberin Devamı

Haberin Devamı

Bu projenin bir parçası olarak Meta araştırmacıları, Asya’nın diasporasında konuşulan ve Tayvan’ın resmi dillerinden biri olan yazılı olmayan bir dil olan Hokkien’i incelediler.

Makine öğrenimi çeviri sistemleri tipik olarak, üzerinde eğitim almak için dilin hem yazılı hem de sözlü kapsamlı etiketlenebilir örneklerini gerektirir ve bu tam olarak Hokkien gibi yazılmamış dillerin sahip olmadığı şey.

CEO Mark Zuckerberg Çarşamba günkü bir blog yazısında, “Bunun üstesinden gelmek için, “giriş konuşmasını doğrudan Meta’nın öncülük ettiği yolda bir dizi akustik birime dönüştürmek için konuşmadan birime çeviri (S2UT) kullandık” dedi. “Ardından birimlerden dalga formları oluşturduk. Ayrıca UnitY, ilk geçiş kod çözücünün ilgili bir dilde (Mandarin) metin oluşturduğu ve ikinci geçiş kod çözücünün birimler oluşturduğu iki geçişli bir kod çözme mekanizması için benimsendi.”

“Önce İngilizce (veya Hokkien) konuşmayı Mandarin metnine çevirdiğimiz ve ardından Hokkien’e (veya İngilizce’ye) çevirdiğimiz ve eğitim verilerine eklediğimiz sözde etiketler oluşturmak için Mandarin’i bir ara dil olarak kullandık” diye devam etti. Halihazırda sistem, Hokkien konuşan birinin, İngilizce bilen birisiyle üslubuyla da olsa sohbet etmesine izin veriyor. Model, bir seferde yalnızca bir tam cümleyi çevirebilir, ancak Zuckerberg, tekniğin sonunda daha fazla dile uygulanabileceğinden ve gerçek zamanlı çeviri sunma noktasına kadar gelişeceğinden emin.

Haberin Devamı

Haberin Devamı

Haberin Devamı

Haberin Devamı

Meta’nın bu projeden halihazırda açık kaynaklı olduğu modellere ve eğitim verilerine ek olarak, şirket aynı zamanda Tayvan genelinde Taiwanese adlı bir Hokkien konuşma külliyatına dayalı, türünün ilk örneği bir konuşmadan konuşmaya çeviri kıyaslama sistemini piyasaya sürüyor. Zuckerberg, “Meta’nın LASER adlı yenilikçi veri madenciliği tekniğiyle çıkarılan büyük bir konuşma çevirileri topluluğu olan konuşma matrisinin” olduğunu duyurdu. Bu sistem, araştırmacıların kendilerine ait konuşmadan konuşmaya çeviri (S2ST) sistemleri oluşturmalarını sağlayacak.