Новият мултимодален преводач на Meta поддържа почти 100 езика

Meta има ново решение за мултимодален превод, SeamlessM4T. Става дума за модел с възможност за превод между множество езици и транскрибиране на глас в текст. Моделът поддържа близо 100 езика при разпознаване на глас, за глас към текст и текст към текст.

Преводът от текст към текст отново е за близо 100 езика, а превод глас към текст може да е към 36 езика. Преводите от текст към глас поддържат въвеждане от 100 езика и към 35 езика.

От компанията отбелязват, че SeamlessM4T значително подобрява представянето си при ниско- и средно-ресурсните поддържани езици, като запазва високо представяне при високо-ресурсните, като английски, испански и немски. Моделът е изграден върху съществуващата моделна архитектура UnitY и е заложено на системата BERT 2.0 за звуково кодиране.

Meta също така са използвали десетки милиарди изречения и четири милиона часа реч от публично достъпни хранилища, за да подобрят представянето на модела. В тестове SeamlessM4T се справя по-добре от предшественика си при наличието на фонов шум и различен стил на говор.

SeamlessM4T е с отворен код и може да бъде използван от учени и разработчици.

Източник: Meta