Google планирует создать гигантскую языковую модель ИИ с поддержкой 1 тыс. языков мира
Компания Google объявила о новом амбициозном проекте по разработке единой языковой модели искусственного интеллекта, поддерживающей 1000 наиболее распространенных языков мира. В качестве первого шага к этой цели она представила модель ИИ, обученную на более чем 400 языках, что является «самым большим языковым покрытием, наблюдаемым в языковых моделях на сегодняшний день», сообщает The Verge.
Язык и ИИ, вероятно, всегда были во главе продуктов Google, но последние достижения в области машинного обучения — в частности, разработка мощных, многофункциональных «больших языковых моделей» (LLM) — сделали новый акцент на этих сферах.
Google уже начал интегрировать эти языковые модели в такие продукты, как Google Search, но столкнулась с критикой со стороны некоторых пользователей. Языковые модели обладают рядом недостатков, включая склонность к вредным общественным предубеждениям, таким как расизм и ксенофобия, и неспособность разбирать язык с человеческой чувствительностью.
В разговоре с The Verge Зубин Гахрамани? вице-президент по исследованиям Google AI? сказал, что компания считает, что создание модели такого размера облегчит приобщение ИИ к языкам, которые слабо представлены в онлайн-пространствах и наборах данных для обучения ИИ (также известных как «языки с низким уровнем ресурсов»).
«Имея единственную модель, которая подвергается влиянию и тренируется на многих языках, мы получаем гораздо лучшие результаты на языках с ограниченными ресурсами, – говорит Гахрамани. – Путь к тысяче языков не состоит в создании тысячи разных моделей. Языки похожи на организмы, они эволюционировали не обособленно друг от друга и имеют определенное сходство. И мы уже имеем впечатляющие достижения в том, что мы называем обучением с нуля, когда мы включаем данные по новому языку в нашу 1000-язычную модель и получаем возможность переводить то, что она изучила с языка с высокими ресурсами на язык с низкими ресурсами».
Предыдущие исследования показали эффективность этого подхода, а масштаб запланированной модели Google может предложить существенные преимущества над предыдущей работой. Такие масштабные проекты стали типичными для технологических компаний, стремящихся доминировать в исследованиях ИИ. Похожим проектом является текущая попытка материнской компании Facebook Meta создать универсальный переводчик языка.
Однако основной проблемой для реализации подобной модели является ограниченный доступ к данным, поэтому Google будет финансировать сбор данных для языков с низким уровнем ресурсов, включая аудиозаписи и письменные тексты.
Компания заявляет, что на данный момент не имеет каких-то особых планов по использованию этой модели — только ожидает, что у нее будет широкое применение в различных продуктах Google, от Google Translate до подписей на YouTube.
