«Яндекс» опубликовал в открытом доступе самую большую GPT-подобную нейросеть YaLM-100B
Она способна генерировать практически любой текст.
«Яндекс» опубликовал в открытом доступе YaLM-100B — GPT-подобную нейросеть, способную генерировать и обрабатывать запросы на русском и английском языках. Эта нейросеть стала самой крупной системой такого типа, выложенной в открытый доступ на GitHub. Об этом в своём блоге пишет «Яндекс».
Нейросети YaLM используются в коммерческих целях в более чем двадцати продуктах компании, включая «Поиск» и «Алису»:
Языковые модели помогают сотрудникам службы поддержки отвечать на обращения, генерируют рекламные объявления и описания сайтов (сниппеты). Нейросети YaLM широко используются также при подготовке быстрых ответов в «Поиске».
Выложенная в открытый доступ YaLM 100В содержит 100 млрд параметров, для её подготовки было обработано 1,7 ТБ текстов на английском и русском языках. Обработка шла с помощью 800 видеокарт A100.
Таким образом, нейресеть YaLM способна генерировать любые тексты. Например, стихи. Также нейросеть может классифицировать их по различным параметрам. Например, по стилю.
Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей.
Генеральный директор «Яндекс Технологий»
В посте на «Хабре», посвящённому разработке нейросети, один из разработчиков, Михаил Хрущёв, рассказал, что для её запуска требуется 250 ГБ GPU в сумме. То есть дома её запустить не получится.