«Яндекс» опубликовал в открытом доступе самую большую GPT-подобную нейросеть YaLM-100B — Wylsacom

«Яндекс» опубликовал в открытом доступе самую большую GPT-подобную нейросеть YaLM-100B

Она способна генерировать практически любой текст.

Иллюстрация: Светлана Чувилёва / Wylsacom Media

«Яндекс» опубликовал в открытом доступе YaLM-100B — GPT-подобную нейросеть, способную генерировать и обрабатывать запросы на русском и английском языках. Эта нейросеть стала самой крупной системой такого типа, выложенной в открытый доступ на GitHub. Об этом в своём блоге пишет «Яндекс».

Нейросети YaLM используются в коммерческих целях в более чем двадцати продуктах компании, включая «Поиск» и «Алису»:

Языковые модели помогают сотрудникам службы поддержки отвечать на обращения, генерируют рекламные объявления и описания сайтов (сниппеты). Нейросети YaLM широко используются также при подготовке быстрых ответов в «Поиске».

«Яндекс»

Выложенная в открытый доступ YaLM 100В содержит 100 млрд параметров, для её подготовки было обработано 1,7 ТБ текстов на английском и русском языках. Обработка шла с помощью 800 видеокарт A100.

Таким образом, нейресеть YaLM способна генерировать любые тексты. Например, стихи. Также нейросеть может классифицировать их по различным параметрам. Например, по стилю.

Для обучения такой большой языковой модели требуются огромные ресурсы, опытные специалисты и годы работы. А нам важно, чтобы доступ к современным технологиям был не только у крупнейших IT-компаний, а у всего сообщества исследователей и разработчиков. Выкладывая YaLM 100B в открытый доступ, мы рассчитываем, что это даст толчок развитию генеративных нейросетей.

Пётр Попов

Генеральный директор «Яндекс Технологий»

В посте на «Хабре», посвящённому разработке нейросети, один из разработчиков, Михаил Хрущёв, рассказал, что для её запуска требуется 250 ГБ GPU в сумме. То есть дома её запустить не получится.

  • Аноним

    А в чём практическое применение дома на колонке?

  • Аноним

    для чего она нужна?

  • Аноним

    сдам свои мощности видеокарт в аренду Яндексу)

  • Аноним

    Всякой хренью занимаются..но не нужным и не практичным ничем) и это в такие то времена!

  • Аноним

    Ля, надеюсь кто-то поставит её на срвак достаточной мощности, чтобы люди моги поиграться с ней не только через команду в Алисе «Алиса, давай поболтаем»)

  • Аноним

    А Балабоба от Яндекса для чего?

  • Аноним

    Зря вы так. В будущем эти нейросети будут использованы в работе многих компаний и помогут сократить ненужный рутинный труд обычных сотрудников — т.е. будет меньше рутинной скучной работы у людей в целом. по-моему это прогресс. и хорошо что он у нас такие штуки еще разрабатывают, а нег где-то..

  • TheMike008

    тестовая штука, я думаю, что они просто практикуются в этой сфере для бушующего)

  • Аноним

    Круто красавцы. Наши топ.

  • Anton Chernetsov

    Если у Вас или у кого то прочитпвшего этот тест есть достаточная мощность для запуска, есть идея как это монетизировать. [email protected]

  • Azik Show

    Лучше бы не говорили. Вам бы все и сразу

  • Аноним

    Балабоба закрыт.

Комментарии для сайта Cackle