Categories: Технологии

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка

Также доступ открыт к расширенной версии нейросети mGPT, способной генерировать тексты на 61 языке

Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B. Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B — самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT*).

ruGPT-3.5

Внутри GigaChat находится целый ансамбль моделей — NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 млрд параметров (ruGPT-3.5 13B) — новая версия нейросети ruGPT-3 13B.

Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели — это базовый претрейн для дальнейших экспериментов.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.

mGPT

Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 млрд параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.

Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.

Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.

Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка:

«Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами».

Recent Posts

  • Спорт

Сборная Якутии по вольной борьбе завоевала две медали чемпионата России

Награды принесли Константин Капрынов и Александр Авелов

29.06.2025
  • Главное
  • Спорт

Игры Дыгына. Лидеры выявлены, но на победу претендует половина участников

Второй соревновательный день начнётся 29 июня с 12 часов

28.06.2025
  • Гороскоп

Гороскоп на 29 июня 2025 года для всех знаков зодиака

Если ваши дела идут по плану – отлично, если же в них наметилась пробуксовка, звезды…

28.06.2025
  • Фото Якутии

Фото: как нарядились якутяне на Ысыах Туймаады-2025

Представляем фотоподборку праздничных образов

28.06.2025
  • Общество

Фестиваль «День молодежи – 2025» в Якутске объединил четыре направления

Мероприятие стало частью всероссийского конкурса «Регион для молодых» национального проекта «Молодежь и дети»

28.06.2025
  • Культура

Первый республиканский фестиваль керамического ремесла «Туой кут» провели на Ысыахе Туймаады

Свои творения представили более 30 мастеров из районов Якутии

28.06.2025