«Сбер» выложил в открытый доступ облегченную версию модели GigaChat3.1-Audio-10B и семейство моделей автоматического распознавания речи GigaAM Multilingual.

GigaChat3.1-Audio-10B — большая языковая модель, которая обрабатывает аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Модель распознает интонацию говорящего и определяет, с позитивной или негативной эмоцией произнесена реплика — по характеристикам голоса и нюансам произношения. Она способна обрабатывать записи длиной до трех часов и ориентироваться внутри них: находить момент, где обсуждался конкретный вопрос, пересказывать отдельный отрезок или выдавать саммари всей записи со ссылками на таймкоды. Модель также различает в записи спикеров. Эти возможности можно использовать для разбора совещаний и звонков, навигации по записям, протоколирования.

GigaAM Multilingual — семейство моделей автоматического распознавания речи, первая российская открытая модель, работающая с несколькими языками, и лучшее из открытых решений по качеству распознавания речи на русском.

Фото компании. GigaAM Multilingual — семейство моделей автоматического распознавания речи, первая российская открытая модель, работающая с несколькими языками

Антон Фролов, старший вице-президент, руководитель блока «Развитие генеративного ИИ» «Сбербанка»: «Голос — самый естественный способ общения с технологией, но и самый требовательный: любая ошибка в распознавании или неверно считанная эмоция сразу разрушает доверие к ассистенту. Поэтому мы считаем аудио точкой роста для рынка ИИ-помощников. Запуская эти модели в открытый доступ, мы даем мощный инструмент разработчикам и ученым. От синхронного голосового перевода до сервисов для людей с нарушениями речи — спектр применений у голосовых технологий очень широкий. А мультиязычность и возможность легкого обучения другим языкам открывают для них и международные перспективы».

На основе GigaChat3.1-Audio-10B можно создавать:

— сервисы транскрибации; — тренажеры произношения; — инструменты для оценки качества озвучки; — голосовые переводчики с пониманием контекста; — сервисы пересказа длинных записей.

GigaAM Multilingual по замерам допускает в 1,5-2 раза меньше ошибок, чем ближайшие конкуренты.

Модель поддерживает русский, английский, кыргызский, казахский и узбекский языки и доступна в двух версиях — компактной, которая работает на обычных процессорах, и флагманской, обеспечивающей более высокое качество распознавания.

Подойдет для кол-центров и голосовых ассистентов, расшифровки встреч, интервью и подкастов, голосового ввода в приложениях и автосубтитров.

Обе модели прошли предварительное обучение на большом числе языков, поэтому их можно быстро дообучить под дополнительные, в том числе языки стран СНГ. Для этого достаточно нескольких десятков часов размеченных аудиозаписей.

Научные статьи о новых моделях приняты на Interspeech 2026 — одну из ведущих международных конференций по речевым технологиям.

Обновленная GigaChat Audio уже работает и внутри ИИ-помощника «ГигаЧат».