Rongchai Wang
19 серпня 2025 02:26
NVIDIA представляє Streaming Sortformer, модель діаризації мовців у режимі реального часу, що покращує відстеження кількох спікерів на зустрічах, дзвінках та голосових застосунках. Дізнайтеся про її можливості та потенційні застосування.
NVIDIA оголосила про запуск своєї останньої інновації, Streaming Sortformer, моделі діаризації мовців у режимі реального часу, розробленої для революційної зміни способу ідентифікації спікерів на зустрічах, дзвінках та голосових застосунках. За даними NVIDIA, ця модель розроблена для обробки сценаріїв з низькою затримкою та кількома спікерами, пропонуючи безперебійну інтеграцію з інструментами NVIDIA NeMo та NVIDIA Riva.
Ключові особливості та можливості
Streaming Sortformer пропонує розширені функції, які покращують його зручність використання в різних застосунках у режимі реального часу. Він забезпечує діаризацію на рівні кадрів з точними часовими мітками для кожного висловлювання, гарантуючи точне відстеження спікерів. Модель підтримує відстеження від двох до чотирьох спікерів з мінімальною затримкою та оптимізована для ефективного висновку на GPU, що робить її готовою для робочих процесів NeMo та Riva. Хоча вона в першу чергу оптимізована для англійської мови, вона також продемонструвала високу продуктивність на наборах даних мандаринської та інших мов.
Показники ефективності
Оцінка продуктивності Streaming Sortformer показує вражаючі результати в показнику помилки діаризації (DER), критичному показнику точності ідентифікації спікерів, де нижчі показники вказують на кращу продуктивність. Модель успішно конкурує з існуючими системами, такими як EEND-GLA та LS-EEND, демонструючи свій потенціал у контекстах відстеження спікерів у режимі реального часу.
Застосування та варіанти використання
Універсальність моделі очевидна в її широкому спектрі застосувань. Від створення транскриптів із позначками спікерів у режимі реального часу під час зустрічей до сприяння дотриманню вимог та забезпечення якості в контактних центрах, Streaming Sortformer готовий підвищити продуктивність у різних секторах. Крім того, він підтримує голосових ботів та ШІ-асистентів, покращуючи природність діалогу та чергування реплік, а також допомагає медіа та телерадіомовній індустрії з автоматичним маркуванням для цілей редагування.
Технічна архітектура
Під капотом Streaming Sortformer використовує складну архітектуру, яка включає згортковий модуль попереднього кодування та серію блоків конформерів і трансформерів. Ці компоненти працюють разом для обробки та аналізу аудіо, сортуючи спікерів на основі їх появи в записі. Модель обробляє аудіо в невеликих перекриваючих фрагментах, використовуючи кеш спікерів за порядком прибуття (AOSC), забезпечуючи послідовну ідентифікацію спікерів протягом усього потоку.
Майбутні перспективи та обмеження
Незважаючи на свої потужні можливості, Streaming Sortformer наразі розроблений для сценаріїв, що включають до чотирьох спікерів. NVIDIA визнає необхідність подальшого розвитку для розширення його можливостей обробки більшої кількості спікерів та покращення продуктивності в різних мовах та складних акустичних середовищах. Також плануються заходи для покращення його інтеграції з конвеєрами Riva та NeMo.
Для тих, хто цікавиться технічними тонкощами Streaming Sortformer, дослідження NVIDIA щодо Offline Sortformer доступне на arXiv.
Джерело зображення: Shutterstock
Джерело: https://blockchain.news/news/nvidia-streaming-sortformer-real-time-speaker-identification
