Шумные аннотации ASR и агрегация транскриптов
Несколько аннотаторов расшифровывают один и тот же аудиофайл на языке с ограниченными ресурсами и создают противоречивый текст, цифры и адреса. Как вы очищаете или объединяете этикетки?
Сначала проговорите ответ вслух или тезисами.
Формулы, план решения, риски и примеры.
Откройте разбор только после своей попытки.
Короткий ответ
Используйте строгие правила аннотирования, нормализуйте номера и адреса, двойную маркировку жестких образцов, выравнивайте расшифровки, разрешайте разногласия конфиденциально или путем проверки, а также измеряйте качество аннотаторов.
Подробный разбор
Начните с рекомендаций. Определите, как писать время, даты, числа, названия ветвей, колебания и неясную речь. Предоставьте примеры и словарь нормализации для ветвей и распространенных вариантов адресов.
Для агрегации выровняйте транскрипты на уровне слов или символов, используя расстояние редактирования или выравнивание последовательности. Токены, согласованные большинством аннотаторов, могут быть приняты автоматически. Разногласия по ключевым моментам, таким как время, дата и адрес, следует передавать на рассмотрение экспертам или разрешать с использованием таблицы бронирования оператора, если она заслуживает доверия.
Отслеживайте качество аннотаторов с помощью перекрывающихся выборок, частоты разногласий, частоты ошибок для конкретной организации и результатов судебных решений. Цель — не красивая стенограмма; это расшифровка и метки объектов, которые улучшают ASR и извлечение последующих бронирований.
Типичные ошибки
- Используйте необработанный текст аннотатора без нормализации.
- Агрегированные транскрипты с простым равенством строк.
- Игнорируйте разногласия между организациями, потому что WER выглядит приемлемым.
- Не удалось измерить качество на уровне аннотатора.
Как сказать на собеседовании
- Упомяните о выравнивании последовательности перед принятием решения большинством голосов.
- Сосредоточьте обзор на датах, времени и адресах.