Pocket дообучает модели на базе Whisper для шумной офлайн-транскрипции

Pocket самостоятельно обрабатывает транскрипцию и использует модели, дообученные на базе OpenAI Whisper. Компания заявляет, что такой подход позволяет ей выбирать модели для транскрипции и суммаризации.

Многие онлайн-модели транскрипции обучались на очень чистых наборах данных, включая связанные с YouTube данные, такие как VoxCeleb, и хорошо работают с Zoom-встречами и другими чистыми онлайн-записями. При офлайн-записях с фоновым шумом, например гулом проходящего рядом поезда, они могут работать значительно хуже, поэтому Pocket дообучает модели для таких условий. Количественные показатели улучшения не приводились.