Pocket Fine-Tunes Whisper-Based Models for Noisy Offline Transcription
Pocket handles transcription itself and uses models fine-tuned on top of OpenAI’s Whisper. The company says this approach lets it choose the models it uses for transcription and summarization.
Many online transcription models were trained on extremely clean datasets, including YouTube-related data such as VoxCeleb, and work well for Zoom meetings and other clean online recordings. They can perform poorly on offline recordings with background noise, such as a nearby train, so Pocket fine-tunes its models for that environment. No quantitative improvement figures were provided.
Pocket дообучает модели на базе Whisper для шумной офлайн-транскрипции
Pocket самостоятельно обрабатывает транскрипцию и использует модели, дообученные на базе OpenAI Whisper. Компания заявляет, что такой подход позволяет ей выбирать модели для транскрипции и суммаризации.
Многие онлайн-модели транскрипции обучались на очень чистых наборах данных, включая связанные с YouTube данные, такие как VoxCeleb, и хорошо работают с Zoom-встречами и другими чистыми онлайн-записями. При офлайн-записях с фоновым шумом, например гулом проходящего рядом поезда, они могут работать значительно хуже, поэтому Pocket дообучает модели для таких условий. Количественные показатели улучшения не приводились.