Real проверяет каждую реплику в live-чатах с помощью многоуровневой ИИ-модерации

В Real сообщили, что используют ИИ для модерации с первого дня и теперь проверяют каждую реплику в реальном времени. Сначала система применяет таблицу соответствий, которая, по оценке компании, выявляет 80–85% проблемного контента, затем — быстрый классификатор, обнаруживающий еще 10%. То, что проходит эти этапы, проверяют более новые модели; при необходимости случай эскалируют.

Компания описывает модерацию как баланс между блокировкой особо вредного контента и сохранением некоторой резкости общения. По ее оценке, система работает хорошо, а модерация важна для live-чатов, которые иначе иногда приходится закрывать.