Модерация контента приложения
STATUS: Выбран для работы WebPurify. https://www.webpurify.com/photo-moderation/ https://www.webpurify.com/photo-moderation/ https://www.webpurify.com/profanity-filter/
Необходимо зайти на сервис, создать личный тестовый кабинет и провести тестовую интеграцию на проверку стабильности работы.
Документация сервиса: https://www.webpurify.com/video-moderation/documentation/ https://www.webpurify.com/documentation/ https://www.webpurify.com/photo-moderation/documentation/
Цели
- Пользователь должен иметь возможность не встречать потенциально запрещенный контент при просмотре изображений, текста или видео.
Для проверки соблюдения пользователями Пользовательского соглашения по использованию приложения требуется реализация механизма по модерации контента.
Для того, чтобы избежать поддельных профилей знаменитостей, было обсуждено и принято решение помечать профили знаменитостей галочкой "Верифицирован". При проверке постов будут использоваться следующие категории модерации: QR-коды, ссылки, ...
Рекомендации по проверке App Store
1.2 Пользовательский контент
Приложения с пользовательским контентом создают особые проблемы, начиная от нарушения прав интеллектуальной собственности и заканчивая анонимным издевательством. Чтобы предотвратить злоупотребления, приложения с пользовательским контентом или службы социальных сетей должны включать:
- Метод фильтрации нежелательных материалов от публикации в приложении.
- Механизм сообщения об оскорбительном контенте и своевременное реагирование на проблемы.
- Возможность заблокировать злоупотребляющих пользователей от сервиса.
- Опубликованная контактная информация, чтобы пользователи могли легко связаться с вами
Приложения с пользовательским контентом или услуги, которые в конечном итоге используются в основном для порнографического контента, опыт в стиле чат-рулетки, объективация реальных людей (например, голосование по принципу «горячо или нет»), физические угрозы или издевательства не относятся к Магазин приложений и могут быть удалены без предварительного уведомления. Если ваше приложение включает в себя контент, созданный пользователем из веб-службы, оно может отображать случайный контент для взрослых «NSFW» при условии, что контент скрыт по умолчанию и отображается только тогда, когда пользователь включает его через ваш веб-сайт.
Автоматическая модерация контента.
Постмодерация: Позволит пользователям публиковать свой контент в любой момент, но все элементы становятся в очередь на модерацию. Если элемент помечен как недопустимый, он удаляется, чтобы защитить остальных пользователей.
- Пользователь публикует контент
- После публикации пост отправляется на автоматическую модерацию
- Backend осуществляет проверку текста и вложенных файлов на предмет соответствия пользовательскому соглашению
- В админ. панели может быть установлен процент безопасности контента, при превышении которого контент может быть отправлен на модерацию, либо автоматически заблокирован.
- При выявлении контента подлежащего ручной модерации в админ. панели в отдельном представлении отображается пост для проверки при переходе в который можно просмотреть пост.
- Модератор может просмотреть пост и в соответствии с правилами модерации принять решение:
- одобрить пост, пост продолжит отображаться в ленте
- отклонить публикацию с указанием причины - Если пост отклонен пользователь в ленте на месте поста видит уведомление об удалении с указанием причины
draw.io
Сервисы:
https://sightengine.com/pricing
+ Готовы предложить Enterprise пакет, в случае превышения пакета PRO.
+ Есть все варианты проверки контента: видео, текст и изображения.
+ Есть проверка ссылок и QR-кодов.
- Дорого стоит. Одна операция - одна проверка. Таких категорий для нас 5. В случае с видео - оплата за каждые 2 секунды проверки.
- Нет казахского языка.
+ Готовы предложить Enterprise пакет, в случае превышения пакета. Будет стоить в районе 750 долларов в месяц. Не выше.
+ Есть все варианты проверки контента: видео, текст и изображения.
+ Есть казахский язык. При помощи их модуля можно добавить CSV файл с казахскими ругательствами и внести. Будет проверка на эти слова.
+ Для текста оплата всего 50$. Если количество вызовов API не превышает 4 вызова в секунду.
+ Высокий уровень кастомизации. Как категорий, так и видео. В видео можно расставлять таймлайн проверки: каждые 2 сек., каждые 5, 10 сек. Цена за 1 минуту - 0,15 центов.
- Разные тарифы под каждый элемент проверки: текст, видео, изображения.
https://hivemoderation.com/visual-moderation
+ Есть казахский язык.
+ Есть все варианты проверки контента: видео, текст и изображения.
+ Готовы предложить скидку (под вопросом).
+ Оплата только за 1000 вызовов API. 1 изображение = 1 вызов.
+ Высокий уровень кастомизации. В видео можно расставлять таймлайн проверки: каждые 2 сек., каждые 5, 10 сек.
- Минимальная оплата 1500$.
СРАВНЕНИЕ ТАРИФОВ
| Услуга | Sightengine | WebPurify | TheHive |
|---|---|---|---|
| Модерация текста | 1 операция - 1000 символов. | 50 долларов, если количество запросов не превышает 4 запроса в секунду. | |
| Модерация видео | 1 фрейм видео = 2 сек. ролика. 60 секунд видео = 30 изображений. 5 категорий * 30 операций = 150 операций за одно минутное видео. | 0,0015 долларов за категорию. Таких категорий 5. 1 фрейм видео = 5 сек. ролика. 60 секунд видео = 12 изображений * 5 категорий = 60 операций за минутное видео. Или 60*0,0015 = 0,09$ | 1000 изображений = 3$ |
| Модерация изображений | 1 изображение = 1 операция. Дополнительно 1 категория = 1 операция. Мы выбираем 5 категорий. Получается 1 изображение + 5 категорий = 6 операций. | 0,0015 долларов за категорию. Таких категорий 5. Получается 5 категорий за одно изображение. 0,0075$. | 1000 изображений = 3$ |
| Общая цена в мес. | 399$ - 200K операций. и +0.0015 за каждую дополнительную операцию. | 50$ за текст | Минимум 1500$. |
| Количество текста | 200 000/1= 200 000 текстов | Безлимит | |
| Количество видео | 200 000/150=1333 видео | 1000 видео = 90$ | |
| Количество изображений | 200 000/6=33 333 изображений | 1000 изображений =7,5$ | |
Подача и обработка жалобы пользователей.
- Пользователь приложения может подать жалобу на контент, если посчитает его неприемлемым.
- Пользователь на выбранной публикации посредством нажатия на кнопку меню "Три точки" в правом верхнем углу поста может выбрать операцию: "Пожаловаться"
- При нажатии на кнопку "Пожаловаться" пользователь должен иметь возможность выбрать тип нарушения из предоставленного списка (значение из справочника) или ввести свой вариант;
- Система должна предоставить подтверждение о получении жалобы;
- Пользователю админ .панели с ролью модератор в приложении должно прийти уведомление о получении жалобы.
- В отдельном представлении в админ. панели Модератор может просмотреть все жалобы поданные пользователями для ручной модерации контента и проверки жалобы.
- Если нарушения согласно поданной жалобе не подтверждены, модератор формирует мотивированный отказ в удовлетворении жалобы и пост продолжает быть опубликованным в приложении.
- Система направляет сформированный мотивированный отказ автору жалобы путем push-уведомления.
- Если нарушения подтверждены, модератор формирует мотивированное сообщение о признании контента неприемлемым и подает заявку на удаление.
- Автор контента в ленте на месте поста видит уведомление о нарушении правил и удалении поста.
Список категорий жалоб
- Мне это не нравится
- Это спам
- Изображение обнаженного тела или действий сексуального характера:
• Изображение обнаженного тела или порнография
• Сексуальная эксплуатация или домогательство
• Публикация личных фото
• Материалы с изображением детей - Мошенничество или обман
- Враждебные высказывания