Безопасность – главный приоритет компании Bumble. Чтобы свести к минимуму время, в течение которого контент, противоречащий нашим Правилам сообщества и Условиям обслуживания, а также вредный или незаконный контент (именуемый «Нарушающий контент») остается на Bumble, мы используем комбинацию из следующих инструментов:
- Автоматизированные системы выявляют нарушающий контент и, в некоторых случаях, принимают меры в отношении него в режиме реального времени.
- Модерация, выполняемая людьми, позволяет рассмотреть случаи в соответствующем контексте.
- Контроль со стороны пользователей – мы призываем всех наших пользователей применять наши инструменты в приложении, чтобы жаловаться на подозрительные аккаунты, блокировать их и отменять лайк.
Мы используем эти меры, уделяя особое внимание определенным типам нарушающего контента, включая, в числе прочего, следующие:
1. Контент, связанный с терроризмом
- Наши Правила сообщества в отношении борьбы с терроризмом и насильственным экстремизмом запрещают присутствие в приложении лиц или организаций, которые проповедуют, прославляют, оправдывают или поддерживают насильственные, опасные или террористические действия.
- Наш автоматизированный инструмент текстового обнаружения выделяет ключевые слова, фразы и модели поведения, связанные с экстремистским контентом, для проверки человеком.
- Кроме того, фотографии и видео, загруженные в приложение, могут проходить человеческую и/или автоматическую модерацию для выявления изображений, содержащих огнестрельное оружие, взрывчатые вещества или символы ненависти.
- В маловероятном случае обнаружения нарушающего содержимого в этой категории оно будет оперативно удалено, а доступ пользователя к приложению аннулирован.
2. Контент, связанный с сексуальной эксплуатацией детей и жестоким обращением с ними (CSEA)
- Согласно нашим Условиям обслуживания и Правилам сообщества Bumble предназначен исключительно для совершеннолетних лиц (18+). Мы абсолютно не приемлем сексуальную эксплуатацию и насилие в отношении детей в какой-либо форме.
- Мы призываем всех пользователей сообщать о любых подозрениях в отношении несовершеннолетних лиц, указывая специальные причины для подачи жалобы в нашем инструменте в приложении.
- Мы применяем меры по проверке возраста, направленные на обнаружение лиц, не достигших 18 лет, и на запрет доступа к приложению для них, что значительно снижает риск эксплуатации детей.
- Наша упреждающая система автоматического обнаружения текстовых сообщений проверяет ключевые слова и поведенческие индикаторы несовершеннолетних пользователей в приложении, что также помогает нам обнаружить потенциальные попытки груминга детей.
- Мы также используем упреждающую технологию обнаружения контента, связанного с сексуальным насилием над детьми (детская порнография), которая заключается в автоматическом сопоставлении хэшей с базами данных, соответствующими отраслевым стандартам, для выявления и удаления обнаруженных случаев детской порнографии. Если детская порнография подтверждается, это приводит к немедленному удалению и блокировке аккаунта.
3. Мошенничество и финансовые преступления (включая «Мошенничество в сфере онлайн-знакомств»)
- Наши Правила сообщества запрещают любую мошенническую или воровскую деятельность, направленную на обман пользователей или манипулирование ими с целью лишения их финансовых или материальных ресурсов. Мы также запрещаем ненастоящие профили и ожидаем, что все наши пользователи будут предоставлять точные данные о себе в профиле.
- Мы призываем всех пользователей сообщать о любых подозрениях на мошенничество или фальшивые профили, указывая специальные причины для подачи жалоб в нашем инструменте в приложении.
-
Мы используем сочетание автоматизированных и ручных проверок для обнаружения и устранения мошеннических действий, включая:
- Deception Detector™ – запатентованная система обнаружения мошенничества на основе искусственного интеллекта, которая анализирует данные профиля, модели взаимодействия и активность аккаунта, чтобы обнаружить обман до того, как будет совершено мошенничество. Эти технологии используются в сочетании с поддержкой специалистов для обеспечения безопасности и расширения возможностей сообщества.
- Обнаружение финансового вымогательства – сканирование с помощью искусственного интеллекта и ключевых слов выявляет и передает на проверку человеку сообщения о финансовом вымогательстве.
- Модерация фото и видео: автоматическая и человеческая проверка изображений для выявления и передачи по инстанциям изображений, содержащих знаменитостей, QR-коды или текст.
- Кроме того, наша специальная команда по борьбе со спамом постоянно анализирует данные профиля, подлинность фотографий и поведенческие модели для выявления недобросовестных пользователей.
- Профили, отмеченные как подозрительные, либо немедленно блокируются, если подтверждается факт мошенничества, либо должны пройти дополнительную проверку, чтобы получить доступ к приложению.
4. Другой нарушающий правила контент
- Угрозы, оскорбления и домогательства – как указано в наших Правилах сообщества, мы не допускаем контент или поведение, которые заставляют отдельных лиц или группы людей чувствовать себя жертвами домогательств, издевательств или нападок.
- Риторика ненависти и вредная дезинформация – наша политика в отношении ненависти по признаку идентичности запрещает контент или поведение, которые поощряют или оправдывают ненависть, обесчеловечивание, унижение или презрение к маргинализированным или миноритарным сообществам на основе широкого спектра защищенных признаков, включая расу/этническую принадлежность и религию/веру.
- Нарушение этих и других наших Правил сообщества выявляются через обращения пользователей или инструменты, управляемые искусственным интеллектом, и помечаются для модерации человеком.
Принятие мер на основе жалоб о нелегальном контенте
Наши пользователи играют важную роль в обеспечении безопасности Bumble, сообщая о контенте или поведении, которые могут нарушать наши Условия использования, Правила сообщества или законодательство. Чтобы обеспечить быстрое принятие мер, мы призываем всех пользователей сообщать Заблокировать и пожаловаться обо всех, кто заставляет их чувствовать себя неловко или небезопасно. Прочитайте эту статью, чтобы узнать больше о том, что происходит, когда пользователи отправляют жалобу на что-либо на Bumble. Автоматизированные инструменты и люди анализируют содержимое обращений, чтобы определить необходимые действия.
В Великобритании наши пользователи и представители общественности также могут сообщать о любом контенте на Bumble, который, по их мнению, нарушает наши Условия использования, Правила сообщества или законодательство Великобритании, через наш бланк для подачи жалобы с указанием типа нарушения. Этот бланк также можно использовать для подачи жалобы на любой аспект несоблюдения компанией Bumble требований OSA. Все сообщения о нелегальном контенте и жалобы на несоблюдение правил, отправленные через бланк для подачи жалоб, рассматриваются модераторами-людьми.
Если мы определим, что опубликованный контент нарушает наши Условия использования, Правила сообщества или законодательство, мы назначим наказание с учетом нескольких факторов. Например, мы можем:
- Удалить контент
- Вынести предупреждение
- Запретить нарушителю доступ к некоторым или всем приложениям Bumble Inc.
При необходимости мы также можем сотрудничать с правоохранительными органами, чтобы помочь в потенциальном уголовном расследовании, связанном с поведением пользователя.
Если мы определим, что жалоба на несоответствие была обоснованной, мы пересмотрим наши системы и процессы, чтобы обеспечить соблюдение соответствующих обязательств OSA.
Использование упреждающих технологий
Мы используем передовые технологии обнаружения для заблаговременного выявления и удаления нарушающего контента, в том числе:
- Private Detector™ – инструмент, управляемый искусственным интеллектом, который автоматически обнаруживает и размывает откровенные изображения до того, как их увидят пользователи, чтобы защитить их от нежелательного контента сексуального характера (также известного как «киберфлэшинг»). Пользователи могут просмотреть размытое изображение или сразу же пожаловаться на него, не просматривая.
- Deception Detector™ – использует машинное обучение для обнаружения недостоверных профилей (см. дополнительную информацию в разделе «Мошенничество и финансовые преступления» выше).
- Обнаружение CSAM – технология обнаружения, которая заключается в автоматическом сопоставлении хэшей с базами данных, соответствующими промышленным стандартам (см. более подробную информацию в разделе «Сексуальная эксплуатация детей и насилие над ними» выше).
- Модели машинного обучения для обнаружения на основе ИИ и текстовых данных выявляют и передают по инстанциям потенциально нарушающий контент.
- Системы защиты от спама – анализируют широкий спектр данных о профиле, устройстве и поведении, чтобы обнаружить подозрительные модели поведения и заблаговременно удалить недобросовестных пользователей.
Все наши технологии обнаружения работают в сочетании с нашими специалистами по проверке, что обеспечивает точность результатов.