Улучшенный UX с модерацией ИИ: вот основные понятия.
Ожидается, что к 2020 году пользовательский опыт превзойдет цену как ключевое отличие бренда, а модерация контента будет играть ключевую роль в обеспечении ожидаемого пользователями опыта. Достижения в области искусственного интеллекта (ИИ) гарантируют, что модерация контента, необходимая вашему сайту, возможна в масштабе, что делает его бесценным инструментом модерации контента для повышения удобства пользователей.
В общем, есть пять важных проблем пользователей, которые либо решаются, либо должны учитываться при реализации модерации контента; качественный и актуальный контент, безопасное взаимодействие, быстрое посещение сайта, точные решения и конфиденциальность. Насколько эти ожидания оправдаются, зависит от вашей стратегии модерации. Ручная модерация, например, является очень точным решением, но требует много времени и может нарушить конфиденциальность пользователей.
С другой стороны, модерация ИИ будет поддерживать конфиденциальность пользователей и эффективно способствовать сокращению времени пребывания на сайте при сохранении высокого уровня точности. Мы прольем свет на некоторые важные концепции, которые необходимо знать и понимать, когда речь идет о машинном обучении и о том, как применять его для модерирования контента.
Коэффициент автоматизации
Коэффициент автоматизации — это процент от общего объема поступающих объявлений, который можно автоматизировать. Это тесно связано с вашими уровнями точности (чем ниже точность, которую вы требуете, тем выше уровень автоматизации, который вы можете получить). Если ИИ может принять решение по 90 пунктам из 100, уровень автоматизации составляет 90%. Остальные (10) материалов будут отправлены на ручную модерацию.
Уровень точности
Уровень точности ИИ измеряет, как часто он принимает правильное решение модерации. Если ИИ принимает правильное решение по 95 из 100 элементов контента, уровень точности составляет 95%. Ваш текущий уровень точности для ручной модерации является хорошим индикатором того, к какому уровню вы должны стремиться. Вы можете достичь очень высокого уровня точности с помощью ИИ, но чем выше требования к точности, тем ниже, вероятно, будет уровень автоматизации, и больше контента будет направляться на ручную модерацию.
Маркеры достоверности
Маркеры уверенности помогут вашему ИИ найти оптимальный баланс между уровнем точности и скоростью автоматизации. Допустим, ИИ должен принять решение, отклонить или одобрить часть контента. Оба варианта получат оценку вероятности от 0 до 1. Если оценки далеко друг от друга, достоверность будет высокой, но если оценки очень близки, достоверность будет низкой. Например, часть контента с вероятностью отклонения 0,15 и одобрения 0,85 будет иметь высокую достоверность, поскольку числа сильно различаются, но если обе оценки равны 0,5, достоверность будет низкой, поскольку оценки равны. То же самое будет в случае 0,45 отклонения и 0,55 одобрения. С такими близкими оценками ИИ трудно с уверенностью сказать, что один вариант правильный.
Эти маркеры уверенности используются моделью ИИ для удобной навигации по содержимому. Чтобы помочь ИИ понять, какой контент можно автоматизировать, вы должны определить порог достоверности. Любой результат со значением достоверности меньше порогового значения считается неопределенным и будет отправлен на проверку вручную ИИ. Каждая созданная модель нуждается в определенном уникальном пороге.
Построение модели
Несмотря на то, что модели машинного обучения будут учиться сами по себе, их должны создавать талантливые инженеры/специалисты по данным. Для каждой проблемы, которую решает ИИ, необходимо создавать новую уникальную модель машинного обучения. Например, вам нужно построить одну модель для обнаружения мошенничества и другую модель для обнаружения ненормативной лексики.
Чтобы построить модель, ИИ необходимо изучить закономерности из больших наборов данных. К этому можно подходить по-разному, но давайте сосредоточимся на общих и адаптированных моделях ИИ отдельно.
Общая модель ИИ для модерации контента была обучена набору данных (часто синтетических), чтобы стать широко применимой ко многим различным сайтам. Это только решение общих и основных вопросов; однако это может быть очень полезно для сайтов, у которых нет необходимых объемов или бюджета для создания собственных наборов данных.
С другой стороны, специализированные модели ИИ обучаются на наборах данных, уникальных для конкретного сайта. Здесь модель будет чувствительна к правилам и процессам этого отдельного сайта. Если правила и язык другого сайта не были на 100% идентичными, маловероятно, что адаптированная модель может быть применена к другому сайту. Тем не менее, для сайта, для которого была разработана модель, она обеспечит превосходный уровень точности и позволит добиться более высокой степени автоматизации, чем универсальная модель.
Переобучение моделей
Переобучение алгоритма означает перезапись текущих шаблонов решений с использованием новых и более качественных данных для достижения желаемых решений. Это часто делается при изменении политики сайта. Примером может служить легализация каннабиса в нескольких штатах США. Активные сайты в этих штатах могут захотеть изменить решение с отклонения на принятие каннабиса. Чтобы разрешить это, алгоритм машинного обучения должен получать новые данные, где решение о списках, связанных с каннабисом, будет «принять», а не «отклонить».
Вспомнить
Ваш уровень отзыва показывает, сколько контента правильно идентифицировано. Высокая скорость отзыва означает, что модель ИИ правильно определяет большинство потенциальных совпадений.
Допустим, у нас есть 100 объявлений, 90 из которых в порядке, а 10 — не в порядке. Модель искусственного интеллекта смогла правильно идентифицировать 5 списков Not OK. Это означает, что 5 списков Not OK были ложно одобрены моделью ИИ. В этом сценарии у нас будет уровень отзыва 50% (5/5+5).
Точность
Точность — это число, которое описывает, насколько часто модель оказывается правильной в своем решении. Высокая точность означает, что модель имеет очень мало ложных срабатываний. Например, если есть 100 фрагментов контента, и машина определяет 10 из них как мошеннические, но только 8 из них были мошенническими, то алгоритм имеет точность 80% (8/8+2).
В этой статье были рассмотрены основные концепции, связанные с машинным обучением применительно к модерации контента. Когда вы узнаете и поймете эти концепции, у вас будет хорошая основа для принятия решения о том, какая настройка модерации ИИ вам нужна. Если вы хотите узнать больше о модерации ИИ, вот ссылка на исходную статью: www.besedo.com/resources/blog/moderation-ai-get-to-know-the-basic-concepts.
Многое уходит на создание индивидуального ИИ, но в большинстве случаев это гораздо более экономичное решение, чем ручная модерация, особенно с течением времени: и по мере роста ваших объемов вам нужно будет полагаться на автоматизацию, чтобы поддерживать качество вашего сайта на должном уровне. ожидания ваших пользователей.
