Анализ настроений, часть 1 — «Дружественное руководство по анализу настроений»

Анализ настроений — это процесс связывания текста с настроением. Он также известен как анализ мнений, анализ настроений и анализ субъективности.

Анализ настроений в основном используется в отделе маркетинга, чтобы понять, вызывает ли бренд или продукт положительные эмоции. Важно отметить, что его можно использовать в многих областях, вот лишь несколько примеров: отзывы клиентов, предотвращение кризисов и даже политика. В Беседо мы используем анализ настроений для модерации контента и изучаем его использование, чтобы предоставлять ценную информацию нашим клиентам.

Этот пост в блоге является первым из серии об анализе настроений. Эта серия предназначена для того, чтобы провести вас через все аспекты создания модели, способной связать текст с настроением. В этом сообщении мы начнем с нескольких хороших рекомендаций для всех, кто плохо знаком с анализом настроений. Он содержит информацию о проблемах и различных способах выполнения анализа настроений. Остальные будут посвящены поиску лучшего предварительно аннотированного набора данных для анализа настроений, аннотированию и созданию модели.

Хорошо, поехали.

Проблемы

Анализ настроений имеет свой багаж проблем. Например, какое настроение вы бы связали с этими предложениями?

"Этот фильм мне понравился больше, чем предыдущий".

"Если бы компьютер был больше, я бы хотел его больше".

Сравнительные предложения (например, первое) и условные предложения (например, последнее) трудно анализировать даже для людей, так как же мы можем ожидать, что машина сможет их успешно анализировать?

Контекст также очень важен при проведении анализа тональности. Предложение «Иди и прочитай книгу», проиллюстрированное Pang & Lee (2008), ассоциируется с положительным настроением, если вы ссылаетесь на книгу. Все-таки оно ассоциируется с негативом, если речь идет о кино.

Также известно, что люди используют много иронии или сарказма, чтобы распознать, когда люди используют положительные слова для выражения отрицательного настроения или наоборот. Кроме того, остроумие сильно различается в разных странах из-за культурных различий.

«Мне нравится, когда ты меня ненавидишь🙂»

Мы также должны упомянуть забавные проблемы, с которыми вам приходится сталкиваться при работе с текстами: смайлики, умножение букв («хорошооооод»), аббревиатуры и орфографические ошибки.

Типы анализа настроений

Здесь мы хотели бы провести вас через различные типы анализа настроений.

Если вы новичок в этой области, вы должны знать, что существует два основных типа: «базовый» анализ настроений и ABSA (Все, что нужно знать об анализе настроений, р. д.-а). Следующие части объясняют, что они из себя представляют, и их различия более подробно.

«Базовый» анализ настроений

Это правильный тип анализа настроений, если вы ищете информацию только о глобальном настроении.

«Я люблю лето» — Позитивно 🙂

«Я ненавижу зиму» — минус 😞

Но какое чувство вы бы связали с этим текстом, зная, что вы можете выбрать только одно?

«Я люблю лето, но ненавижу зиму» — положительно? Отрицательный?

Этот пример показывает, что двойная тональность в тексте не может быть быстро устранена с помощью «базового» анализа тональности.

Вам также нужно сделать два варианта: выбрать уровень и ярлыки.

Вы можете работать на уровне текста или на уровне предложений (Hoang et al., 2019):

Уровень текста:«Мне нравится этот бренд. Я думаю, что каждый продукт, который у них есть, потрясающий. Ничего плохого не скажу!» —Положительно
На уровне предложения: "Мне нравится этот бренд". —Положительно, «Я думаю, что каждый продукт прекрасен», — Положительно, «Ничего плохого!» — Положительно

Что касается метки, она может варьироваться от двух до пяти (или более) меток:

Положительный и отрицательный
Положительный, нейтральный и отрицательный
Баллы, связанные с отзывами: 1, 2, 3, 4, 5 или очень положительные, положительные, нейтральные, отрицательные, очень отрицательные.
Эмоции: злость, радость, грусть и т. д.

«Базовый» анализ настроений — это задача классификации, поэтому вы можете использовать следующие различные методы:

На основе правил: создавайте словари, которые связывают некоторые слова с настроением. Его можно использовать с частью речи, синтаксическими правилами и т. д.
На основе искусственного интеллекта (ИИ) с использованием моделей машинного/глубокого обучения

Анализ настроений на основе аспектов (ABSA)

ABSA связывает термины, связанные с аспектами, и определяет настроение каждого аспекта. Аспект определяется как категория, характеристика или предмет, о котором мы говорим.

Если вам нужны подробности о предмете, связанном с настроением, вам нужно выполнить именно этот вид анализа настроений.

ABSA делится на три подзадачи: Выражение целевого мнения (OTE), Определение категории аспектов (ACD) и Полярность настроений (SP). . Даже если есть три подзадачи, большинство исследователей выполняют только OTE и SP.

Чтобы проиллюстрировать эти подзадачи, давайте взглянем на этот замечательный пример из Do et al. (2019):

Поскольку настроение связано с аспектом, вам не придется иметь дело с двойными настроениями в тексте, поскольку оба настроения будут связаны с разными аспектами. Если мы повторно используем приведенный выше пример и немного его изменим:

У него отличные суши, но ужасное обслуживание.

В предложении представлены как положительные, так и отрицательные настроения, но с помощью ABSA вы знаете, что положительное настроение связано с суши, а отрицательное — с обслуживанием.

Как справиться с двойным чувством?

Как мы можем разделить две части текста/предложения, каждая из которых связана с другим настроением? Решением этого вопроса в документах является выполнение ABSA, но, как мы видели ранее, это решение действительно сложное и требует обучения модели для каждого имеющегося у вас набора данных. Столкнувшись с этой проблемой, мы провели небольшое исследование и проиллюстрируем возможные решения на следующем примере:

«Мне нравится этот бренд. Теперь мы должны признать, что их последний продукт ужасен. Я обожаю их продукцию, но эту не рекомендую.”

Выполните анализ на уровне предложений:

«Мне нравится этот бренд». — Положительно «Теперь мы должны признать, что их последний продукт ужасен.» — Отрицательно
👎 : Не поможет, если в одном предложении будет двойной смысл: «Я обожаю их продукты, но я действительно не рекомендую этот». —?

Разделите предложение на предложения:

«Я обожаю их продукцию» — Положительно«Я действительно не рекомендую эту продукцию.» — Отрицательно
👎 : Это означает, что вам нужно выполнить анализ на уровне предложения + разрезать предложение на предложения.

Выполните анализ нескольких ярлыков:

«Я обожаю их продукты, но я действительно не рекомендую этот». Положительные и отрицательные отзывы.
👎 : анализ нескольких меток сложнее

Используйте ярлык «конфликт»:

«Я обожаю их продукцию, но эту не рекомендую.» — Конфликт
👎 : Добавление дополнительной метки к уже существующей, вероятно, увеличит дисбаланс меток.

В заключение, каждое решение имеет свои положительные и отрицательные стороны, и вам решать, какое исследование вы хотите выполнить, какое решение вы выберете.

Что следует использовать?

Очень важно, чтобы вы решили, какова цель вашего анализа настроений. Следующие вопросы помогут сделать выбор:

Если мы возьмем наш случай в качестве примера: анализ настроений будет использоваться для предоставления ценной информации, которую мы можем использовать в нашем процессе принятия решений о модерации; это также поможет нам лучше понять данные и предложить ценную информацию нашим клиентам. Нам нужно быть очень быстрыми в наших решениях, и нам пока не нужно что-то очень подробное вроде ABSA, поэтому нам нужен базовый анализ настроений. strong> был лучшим вариантом.

Для модерации действительно важны негативные и позитивные настроения, но мы также не хотим потерять информацию, когда оба настроения присутствуют в данном тексте. Мы решили устранить двойную тональность с помощью анализа тональности с несколькими метками.

В этом сообщении блога мы поделились с вами нашим исследованием различных типов анализа настроений («базовый» анализ настроений и ABSA) и того, как справиться с двойным настроением в тексте. Мы также дали вам некоторые рекомендации, которые помогут вам выбрать подходящий подход для вашего исследования.

Мы надеемся, что наше исследование и этот пост в блоге помогут вам в освоении анализа настроений!

Следите за второй записью в блоге из этой серии: Как выбрать полезные предварительно аннотированные наборы данных для анализа тональности? 🙂