RecSys — крупнейшая конференция по рекомендательным системам, и, как и в прошлом году, мы вернулись с огромным количеством новых идей, мыслей и вопросов о нашей будущей архитектуре данных и следующих стратегических шагах. Исследования рекомендательных систем ведутся очень активно. То, как многие лидеры отрасли приложили усилия не только для того, чтобы прийти, но и представить свои работы, показывает, насколько твердо они поставили эту область в основу своего технического прогресса.

В Groover мы стремимся создать лучшую систему рекомендаций для артистов, чтобы они могли встречаться с профессионалами музыкальной индустрии. Поскольку мы имеем дело с данными из различных источников и имеем достаточно истории взаимодействия, чтобы изучить решения для машинного обучения, мы должны следить за современными исследованиями рекомендательных систем.

Каковы были основные темы исследований Recsys 2021?

Такие компании, как Google, Microsoft, Facebook, Netflix, NVIDIA и Rakuten, представили новые достижения в области стратегий исследования и обучения, лучшие практики OPS для конкретных рекомендаций и рекомендации на основе сеансов. Ведущие мировые исследовательские лаборатории из Университета Карнеги-Меллона, Университета Иллинойса, Университета Антверпена и EPFL представили новые идеи в отношении бандитских алгоритмов, алгоритмов, специфичных для холодного запуска, и вариационных автоэнкодеров. После долгих мозговых штурмов и дискуссий в нашей команде по обработке данных, вот что мы считаем наиболее важными в выпуске RecSys этого года. В этом резюме не рассматриваются все темы, затронутые на конференции, но в нем дается общий обзор того, что было представлено.

Бандиты

Они были одной из самых горячих тем RecSys 2020, а также ключевым предметом обсуждения в этом году. Бандиты не были главной темой многих исследовательских работ, но, похоже, они являются частью многих рекомендательных архитектур. Nike, Google и Deezer упомянули их в качестве инициатора исследований в своем потоке рекомендаций.

Бандиты остаются одним из наиболее широко используемых механизмов побуждения к исследованию, и существует множество способов его применения. Понятие справедливости экспозиции гарантирует, что стратегия исследования остается справедливой по отношению к каждому куратору или предмету. Убедиться, что экспозиция измеряется, остается важной темой в рекомендательных системах, потому что это предотвращает их статичность. Стационарность естественным образом может быть стерта, когда пользовательские предпочтения имеют достаточно импульса, чтобы изменить популярность элемента, и Технический университет Кайзерслаутерна был одним из участников, занимавшихся этим событием. Они представили многоручных бандитов с индуцированным взрывом (BMAB), которые, похоже, довольно плавно справляются со сменой популярности.

Что касается OPS, то в список рекомендаций Nike входят бандиты и многое другое:

Даже когда они не являются основной темой исследования, они остаются ключевым компонентом рекомендательных систем. Не существует универсального рекомендательного алгоритма, скорее это модульная структура, каждая часть которой оптимизирована для своей задачи.

Не существует универсального рекомендательного алгоритма, скорее это модульная структура, каждая часть которой оптимизирована для своей задачи.

Автоэнкодеры

Автоэнкодеры лежали в основе многочисленных современных алгоритмов за последние 5 лет. Идея о том, что данные можно спроецировать в пространство более низкого измерения, чтобы уловить скрытое представление, очень мощная, и неудивительно, что прорывы в рекомендательных системах использовали мощь автокодировщиков. Используя трансферное обучение, междоменные автоэнкодеры обучаются на данных из исходного домена, а затем используются в целевом домене. Исследователи из Сингапурского университета и Rakuten совместно написали статью, в которой применяются две стратегии: жесткая и мягкая. Первый использует вариационный автоматический кодировщик (VAE) для непосредственного изучения генеративной модели в целевой области. Второй подход поощряет сходство целевой модели с исходным аналогом. Оба подхода кажутся многообещающими.

Стратегии разведки

В обоих документах Google подчеркивается необходимость исследования, чтобы улучшить характеристику пользователей и уменьшить разреженность обучающих наборов. Изучая непокрытые области, матрица взаимодействия становится менее разреженной и позволяет лучше использовать ее, поскольку повторно калибрует обучающую выборку. Во втором документе Google также подчеркивается, что характеристика пользователя выигрывает от настройки исследования. Поскольку большинство их пользователей не имеют самопровозглашенных предпочтений, использование их предпочтений в качестве прокси является значимым способом их характеристики.

В статье Jheronimus показана отрицательная корреляция между желанием исследовать и музыкальным опытом в контексте потоковой передачи. Наша постановка задачи отличается от этой, но похожее поведение наблюдается в нашем случае, когда мы учитываем тот факт, что художники склонны выбирать кураторов с самым высоким рейтингом. Исследование редко направляется пользователями, когда речь идет о людях, убежденных в своем опыте, поэтому наша роль заключается в том, чтобы сделать это тонким образом.

ОПС: обратная сторона медали

Компания COVEO обратилась к RecSys со смелым заявлением: рекомендации не должны изобретать велосипед. Они показали, что можно использовать стандартные инструменты на каждом этапе пайплайна и получать неплохие реко. Вот комплексная архитектура Coveo:

Netflix также были представлены некоторые рекомендации по OPS для рекомендательных систем. Вот ключевые цитаты в произвольном порядке:

  • ОПС сокращает время тушения пожара и должно быть сведено к минимуму
  • Предпосылки для хорошего OPS: модульные тесты, интеграционные тесты и мышление MLOPS.
  • Никогда не полагайтесь только на аудит вашей партнерской команды, архитектура OPS предназначена для сложных задач.
  • Выбор низкого ранга в RS должен быть одним из ключевых источников обучения.
  • Машинное обучение можно интегрировать в отладку для прогнозирования проблем ⇒ к ним следует относиться внимательно.
  • Исправления ML всегда неоптимальны, лучшая стратегия — отключить и повторно развернуть.

Рекомендации на основе сеанса

Анализ того, как пользователи взаимодействуют с платформой за короткий промежуток времени, оказывается очень эффективным, когда дело доходит до уточнения существующих рекомендаций.

Использование информации, поступающей из журналов пользовательских сеансов, может значительно помочь понять, чего они хотят. Будь то встраивание существующей корзины или вся история пользователя за короткий промежуток времени, можно получить дополнительную информацию, потому что она приводит все время, потраченное на колебания и сравнение элементов, в количественную настройку. Платформа преобразования, предоставляемая NVIDIA, представляет собой практическое решение, которое необходимо тщательно изучить, поскольку оно может обеспечить простой способ создания прототипов решений на основе сеансов.

Стратегии обучения: данные устаревают

Роберт Мерсер однажды сказал, что нет данных лучше, чем больше данных, и многие люди полагали, что это утверждение было хорошим способом резюмировать, почему инфраструктура больших данных принесет технологическое преимущество многим компаниям. Это по-прежнему верно, однако не означает, что все должно использоваться для всех случаев использования.

В рекомендательных системах тенденции являются важным аспектом, который необходимо учитывать. В нашем случае это особенно верно, потому что некоторых наших кураторов больше нет на платформе. Вопрос о том, следует ли применять обучение только к видимым кураторам, обсуждался в Groover в прошлом, но он подчеркивает, что наша стратегия обучения может выиграть от дальнейших вопросов. В презентации Grubhub подчеркивалась необходимость более разумных стратегий обучения с учетом периодичности поведения пользователей, а в документе Вюрцбург показано, как избыточная и недостаточная выборка подмножеств набора данных имеют большое влияние на рекомендации.

Заключение

Крупные конференции, такие как RecSys, призваны открыть для вас исследовательский горизонт, и выпуск этого года не стал исключением. RecSys помогла усовершенствовать нашу исследовательскую дорожную карту как в краткосрочной, так и в долгосрочной перспективе. Обработка такого объема информации требует времени и ресурсов, однако помогает нам принимать взвешенные решения.

Источники

Все документы были опубликованы на RECSYS 2021

Автокодировщики

  • На пути к вариационным моделям, согласованным с исходным кодом, для междоменных рекомендаций (Rakuten и Сингапурский университет)

Бандиты

  • Топ-К контекстуальных бандитов с равным охватом (Антверпенский университет)
  • Многорукий бандит, индуцированный взрывом, для обучения, рекомендация (Технический университет Кайзерслаутерна)

Стратегии исследования

  • Исследование в системах рекомендаций (Google)
  • Роль согласованности предпочтений, значений по умолчанию и музыкальных знаний в поведении пользователей при исследовании жанра (Jheronimus Academy of Data Science & Eindhoven University)
  • Ценность исследования пользователей в рекомендательных системах (Google)

ОП

  • AIR: персонализированная система рекомендаций по продуктам для цифровой трансформации Nike (Nike)
  • cDLRM: Look Ahead Caching для масштабируемого обучения моделей рекомендаций (Университет Южной Калифорнии)
  • Совместная оптимизация пропускной способности, задержки и вовлеченности в крупномасштабных системах рекомендаций (Facebook)
  • Модели с локальным фактором для крупномасштабных индуктивных рекомендаций (Microsoft)
  • RecSysOps: рекомендации по работе с крупномасштабной рекомендательной системой (Netflix)
  • Вам не нужна большая лодка: рекомендации в разумных масштабах в (в основном) бессерверном и открытом стеке (Coveo)

Рекомендации по сеансам

  • Accordion: обучаемый симулятор долговременных интерактивных систем (Netflix)
  • Встраивание нейронной корзины для последовательных рекомендаций (Чешский технический университет)
  • Transformers4Rec: преодоление разрыва между НЛП и рекомендациями на основе последовательностей/сеансов (NVIDIA)

Стратегии обучения

  • Кейс по стратегиям выборки для оценки нейросетевых моделей рекомендаций с последовательными элементами (Университет Вюрцбурга)
  • Онлайн-обучение для получения рекомендаций в Grubhub (Grubhub)