У этого блога три цели:

  1. 1-й - для тех, кто не присутствовал, дайте быстрое представление о конференции;
  2. 2-й - Список отобранных статей для чтения (у меня есть ссылка на ~ 60 статей).
  • На конференцию принято ~ 1000 докладов, поэтому просмотреть все невозможно.

3. Наконец, этот блог также для моей справки - иначе я потеряю мысли, поскольку более насущные жизненные мелочи преодолевают важные академические занятия.

P.S: (12 декабря 2018 г.) Блог находится в грубой форме. Графика плохо переводится из Word на средний. Я уберу блог. Если я буду ждать долго, у меня пропадет мотивация публиковаться. Уродливый блог побудит меня очистить его! К тому же завтра я уезжаю из Монреаля, и на другом конце меня ждет стопка работы. Так что нужно опубликовать перед взлетом.

Ниже я включил ссылки на все статьи по категориям, средние ссылки на избранные статьи и, наконец, видео сессий в facebook. Опять же, как единый ориентир для меня и других.

Есть два взгляда на такую ​​масштабную интеллектуально насыщенную конференцию, как NeurIPS.

  • Если кто-то занимается исследованиями (или реализацией), сравнительно легче проанализировать все соответствующие статьи.
  • Но если кто-то пытается осмыслить конференцию с более широкой точки зрения, это титаническая задача. Широта и глубина поразят вас - по крайней мере, это то, что я испытываю.

Предложения о том, как получить максимальную отдачу от NeurIPS или подобной насыщенной конференции:

  1. Сходи в группу - очень скучал по коллегам !!
  2. Прочтите и обсудите документы перед тем, как войти
  3. Есть люди с разными целями - один человек не может охватить их всех

Первые впечатления

Все знали Конференцию по искусственному интеллекту в Монреале. От аэропорта до ледяных скульптур нас приветствовали все! Конечно, они знали, что ботаники не собираются покорять Канаду! И Монреаль - электростанция AI-стартапов!

Конференция Yuuuge! 1011 статей, ~ 8000 участников, плакаты и семинары, охватывающие спектр алгоритмов, концепций, практик, экспериментов и идей - все они хорошо изучены с должным объемом теории.

Чтобы соответствовать югэ конференции, блог тоже юугэ! Прочтите часть 1, и вы получите хорошее представление. В части 2 есть ссылки на документы, которые вы можете просмотреть в удобное для вас время. Планирую поступить так же.

При поиске статей и плакатов одним из основных вопросов является пресловутый «эксплойт против исследования». т.е. использовать уже известные домены и алгоритмы, а не искать новые и интересные идеи. Более того, что касается новых идей, мы узнаем о влиянии на них позже, иногда только через 1-2 года. Алгоритмы и идеи необходимо изучить, применить, настроить, объединить и, наконец, развернуть для решения проблем. И, конечно же, реализовано в таких фреймворках, как TensorFlow и pytorch.

Тема конференции NeurIPS’18:

Из того, что я увидел, более широкими темами конференции были подотчетность и алгоритмическая предвзятость, доверие, надежность и, самое главное, разнообразие. Вы можете видеть из программных докладов и семинаров.

Эти вопросы находили у меня отклик:

- Действительно ли машинное обучение готово к развертыванию в реальном мире?

- Можем ли мы действительно положиться на ML?

- Прогнозы ML (в основном) точны, но ненадежны!

- Необходимо понимать «режимы отказа» машинного обучения.

Мой фокус:

Искал работу по следующим направлениям:

  1. ДХО
  2. Разговорный AI
  3. Машинное мышление
  4. Структурированная память и долговременная память
  5. Капсульные сети
  6. Умная мобильность (оркестровка и управление парком с использованием AI / RL)
  7. Обнаружение объектов (всегда мой любимый)
  8. Embedded ml (чтобы опробовать мой новый нейронный чип iPad pro и язык Swift)

9. Интеграция знаний и граф знаний

Обзор тем NeurIPS’18:

Я обнаружил, что все мои темы в той или иной степени представлены неравномерно. Актуальные темы были разными:

  1. Встраивание, ДХО, ГАНы - все представлено очень хорошо. Наверное, большинство статей
  • Множество статей по другим состязательным темам, включая методы Вассерштейна.
  • Графические сети GAN для представления структурированных данных

2. Алгоритмы вопросов и ответов были рассмотрены достаточно хорошо.

3. VAE (вариационные автоэнкодеры)

4. Другим важным тематическим потоком было обучение, оптимизация, масштабируемость (т.е. обучение массивных размерных данных) и ускорение, показывающие развивающиеся области.

  • Обучение на зашумленных данных, способность узнавать шум в данных, обучение на меньшем и более разнообразном наборе данных - это тема, которая может сделать модели устойчивыми к изменяющимся распределениям данных.

5. Множество статей о байесовских методах на разных уровнях.

6. Случайные модели - много статей и одно очень хорошее руководство.

7. Интересные темы - по несколько статей по каждой.

  • Реляционное мышление и реляционные сети - интересно, движемся к графу знаний?
  • SACNNS (CNN с учетом структуры) - интересная концепция
  • Даже некоторые документы временных рядов!
  • Внимание механизмы - хоть бумажка по нытье в сетях ДХО (вроде)!
  • Spiking Neural Networks - несколько статей по этой интересной концепции
  • Динамика Ланжевена и связанные с ней методы
  • Даже статья о дискретности Рунге-Кутты!

8. Множество статей по оптимизации, алгоритмам кластеризации, количественной оценке неопределенности при кластеризации и т. Д.

9. Всего 3 статьи на CapsuleNet (из названий). Я ожидал большего

Что касается подробностей, у меня есть хорошие ссылки, по которым можно следовать (в дополнение к моим топ-52 в конце этого блога… да, есть конец…)

Семинары NeurIPS:

Было несколько отличных семинаров, и я хотел посетить их все! Я присутствовал на двух.

Мастерская ДХО - Юууге - Вместимость зала ~ 3000. ~ 2000 посетителей туда и обратно

Ключевые моменты NeurIPS:

Несколько интересных докладов и выступлений.

Видео публикуются на facebook, ссылка внизу. Я запечатлел время и дату событий, чтобы вы могли сопоставить их с видео в fb. Это не идеально, но, по крайней мере, есть способ

  • Этот разговор был хорошо воспринят. Взгляд из биологического мира

Учебник по Adversarial был интересным

Контрфактический вывод - определенно требует второго взгляда

  • Слайды: https://media.neurips.cc/Conferences/NIPS2018/Slides/stastical_learning_theory.pdf
  • Интересный взгляд на статистическую теорию обучения. Можем ли мы использовать эти идеи, чтобы сделать вывод о распределении данных и предупредить, если оно изменилось? Оценка и эволюция моделей - одна из моих интересных тем

Пропустил этот о финансовых услугах. Запланируйте запрос материалов у организаторов

Интересные приглашенные беседы

Наконец, Монреальская декларация профессора Йошуа Бенжио.

NeurIPS’18 - Награды

  1. Награды за лучшую бумагу:
  • Безоблачное Q-обучение и итерация ценностей
    Автор: Тайлер Лу · Дейл Шурманс · Крейг Бутилье
  • Оптимальные алгоритмы для негладкой распределенной оптимизации в сетях
    Автор: Кевин Скаман · Фрэнсис Бах · Себастьен Бубек · Лоран Массулье · Инь Тат Ли
  • Почти жесткие границы сложности выборки для изучения смесей гауссиан с помощью схем сжатия выборки
    Автор: Хасан Аштиани · Шай Бен-Дэвид · Ник Харви · Кристофер Лиау · Аббас Мехрабиан · План Янива
  • Нейронные обыкновенные дифференциальные уравнения
    Автор: Тиан Ци Чен · Юлия Рубанова · Джесси Беттанкур · Дэвид Дювено
  • Https://www.technologyreview.com/s/612561/a-radical-new-neural-network-design-could-overcome-big-challenges-in-ai/

2. Наградной документ "Проверка временем"

Часть 2: NeurIPS’18 - The Gory подробности и список для чтения

Теперь позвольте мне углубиться в суть конференции - документы, плакаты, дискуссии и прочее. Я перечислил ссылки на все 1011 статей, а затем список для чтения из 52 статей.

Мой список чтения

  • Наконец, список чтения из моих исследований 1011 статей!

К сожалению, на прошлой неделе на это не хватило времени. Придется собираться, спать и успевать на самолет. У меня есть список слов, но он плохо переводится на средний. Так что я должен делать это один за другим. Закончу во вторник. [16.11.18: Готово!]

Также много раз материалы распространяются, то есть на ток-сессии показаны слайды с обзором, в то время как в стендовой сессии есть ссылка на статью и видео. Я попытался найти все материалы, а затем собрать их вместе с бумагой в одном месте.

  1. Дендритные корковые микросхемы приблизительно соответствуют алгоритму обратного распространения Жоао Сакраменто · Руи Понте Коста · Йошуа Бенжио · Вальтер Сенн
  2. Спектральная фильтрация для общих линейных динамических систем Элад Хазан · ХОЛДЕН ЛИ · Каран Сингх · Сирил Чжан · И Чжан
  3. DVAE #: дискретные вариационные автоэнкодеры с ослабленными приорами Больцмана Араш Вахдат · Евгений Андрияш ​​· Уильям Макреди
  4. GumBolt: расширение трюка Гамбеля на приоры Больцмана Амир Х. Хошаман · Мохаммад Амин
  5. Banach Wasserstein GAN во вторник, стендовая сессия A
    Йонас Адлер · Себастьян Лунц (P.S: меня интересуют генеративные состязательные сети Вассерштейна (WGAN))
  6. Созданы ли GAN одинаково? Масштабное исследование Марио Лучич · Кароль Курах · Марцин Михальски · Сильвен Желли · Оливье Буске
  7. Быстрая и эффективная сертификация надежности Гагандип Сингх · Тимон Гер · Мэтью Мирман · Маркус Пюшель · Мартин Вечев (Интересная идея - сертификация устойчивости нейронной сети на основе абстрактной интерпретации!)
  8. FishNet: универсальная основа для прогнозирования уровня изображения, области и пикселей Шуян Сунь · Цзянмяо Пан · Цзяньпин Ши · Шуай И · Ванли Оуян
  9. Pelee: система обнаружения объектов в реальном времени на мобильных устройствах, автор: Джун Ван · Таннер Бон · Чарльз Линг (Планируйте попробовать нейронный чип Apple - работайте с моим новым iPad Pro!)
  10. Нормализация Калмана: нормализация внутренних представлений на сетевых уровнях Гуанрун Ван · цзефэн пэн · Пинг Луо · Синьцзян Ван · Лян Линь
  11. CapProNet: глубокое изучение особенностей посредством ортогональных проекций на подпространства капсул Автор: Лихэн Чжан · Марзи Эдраки · Го-Цзюнь Ци (Одна из трех статей о Capsule Networks - я ожидал большего)
  12. HitNet: гибридная троичная рекуррентная нейронная сеть Пэйци Ван · Синьфэн Се · Лэй Дэн · Гоци Ли · Донгшэн Ван · Юань Се (Интересный подход к балансу точности и квантования)
  13. Важность выборки в обучении с мета-подкреплением Брэдли Стади · Ге Ян · Рейн Хаутхофт · Питер Чен · Ян Дуань · Юхуай Ву · Питер Аббель · Илья Суцкевер
  14. Кодер-декодер вариационной памяти Хун Ле · Труйен Тран · Тонкий Нгуен · Света Венкатеш (Разговорный)
  15. О размерности вложения слов Цзы Инь · Юаньюань Шэнь
  16. Mesh-TensorFlow: глубокое обучение для суперкомпьютеров от Ноама Шазира · Юлонг Ченг · Ники Пармар · Дастин Тран · Ашиш Васвани · Пенпорн Коанантакул · Питер Хокинс · Хёк Джун Ли · Мингшенг Хонг · Клифф Янг · Райан Сепасси · Блейк Хечтман
  17. Обучение роботов в домашних условиях: улучшение обобщения и снижение смещения набора данных Абхинав Гупта · Адитхьяваираван Мурали · Дхирадж Пракашчанд Ганди · Леррел Пинто
  18. Развитые градиенты политики Рейн Хаутхофт · Юхуа Чен · Филипп Изола · Брэдли Стэди · Филип Вольски · OpenAI Джонатан Хо · Питер Аббил
  19. Смещение и обобщение в глубинных генеративных моделях: эмпирическое исследование Шэнцзя Чжао · Хунюй Рен · Арианна Юань · Цзямин Сон · Ноа Гудман · Стефано Эрмон
  20. Как пакетная нормализация помогает оптимизации? автор: Шибани Сантуркар · Димитрис Ципрас · Эндрю Ильяс · Александр Мадри (Средний пост по этой теме)
  21. Размер шага имеет значение в глубоком обучении, Камил Нар · Шанкар Састри (Слайды)
  22. Точность и отзывчивость для временных рядов Несиме Татбул · Тэ Джун Ли · Стэн Здоник · Маджбах Алам · Джастин Готчлих (Слайды в центре внимания)
  23. Масштабируемое сквозное тестирование автономных транспортных средств с помощью моделирования редких событий Мэтью О’Келли · Аман Синха · Хонгсок Намкун · Расс Тедрейк · Джон Дучи
  24. Редкое внимательное обратное отслеживание: временное присвоение кредита через напоминание Нэн Розмари Ке · Анируд Гойал АЛИАС ПАРТ ГОЯЛ · Олекса Биланюк · Джонатан Бинас · Майкл Мозер · Крис Пал · Йошуа Бенджио (Слайды в центре внимания)
  25. Цепочка рассуждений для визуального ответа на вопрос Ченфэй Ву · Цзиньлай Лю · Сяоцзе Ван · Сюань Донг
  26. Дистиллированное обучение Вассерштейна для встраивания слов и моделирования тем Автор: Хунтэн Сюй · Вэньлинь Ван · Вэй Лю · Лоуренс Карин
  27. Исследование структурированного обучения с подкреплением Юнгсеул Ок · Александр Прутьер · Дамианос Транос
  28. Рекуррентные трансформаторные сети для семантического соответствия Сунгрён Ким · Стивен Лин · САНГ РЮЛ ЧЖОН · Донбо Мин · Кванхун Сон (Слайды в центре внимания)
  29. Гамильтонов вариационный автокодер Энтони Л. Катерини · Арно Дусе · Дино Сейдинович
  30. Как начать обучение: эффект инициализации и архитектуры Борис Ханин · Дэвид Ролник
  31. Повторное изучение (ϵ, γ, τ) -подобного обучения для адаптации предметной области Софиан Дуиб · Евгений Редько (Слайды в центре внимания)
  32. Насколько эффективно Q-Learning? Автор: Чи Цзинь · Зеюань Аллен-Чжу · Себастьян Бубек · Майкл Джордан
  33. Поиск по дереву Монте-Карло для ограниченных POMDP Автор: Чонмин Ли · Ким Чон Хён · Паскаль Поупарт · Ки-Ын Ким
  34. Оптимизация политики с помощью выборки по важности Альберто Мария Метелли · Маттео Папини · Франческо Фаччо · Марчелло Рестелли
  35. Снижение сетевой агностофобии Акшай Радж Дхамия · Мануэль Гюнтер · Терренс Боулт (Очень реальная проблема при развертывании моделей: агностофобия, боязнь неизвестного, может возникнуть у инженеров глубокого обучения при применении своих сетей в реальном мире К сожалению, поведение сети не очень хорошо определено для входных данных, далеких от обучающей выборки сети)
  36. Доказуемо ли, что ResNets лучше линейных предсказателей? Автор: Охад Шамир
  37. Обучение с подкреплением для решения проблемы маршрутизации транспортных средств Мохаммад Реза Назари · Афшин Оруджлуй · Лоуренс Снайдер · Мартин Такач
  38. Узнай, чему не учиться: исключение действий с глубоким обучением с подкреплением Том Захави · Матан Харуш · Надав Мерлис · Дэниел Дж. Манковиц · Ши Маннор
  39. Улучшение исследований в эволюционных стратегиях для глубокого обучения с подкреплением через популяцию агентов, ищущих новизну Автор: Эдоардо Конти · Вашишт Мадхаван · Фелипе Петроски Суч · Джоэл Леман · Кеннет Стэнли · Джефф Клун (Концепция агентов, ищущих новизну, так или иначе кажется неправильно; о))
  40. Итерация двойной политики Автор: Вен Сан · Джеффри Гордон · Байрон Бутс · Дж. Багнелл (Итерация двойной политики выглядит очень интересной. Возможно, она сможет решить класс проблем, которые не может решить один уровень политики )
  41. Изучение надежной политики в Интернете в присутствии неизвестных противников Аарон Хэвенс · Чжаньхун Цзян · Сумик Саркар
  42. Учимся ориентироваться в городах без карты Петр Мировски · Мэтт Граймс · Матеуш Малиновски · Карл Мориц Херманн · Кейт Андерсон · Денис Тепляшин · Карен Симонян · Корай кавукчуоглу · Эндрю Зиссерман · Райя Хадселл
  43. Борьба со скукой в ​​рекомендательных системах с помощью обучения с линейным подкреплением Ромен ВАРЛОП · Алессандро Лазарик · Жереми Мэри (Интересная концепция. Я всегда неравнодушен к добавлению интуитивных прозрений в рекомендации)
  44. Оптимизация политики критиков в частично наблюдаемых мультиагентных средах Шрирам Сринивасан · Марк Ланкто · Винисиус Замбальди · Жюльен Перолат · Карл Туйлс · Реми Муньос · Майкл Боулинг
  45. Учимся делиться и скрывать намерения с помощью регуляризации информации Дэниел Страус · Макс Клейман-Вайнер · Джош Тененбаум · Мэтт Ботвиник · Дэвид Шваб
  46. Обучение учеников с обратным подкреплением с помощью функций и демонстраций Луис Хауг · Себастьян Чиатчек · Адиш Сингла (Различное мировоззрение учителя и ученика - интересная проблема)
  47. Почему мой классификатор дискриминационный? Автор: Ирен Чен · Фредрик Йоханссон · Дэвид Зонтаг (Слайды в центре внимания)
  48. Вариационный вывод Вассерштейна Лука Амброджони · Умут Гючлю · Ягмур Гючлютюрк · Макс Хинне · Марсель А. Дж. Ван Гервен · Эрик Марис
  49. FastGRNN: быстрая, точная, стабильная и крошечная закрытая рекуррентная нейронная сеть размером в килобайт Автор Адитья Кусупати · Маниш Сингх · Куш Бхатия · Ашиш Кумар · Пратик Джайн · Маник Варма
  50. Понимание пакетной нормализации Нильс Бьорк · Карла П. Гомес · Барт Селман · Килиан Вайнбергер
  51. К рекомендациям для углубленного обсуждения Раймонд Ли · Самира Эбрахими Каху · Ханнес Шульц · Винсент Михальски · Лоран Чарлин · Крис Пал
  52. Безоблачное Q-обучение и итерация ценностей Тайлер Лу · Дейл Шурманс · Крейг Бутилье (статья Google, одна из лучших бумажных наград)
  53. Полное понимание трюка хеширования Лиор Камма · Каспер Б. Фрексен · Каспер Грин Ларсен (Слайды в центре внимания)
  54. Когда случаются неудачи в случайных лесах? Автор: Ченг Тан · Дэмиен Гарро · Ульрика фон Люксбург
  55. Норма имеет значение: эффективные и точные схемы нормализации в глубоких сетях Автор: Элад Хоффер · Рон Баннер · Итай Голан · Даниэль Судри (Слайды в центре внимания)
  56. Обнаружение отсутствия распределения с использованием множественных семантических представлений меток Габи Шалев · Йоси Ади · Джозеф Кешет
  57. Простая унифицированная структура для обнаружения образцов вне распространения и состязательных атак Автор: Кимин Ли · Кибок Ли · Хонлак Ли · Джину Шин (Слайды в центре внимания)
  58. Рекуррентные модели мира способствуют эволюции политики Дэвид Ха · Юрген Шмидхубер