У этого блога три цели:
- 1-й - для тех, кто не присутствовал, дайте быстрое представление о конференции;
- 2-й - Список отобранных статей для чтения (у меня есть ссылка на ~ 60 статей).
- На конференцию принято ~ 1000 докладов, поэтому просмотреть все невозможно.
3. Наконец, этот блог также для моей справки - иначе я потеряю мысли, поскольку более насущные жизненные мелочи преодолевают важные академические занятия.
P.S: (12 декабря 2018 г.) Блог находится в грубой форме. Графика плохо переводится из Word на средний. Я уберу блог. Если я буду ждать долго, у меня пропадет мотивация публиковаться. Уродливый блог побудит меня очистить его! К тому же завтра я уезжаю из Монреаля, и на другом конце меня ждет стопка работы. Так что нужно опубликовать перед взлетом.
Ниже я включил ссылки на все статьи по категориям, средние ссылки на избранные статьи и, наконец, видео сессий в facebook. Опять же, как единый ориентир для меня и других.
Есть два взгляда на такую масштабную интеллектуально насыщенную конференцию, как NeurIPS.
- Если кто-то занимается исследованиями (или реализацией), сравнительно легче проанализировать все соответствующие статьи.
- Но если кто-то пытается осмыслить конференцию с более широкой точки зрения, это титаническая задача. Широта и глубина поразят вас - по крайней мере, это то, что я испытываю.
Предложения о том, как получить максимальную отдачу от NeurIPS или подобной насыщенной конференции:
- Сходи в группу - очень скучал по коллегам !!
- Прочтите и обсудите документы перед тем, как войти
- Есть люди с разными целями - один человек не может охватить их всех
Первые впечатления
Все знали Конференцию по искусственному интеллекту в Монреале. От аэропорта до ледяных скульптур нас приветствовали все! Конечно, они знали, что ботаники не собираются покорять Канаду! И Монреаль - электростанция AI-стартапов!
Конференция Yuuuge! 1011 статей, ~ 8000 участников, плакаты и семинары, охватывающие спектр алгоритмов, концепций, практик, экспериментов и идей - все они хорошо изучены с должным объемом теории.
Чтобы соответствовать югэ конференции, блог тоже юугэ! Прочтите часть 1, и вы получите хорошее представление. В части 2 есть ссылки на документы, которые вы можете просмотреть в удобное для вас время. Планирую поступить так же.
При поиске статей и плакатов одним из основных вопросов является пресловутый «эксплойт против исследования». т.е. использовать уже известные домены и алгоритмы, а не искать новые и интересные идеи. Более того, что касается новых идей, мы узнаем о влиянии на них позже, иногда только через 1-2 года. Алгоритмы и идеи необходимо изучить, применить, настроить, объединить и, наконец, развернуть для решения проблем. И, конечно же, реализовано в таких фреймворках, как TensorFlow и pytorch.
Тема конференции NeurIPS’18:
Из того, что я увидел, более широкими темами конференции были подотчетность и алгоритмическая предвзятость, доверие, надежность и, самое главное, разнообразие. Вы можете видеть из программных докладов и семинаров.
Эти вопросы находили у меня отклик:
- Действительно ли машинное обучение готово к развертыванию в реальном мире?
- Можем ли мы действительно положиться на ML?
- Прогнозы ML (в основном) точны, но ненадежны!
- Необходимо понимать «режимы отказа» машинного обучения.
Мой фокус:
Искал работу по следующим направлениям:
- ДХО
- Разговорный AI
- Машинное мышление
- Структурированная память и долговременная память
- Капсульные сети
- Умная мобильность (оркестровка и управление парком с использованием AI / RL)
- Обнаружение объектов (всегда мой любимый)
- Embedded ml (чтобы опробовать мой новый нейронный чип iPad pro и язык Swift)
9. Интеграция знаний и граф знаний
Обзор тем NeurIPS’18:
Я обнаружил, что все мои темы в той или иной степени представлены неравномерно. Актуальные темы были разными:
- Встраивание, ДХО, ГАНы - все представлено очень хорошо. Наверное, большинство статей
- Множество статей по другим состязательным темам, включая методы Вассерштейна.
- Графические сети GAN для представления структурированных данных
2. Алгоритмы вопросов и ответов были рассмотрены достаточно хорошо.
3. VAE (вариационные автоэнкодеры)
4. Другим важным тематическим потоком было обучение, оптимизация, масштабируемость (т.е. обучение массивных размерных данных) и ускорение, показывающие развивающиеся области.
- Обучение на зашумленных данных, способность узнавать шум в данных, обучение на меньшем и более разнообразном наборе данных - это тема, которая может сделать модели устойчивыми к изменяющимся распределениям данных.
5. Множество статей о байесовских методах на разных уровнях.
6. Случайные модели - много статей и одно очень хорошее руководство.
7. Интересные темы - по несколько статей по каждой.
- Реляционное мышление и реляционные сети - интересно, движемся к графу знаний?
- SACNNS (CNN с учетом структуры) - интересная концепция
- Даже некоторые документы временных рядов!
- Внимание механизмы - хоть бумажка по нытье в сетях ДХО (вроде)!
- Spiking Neural Networks - несколько статей по этой интересной концепции
- Динамика Ланжевена и связанные с ней методы
- Даже статья о дискретности Рунге-Кутты!
8. Множество статей по оптимизации, алгоритмам кластеризации, количественной оценке неопределенности при кластеризации и т. Д.
9. Всего 3 статьи на CapsuleNet (из названий). Я ожидал большего
Что касается подробностей, у меня есть хорошие ссылки, по которым можно следовать (в дополнение к моим топ-52 в конце этого блога… да, есть конец…)
Семинары NeurIPS:
Было несколько отличных семинаров, и я хотел посетить их все! Я присутствовал на двух.
Мастерская ДХО - Юууге - Вместимость зала ~ 3000. ~ 2000 посетителей туда и обратно
Ключевые моменты NeurIPS:
Несколько интересных докладов и выступлений.
Видео публикуются на facebook, ссылка внизу. Я запечатлел время и дату событий, чтобы вы могли сопоставить их с видео в fb. Это не идеально, но, по крайней мере, есть способ
- Этот разговор был хорошо воспринят. Взгляд из биологического мира
- Youtube: https://www.youtube.com/watch?v=RjD1aLm4Thg
- Стороны: https://www.youtube.com/watch?time_continue=1&v=RjD1aLm4Thg
Учебник по Adversarial был интересным
- Https://media.neurips.cc/Conferences/NIPS2018/Slides/adversarial_ml_slides_parts_1_4.pdf
- Https://adversarial-ml-tutorial.org/
Контрфактический вывод - определенно требует второго взгляда
- Слайды: https://media.neurips.cc/Conferences/NIPS2018/Slides/Counterfactual_Inference.pdf
- Дополнительные материалы https://drive.google.com/drive/folders/1SEEOMluxBcSAb_tsDYgcLFtOQaeWtkLp
- Слайды: https://media.neurips.cc/Conferences/NIPS2018/Slides/stastical_learning_theory.pdf
- Интересный взгляд на статистическую теорию обучения. Можем ли мы использовать эти идеи, чтобы сделать вывод о распределении данных и предупредить, если оно изменилось? Оценка и эволюция моделей - одна из моих интересных тем
Пропустил этот о финансовых услугах. Запланируйте запрос материалов у организаторов
Интересные приглашенные беседы
Наконец, Монреальская декларация профессора Йошуа Бенжио.
NeurIPS’18 - Награды
- Награды за лучшую бумагу:
- Безоблачное Q-обучение и итерация ценностей
Автор: Тайлер Лу · Дейл Шурманс · Крейг Бутилье - Оптимальные алгоритмы для негладкой распределенной оптимизации в сетях
Автор: Кевин Скаман · Фрэнсис Бах · Себастьен Бубек · Лоран Массулье · Инь Тат Ли - Почти жесткие границы сложности выборки для изучения смесей гауссиан с помощью схем сжатия выборки
Автор: Хасан Аштиани · Шай Бен-Дэвид · Ник Харви · Кристофер Лиау · Аббас Мехрабиан · План Янива - Нейронные обыкновенные дифференциальные уравнения
Автор: Тиан Ци Чен · Юлия Рубанова · Джесси Беттанкур · Дэвид Дювено - Https://www.technologyreview.com/s/612561/a-radical-new-neural-network-design-could-overcome-big-challenges-in-ai/
2. Наградной документ "Проверка временем"
Часть 2: NeurIPS’18 - The Gory подробности и список для чтения
Теперь позвольте мне углубиться в суть конференции - документы, плакаты, дискуссии и прочее. Я перечислил ссылки на все 1011 статей, а затем список для чтения из 52 статей.
- Список тематической области докладов: https://nips.cc/Conferences/2018/Schedule?bySubject
- Полный список статей: https://papers.nips.cc/book/advances-in-neural-information-processing-systems-31-2018
- Обзоры статей: https://openreview.net/submissions?id=NIPS.cc
- Резюме, сгенерированное машиной: https://github.com/contentinnovation/NeurIPS-2018-papers
- Резюме статей RL: https://medium.com/@jianzhang_23841/a-comprehensive-summary-and-categorization-on-reinforcement-learning-papers-at-icml-2018-787f899b14cb
- Резюме доклада RL: https://medium.com/@yuxili/reinforcement-learning-in-nips-2018-967ab53ab211
- Предлагаемый список для чтения: https://medium.com/@yuxili/nips-2018-rl-papers-to-read-5bc1edb85a28
- Краткое содержание плаката: https://towardsdatascience.com/neurips-2018-reading-list-from-tue-poster-sessions-a-b-fce561e56be8
- Видео сессий NeurIPS на facebook: https://www.facebook.com/pg/nipsfoundation/videos/
- Видео на Youtube https://www.youtube.com/results?search_query=NIPS+NeurIPS+2018
- Https://www.youtube.com/watch?v=U8B_06uhYXI Янн Лекун: следующий шаг к искусственному интеллекту
- Лекции NIPS 2017 https://www.youtube.com/playlist?list=PL-myaKI4DslXTmtTgTiNtYRpQI2UmTJBv
- DL Практика и тенденции от NIPS’17 по-прежнему интересны https://www.youtube.com/watch?v=YJnddoa8sHk
- И, наконец, если вы любите больше статей, https://towardsdatascience.com/the-10-coolest-papers-from-cvpr-2018-11cb48585a49
Мой список чтения
- Наконец, список чтения из моих исследований 1011 статей!
К сожалению, на прошлой неделе на это не хватило времени. Придется собираться, спать и успевать на самолет. У меня есть список слов, но он плохо переводится на средний. Так что я должен делать это один за другим. Закончу во вторник. [16.11.18: Готово!]
Также много раз материалы распространяются, то есть на ток-сессии показаны слайды с обзором, в то время как в стендовой сессии есть ссылка на статью и видео. Я попытался найти все материалы, а затем собрать их вместе с бумагой в одном месте.
- Дендритные корковые микросхемы приблизительно соответствуют алгоритму обратного распространения Жоао Сакраменто · Руи Понте Коста · Йошуа Бенжио · Вальтер Сенн
- Спектральная фильтрация для общих линейных динамических систем Элад Хазан · ХОЛДЕН ЛИ · Каран Сингх · Сирил Чжан · И Чжан
- DVAE #: дискретные вариационные автоэнкодеры с ослабленными приорами Больцмана Араш Вахдат · Евгений Андрияш · Уильям Макреди
- GumBolt: расширение трюка Гамбеля на приоры Больцмана Амир Х. Хошаман · Мохаммад Амин
- Banach Wasserstein GAN во вторник, стендовая сессия A
Йонас Адлер · Себастьян Лунц (P.S: меня интересуют генеративные состязательные сети Вассерштейна (WGAN)) - Созданы ли GAN одинаково? Масштабное исследование Марио Лучич · Кароль Курах · Марцин Михальски · Сильвен Желли · Оливье Буске
- Быстрая и эффективная сертификация надежности Гагандип Сингх · Тимон Гер · Мэтью Мирман · Маркус Пюшель · Мартин Вечев (Интересная идея - сертификация устойчивости нейронной сети на основе абстрактной интерпретации!)
- FishNet: универсальная основа для прогнозирования уровня изображения, области и пикселей Шуян Сунь · Цзянмяо Пан · Цзяньпин Ши · Шуай И · Ванли Оуян
- Pelee: система обнаружения объектов в реальном времени на мобильных устройствах, автор: Джун Ван · Таннер Бон · Чарльз Линг (Планируйте попробовать нейронный чип Apple - работайте с моим новым iPad Pro!)
- Нормализация Калмана: нормализация внутренних представлений на сетевых уровнях Гуанрун Ван · цзефэн пэн · Пинг Луо · Синьцзян Ван · Лян Линь
- CapProNet: глубокое изучение особенностей посредством ортогональных проекций на подпространства капсул Автор: Лихэн Чжан · Марзи Эдраки · Го-Цзюнь Ци (Одна из трех статей о Capsule Networks - я ожидал большего)
- HitNet: гибридная троичная рекуррентная нейронная сеть Пэйци Ван · Синьфэн Се · Лэй Дэн · Гоци Ли · Донгшэн Ван · Юань Се (Интересный подход к балансу точности и квантования)
- Важность выборки в обучении с мета-подкреплением Брэдли Стади · Ге Ян · Рейн Хаутхофт · Питер Чен · Ян Дуань · Юхуай Ву · Питер Аббель · Илья Суцкевер
- Кодер-декодер вариационной памяти Хун Ле · Труйен Тран · Тонкий Нгуен · Света Венкатеш (Разговорный)
- О размерности вложения слов Цзы Инь · Юаньюань Шэнь
- Mesh-TensorFlow: глубокое обучение для суперкомпьютеров от Ноама Шазира · Юлонг Ченг · Ники Пармар · Дастин Тран · Ашиш Васвани · Пенпорн Коанантакул · Питер Хокинс · Хёк Джун Ли · Мингшенг Хонг · Клифф Янг · Райан Сепасси · Блейк Хечтман
- Обучение роботов в домашних условиях: улучшение обобщения и снижение смещения набора данных Абхинав Гупта · Адитхьяваираван Мурали · Дхирадж Пракашчанд Ганди · Леррел Пинто
- Развитые градиенты политики Рейн Хаутхофт · Юхуа Чен · Филипп Изола · Брэдли Стэди · Филип Вольски · OpenAI Джонатан Хо · Питер Аббил
- Смещение и обобщение в глубинных генеративных моделях: эмпирическое исследование Шэнцзя Чжао · Хунюй Рен · Арианна Юань · Цзямин Сон · Ноа Гудман · Стефано Эрмон
- Как пакетная нормализация помогает оптимизации? автор: Шибани Сантуркар · Димитрис Ципрас · Эндрю Ильяс · Александр Мадри (Средний пост по этой теме)
- Размер шага имеет значение в глубоком обучении, Камил Нар · Шанкар Састри (Слайды)
- Точность и отзывчивость для временных рядов Несиме Татбул · Тэ Джун Ли · Стэн Здоник · Маджбах Алам · Джастин Готчлих (Слайды в центре внимания)
- Масштабируемое сквозное тестирование автономных транспортных средств с помощью моделирования редких событий Мэтью О’Келли · Аман Синха · Хонгсок Намкун · Расс Тедрейк · Джон Дучи
- Редкое внимательное обратное отслеживание: временное присвоение кредита через напоминание Нэн Розмари Ке · Анируд Гойал АЛИАС ПАРТ ГОЯЛ · Олекса Биланюк · Джонатан Бинас · Майкл Мозер · Крис Пал · Йошуа Бенджио (Слайды в центре внимания)
- Цепочка рассуждений для визуального ответа на вопрос Ченфэй Ву · Цзиньлай Лю · Сяоцзе Ван · Сюань Донг
- Дистиллированное обучение Вассерштейна для встраивания слов и моделирования тем Автор: Хунтэн Сюй · Вэньлинь Ван · Вэй Лю · Лоуренс Карин
- Исследование структурированного обучения с подкреплением Юнгсеул Ок · Александр Прутьер · Дамианос Транос
- Рекуррентные трансформаторные сети для семантического соответствия Сунгрён Ким · Стивен Лин · САНГ РЮЛ ЧЖОН · Донбо Мин · Кванхун Сон (Слайды в центре внимания)
- Гамильтонов вариационный автокодер Энтони Л. Катерини · Арно Дусе · Дино Сейдинович
- Как начать обучение: эффект инициализации и архитектуры Борис Ханин · Дэвид Ролник
- Повторное изучение (ϵ, γ, τ) -подобного обучения для адаптации предметной области Софиан Дуиб · Евгений Редько (Слайды в центре внимания)
- Насколько эффективно Q-Learning? Автор: Чи Цзинь · Зеюань Аллен-Чжу · Себастьян Бубек · Майкл Джордан
- Поиск по дереву Монте-Карло для ограниченных POMDP Автор: Чонмин Ли · Ким Чон Хён · Паскаль Поупарт · Ки-Ын Ким
- Оптимизация политики с помощью выборки по важности Альберто Мария Метелли · Маттео Папини · Франческо Фаччо · Марчелло Рестелли
- Снижение сетевой агностофобии Акшай Радж Дхамия · Мануэль Гюнтер · Терренс Боулт (Очень реальная проблема при развертывании моделей: агностофобия, боязнь неизвестного, может возникнуть у инженеров глубокого обучения при применении своих сетей в реальном мире К сожалению, поведение сети не очень хорошо определено для входных данных, далеких от обучающей выборки сети)
- Доказуемо ли, что ResNets лучше линейных предсказателей? Автор: Охад Шамир
- Обучение с подкреплением для решения проблемы маршрутизации транспортных средств Мохаммад Реза Назари · Афшин Оруджлуй · Лоуренс Снайдер · Мартин Такач
- Узнай, чему не учиться: исключение действий с глубоким обучением с подкреплением Том Захави · Матан Харуш · Надав Мерлис · Дэниел Дж. Манковиц · Ши Маннор
- Улучшение исследований в эволюционных стратегиях для глубокого обучения с подкреплением через популяцию агентов, ищущих новизну Автор: Эдоардо Конти · Вашишт Мадхаван · Фелипе Петроски Суч · Джоэл Леман · Кеннет Стэнли · Джефф Клун (Концепция агентов, ищущих новизну, так или иначе кажется неправильно; о))
- Итерация двойной политики Автор: Вен Сан · Джеффри Гордон · Байрон Бутс · Дж. Багнелл (Итерация двойной политики выглядит очень интересной. Возможно, она сможет решить класс проблем, которые не может решить один уровень политики )
- Изучение надежной политики в Интернете в присутствии неизвестных противников Аарон Хэвенс · Чжаньхун Цзян · Сумик Саркар
- Учимся ориентироваться в городах без карты Петр Мировски · Мэтт Граймс · Матеуш Малиновски · Карл Мориц Херманн · Кейт Андерсон · Денис Тепляшин · Карен Симонян · Корай кавукчуоглу · Эндрю Зиссерман · Райя Хадселл
- Борьба со скукой в рекомендательных системах с помощью обучения с линейным подкреплением Ромен ВАРЛОП · Алессандро Лазарик · Жереми Мэри (Интересная концепция. Я всегда неравнодушен к добавлению интуитивных прозрений в рекомендации)
- Оптимизация политики критиков в частично наблюдаемых мультиагентных средах Шрирам Сринивасан · Марк Ланкто · Винисиус Замбальди · Жюльен Перолат · Карл Туйлс · Реми Муньос · Майкл Боулинг
- Учимся делиться и скрывать намерения с помощью регуляризации информации Дэниел Страус · Макс Клейман-Вайнер · Джош Тененбаум · Мэтт Ботвиник · Дэвид Шваб
- Обучение учеников с обратным подкреплением с помощью функций и демонстраций Луис Хауг · Себастьян Чиатчек · Адиш Сингла (Различное мировоззрение учителя и ученика - интересная проблема)
- Почему мой классификатор дискриминационный? Автор: Ирен Чен · Фредрик Йоханссон · Дэвид Зонтаг (Слайды в центре внимания)
- Вариационный вывод Вассерштейна Лука Амброджони · Умут Гючлю · Ягмур Гючлютюрк · Макс Хинне · Марсель А. Дж. Ван Гервен · Эрик Марис
- FastGRNN: быстрая, точная, стабильная и крошечная закрытая рекуррентная нейронная сеть размером в килобайт Автор Адитья Кусупати · Маниш Сингх · Куш Бхатия · Ашиш Кумар · Пратик Джайн · Маник Варма
- Понимание пакетной нормализации Нильс Бьорк · Карла П. Гомес · Барт Селман · Килиан Вайнбергер
- К рекомендациям для углубленного обсуждения Раймонд Ли · Самира Эбрахими Каху · Ханнес Шульц · Винсент Михальски · Лоран Чарлин · Крис Пал
- Безоблачное Q-обучение и итерация ценностей Тайлер Лу · Дейл Шурманс · Крейг Бутилье (статья Google, одна из лучших бумажных наград)
- Полное понимание трюка хеширования Лиор Камма · Каспер Б. Фрексен · Каспер Грин Ларсен (Слайды в центре внимания)
- Когда случаются неудачи в случайных лесах? Автор: Ченг Тан · Дэмиен Гарро · Ульрика фон Люксбург
- Норма имеет значение: эффективные и точные схемы нормализации в глубоких сетях Автор: Элад Хоффер · Рон Баннер · Итай Голан · Даниэль Судри (Слайды в центре внимания)
- Обнаружение отсутствия распределения с использованием множественных семантических представлений меток Габи Шалев · Йоси Ади · Джозеф Кешет
- Простая унифицированная структура для обнаружения образцов вне распространения и состязательных атак Автор: Кимин Ли · Кибок Ли · Хонлак Ли · Джину Шин (Слайды в центре внимания)
- Рекуррентные модели мира способствуют эволюции политики Дэвид Ха · Юрген Шмидхубер