И несколько предложений о том, как это может быть решено
Большая часть моего контента вращается вокруг исследований/идей в области машинного обучения. Для этого есть причина. В то время как обучающие статьи/видео, посвященные кодированию, более популярны и ценны, технологии со временем меняются. Идеи и нюансы методов, однако, этого не делают. Моя цель — взять эти сложные концепции машинного обучения, которые часто встречаются в статьях/исследованиях, и представить их вам, чтобы вы могли выбрать, какой инструмент вам нужно использовать в вашем конкретном контексте. Эта статья отличается. В ней я сделаю шаг назад и расскажу о системе экспертной оценки.
Публикуется так много статей, что если их складывать друг на друга по мере публикации, то вершина стопки будет двигаться быстрее скорости света. Это порождает парадокс, потому что ничто не может двигаться быстрее скорости света. Парадокс разрешается, когда мы понимаем, что верхняя часть стопки статей не несет никакой информации.
Старая шутка о физике о рецензировании и потоке публикуемых статей
Конкретно я кратко расскажу о том, что есть, а потом какие преимущества это дает. Я также расскажу о том, почему нам нужен капитальный ремонт, и предложу несколько советов о том, как этого можно добиться. Цель этой статьи — привлечь внимание к ситуации и вызвать обсуждение системы и способов ее улучшения.
Введение
Давайте сначала разберемся с базовой механикой системы рецензирования. Как правило, участвуют 3 стороны: автор, редактор и (в большинстве случаев анонимные) рецензенты. Автор представляет статью, которая затем передается рецензентам. Эти рецензенты комментируют несколько аспектов статьи, предлагая улучшения и т. д. Затем редактор просматривает все эти обзоры. Если есть в основном негативная рецензия, редактор может отклонить статью. В противном случае они передадут отзыв автору, который затем примет эти изменения. Этот процесс происходит до тех пор, пока статья не будет опубликована в журнале/публикации.
Преимущества
Почему эта система так распространена в науке? Такой эксперт дает определенные преимущества:
- Это позволяет получать обратную связь из нескольких источников. Разные рецензенты будут приносить разный опыт и искать разные вещи. Это может помочь в обнаружении ошибок по сравнению с тем, чтобы за всем наблюдал один человек/группа.
- Позволяет экспертам проверить работу. Вот почему воспроизводимые исследования так важны.
- Если автор ищет конкретный журнал, обратная связь от опытных рецензентов поможет ему сориентироваться в представлении, содержании и тоне.
Недостатки
Сказать, что система рецензирования плоха, было бы неверно. Она ответственна за многие великие достижения современного мира. Однако он устарел и нуждается в обновлении. Есть несколько областей, в которых система рецензирования терпит неудачу в исследованиях машинного обучения.
- Несоответствие. Это огромная проблема системы рецензирования. Видео выше объясняет это довольно подробно. Идентичные статьи могут быть приняты или отклонены разными редакторами/рецензентами.
- Может убить инновации. По одному из самых ироничных поворотов, эта система может уничтожить инновации. Представьте себе этот сценарий. Вы исследователь/доктор философии. студент. Публикация в престижном журнале ABC повысит вашу карьеру. Вы собираетесь провести исследование, тесно связанное с этой публикацией. Излишняя изобретательность существенно снизит ваши шансы на публикацию здесь. Аналогичная история с получением финансирования для ваших исследований.
- Несогласованные стимулы. Многие исследователи просто заинтересованы в том, чтобы публиковать информацию. Представьте, что вы исследователь в Google. Вы получаете бонусы за каждую принятую публикацию. Вы решаете пойти на публикацию ABC. Вы просматриваете предыдущие документы в ABC, берете документ и вносите некоторые изменения в его выводы. Потом представляете. Ваша работа принята, и вы получаете приятный бонус. Это причина, по которой так много статей/архитектур — это всего лишь доработки того, что уже сделано. Кроме того, причина, по которой вы видите так много статей Google/Facebook/Big Company на arXiv. Почему это проблема? Это наводняет пространство многими бумагами более низкого качества. Это затрудняет поиск интересных/новаторских статей. Это также отвлекает ресурсы от хороших исследований.
Как это исправить
Я далек от того, чтобы критиковать, не предлагая решений/улучшений. Вот несколько способов, которыми мы можем работать над устранением проблем этой системы.
Компенсация рецензентам (хорошо)
Это может стать для вас неожиданностью. Что хорошего в этом? Выплачивая рецензентам компенсацию, мы можем требовать от них более качественной работы. Обзор становится частью их работы. Это позволит им посвятить больше времени и усилий делу. Это позволит повысить качество обратной связи и обсуждения темы/документа. Увеличение времени, затрачиваемого на рецензирование, также естественным образом уменьшит непоследовательность в процессе. Такой жизненно важный аспект роста знаний не должен оставаться без оплаты.
Стандартизация
Во многих престижных журналах по машинному обучению есть своего рода контрольный список. Тем не менее, не хватает стандартизации / СОП, с помощью которых можно было бы оценивать исследования ОД. Такой шаг позволит людям иметь более четкое направление и повысит качество представлений / черновиков. Вот часть контрольного списка воспроизводимости машинного обучения, за которым настаивают многие известные исследователи в этой области.
Определение стандартов качества/инноваций также позволит проводить более последовательный обзор по всем направлениям.
Pivot от представлений в качестве основной метрики
Такие вещи, как цитируемость/количество публикаций, могут быть полезными способами оценки исследователя/его работы. Однако слишком часто они оказываются единственными рассматриваемыми аспектами. Такая оценка превращает исследование в соревнование в популярности. И в таких случаях побеждают те работы, которые соответствуют стандартам, а не продвигают их.
Штрафовать низкокачественные материалы
Для крупных организаций, рассылающих спам, штрафов нет. На самом деле они не предназначены для улучшения дискурса и часто предназначены для рекламы компании. И/или просто бонусы для исследователя. Нам нужно иметь некоторый уровень штрафа, чтобы остановить наводнение. Одним из возможных способов является установление верхнего предела количества материалов, которые может отправить организация. После этого могут быть начислены дополнительные платежи. Это гарантирует, что люди/организации будут отправлять только статьи самого высокого качества (и предоставят ресурсы для лучшего вознаграждения рецензентов).
Очевидно, что это еще не все. Внесение изменений требует тщательного обдумывания. Вероятно, есть и другие способы улучшить процесс. Или могут быть проблемы с тем, что я описал. Цель этой статьи заключалась в том, чтобы пролить свет на эту тему и вызвать обсуждение вокруг нее. Поделитесь своими мыслями в комментариях или связавшись со мной лично. Я хотел бы услышать их.
Если вам понравилась эта статья, посмотрите мой другой контент. Я регулярно публикую материалы на Medium, YouTube, Twitter и Substack. Я занимаюсь искусственным интеллектом, машинным обучением, технологиями и разработкой программного обеспечения. Если вы готовитесь к собеседованиям по программированию, ознакомьтесь с: Собеседования по кодированию стали проще.
Свяжитесь со мной
Если эта статья заставила вас обратиться ко мне, то этот раздел для вас. Вы можете связаться со мной на любой из платформ или ознакомиться с любым другим моим контентом. Если вы хотите обсудить репетиторство, напишите мне в LinkedIn, IG или Twitter. Если вы хотите поддержать мою работу, воспользуйтесь моей бесплатной реферальной ссылкой на Robinhood. Мы оба получаем бесплатный запас, и вы ничем не рискуете. Таким образом, если вы не используете его, вы просто потеряете бесплатные деньги.
Ознакомьтесь с другими моими статьями на Medium. : https://rb.gy/zn1aiu
Мой Ютуб: https://rb.gy/88iwdd
Свяжитесь со мной в LinkedIn. Подключаемся: https://rb.gy/m5ok2y
Мой Инстаграм: https://rb.gy/gmvuy9
Мой Твиттер: https://twitter.com/Machine01776819
Если вы готовитесь к программированию/техническим интервью: https://codinginterviewsmadesimple.substack.com/
Получите бесплатный сток на Robinhood: https://join.robinhood.com/fnud75
