Публикации по теме 'deberta'
-Интуитивно объяснил DE-BERTA
Обобщить внимание и позиционные встраивания
Из-за того, как работает механизм внимания, у него нет способа определить, где находится токен в предложении, потому что каждое предложение рассматривается как набор слов, поэтому мы обычно добавляем позиционные вложения (фиксированные или обучаемые) Это может можно сделать двумя способами: добавить позиционное кодирование или объединить с встраиванием слов.
С технической точки зрения наихудший случай для добавления — это то, что сеть..