Обобщить внимание и позиционные встраивания Из-за того, как работает механизм внимания, у него нет способа определить, где находится токен в предложении, потому что каждое предложение рассматривается как набор слов, поэтому мы обычно добавляем позиционные вложения (фиксированные или обучаемые) Это может можно сделать двумя способами: добавить позиционное кодирование или объединить с встраиванием слов. С технической точки зрения наихудший случай для добавления — это то, что сеть..