В апреле 2022 года Google представила свою языковую модель Pathways (PaLM) с 540 миллиардами параметров, которую они разработали с использованием нового подхода Pathways (Barham et al., 2022), который обеспечивает эффективное обучение модели на нескольких модулях TPU v4 (в PaLM). корпус, чипы 6144 TPU v4). Благодаря тому, что большие языковые модели (LLM) в настоящее время привлекают беспрецедентное внимание общественности и…
