Публикации по теме 'inference'


#MLefficieny — Meta MultiRay для масштабного управления глубоким обучением
MultiRay — это платформа, разработанная Meta (Facebook) для предоставления приложений глубокого обучения для различных вариантов использования при одновременном сохранении затрат на разумном уровне. MulitRay используется более чем в 125 приложениях Meta. Здесь мы сосредоточимся на языковых задачах. Однако его можно распространить и на изображения и видео, и об этом будет рассказано в следующем посте. Три вывода Общие встраивания различных приложений в организации. Кэш — компромисс..

Представляем HuggingBench: путь к оптимизированному показу моделей
Предыстория и мотивация Позвольте мне вернуть вас на несколько месяцев назад и поделиться историей. В то время я встретился со старым другом, и, поскольку мы оба инженеры, наш разговор быстро перешел к техническим проблемам. Именно во время этого обмена мы наткнулись на проблему, связанную с оптимизацией обслуживания моделей машинного обучения. Наше любопытство заставило нас углубиться в этот вопрос. Впоследствии мы связались с другим другом, тоже инженером, который подтвердил, что..