Развертывание Appengine сегодня происходит чрезвычайно медленно?

У нас есть небольшой проект Java, который необходимо развернуть, включая более 9000 файлов.

команда: mvn gcloud: развернуть

но я получаю журнал:

    ...
[INFO] INFO: Uploading [/home/steven/work/idigisign/target/appengine-staging/__static__/node_modules/rx/src/core/linq/observable/when.js] to [7dfb30ad32893c5042dba03601f006a40419fab0]
    [INFO] DEBUG: Uploading [/home/steven/work/idigisign/target/appengine-staging/assets/global/plugins/bootstrap-switch/js/bootstrap-switch.min.js] to [7e0725897d7b99c3c33b56915d202e2dde552ea9]
    [INFO] INFO: Uploading [/home/steven/work/idigisign/target/appengine-staging/assets/global/plugins/bootstrap-switch/js/bootstrap-switch.min.js] to [7e0725897d7b99c3c33b56915d202e2dde552ea9]
    [INFO] DEBUG: Uploading [/home/steven/work/idigisign/target/appengine-staging/node_modules/is-redirect/index.js] to [7e0afe4775bf7f8558665760171c01948c22f771]
    [INFO] INFO: Uploading [/home/steven/work/idigisign/target/appengine-staging/node_modules/is-redirect/index.js] to [7e0afe4775bf7f8558665760171c01948c22f771]
    [INFO] DEBUG: Uploading [/home/steven/work/idigisign/target/appengine-staging/node_modules/rxjs/src/util/Map.ts] to [7e11722f4cd9ce91ec99b97710fbc4e7f40be09d]
...

Около 50 в минуту Значит будет потрачено 180 минут...

Это чрезвычайно медленно

кто-нибудь может мне помочь?


person Zilong Wang    schedule 06.06.2016    source источник
comment
Помочь вам... ускорить Appengine? Сомневаюсь, честно.   -  person jonrsharpe    schedule 06.06.2016
comment
Я не знаю, почему развертывание идет медленно, раньше это было быстро. Может быть, в моем проекте есть ошибка конфигурации?   -  person Zilong Wang    schedule 06.06.2016
comment
Ну может быть, но кто мог сказать из того, что вы написали?   -  person jonrsharpe    schedule 06.06.2016


Ответы (2)


Установите переменную среды CLOUDSDK_APP_USE_GSUTIL=1 и повторите попытку; при этом используется менее надежный, но более быстрый кодовый путь для загрузки файлов (планируется ускорить кодовый путь по умолчанию).

person Zachary Newman    schedule 06.06.2016

У нас такая же проблема, очень тормозит. Думаю, мы решили это.

Во-первых, мы проследили журналы gcloud и обнаружили, что многие файлы были загружены снова, и все эти файлы не были изменены. Поэтому мы попытались отследить исходный код gcloud и обнаружили, что проблема вызвана «JSON API Google Cloud Storage».

Когда он запросил List of Bucket, он вернул 1000 элементов, но у нас есть 1325 элементов, поэтому я думаю, что мы нашли проблему.

Затем мы ищем ссылку на API и находим параметр — maxResults, поэтому мы пытаемся изменить исходный код (cloud_storage.py) и обнаруживаем, что он не имеет никакого эффекта, когда его значение превышает 1000.

Наконец, мы находим еще один параметр — nextPageToken и запрашиваем список до тех пор, пока «nextPageToken» не станет None, теперь он получил все элементы из «Google Cloud Storage», и существующие файлы больше не будут загружаться.

def ListBucket(bucket_ref, client):
  request = STORAGE_MESSAGES.StorageObjectsListRequest(bucket=bucket_ref.bucket)

  items = set()
  try:
    response = client.objects.List(request)
    for item in response.items:
      items.add(item.name)
    while response.nextPageToken:
      request = STORAGE_MESSAGES.StorageObjectsListRequest(bucket=bucket_ref.bucket,pageToken=response.nextPageToken)
      response = client.objects.List(request)
      for item in response.items:
        items.add(item.name)
  except api_exceptions.HttpError as e:
    raise UploadError('Error uploading files: {e}'.format(e=e))

  return items
person Nan Hui    schedule 14.06.2016
comment
Эта проблема исправлена ​​в (будет выпущен) Cloud SDK 115.0.0. - person Zachary Newman; 15.06.2016