ОШИБКА задания склейки AWS: идентификатор столбца не существует

Мне нужна ваша помощь с AWS glue job ОШИБКА: идентификатор столбца не существует. Основная цель - преобразовать данные из одного RDS (postgresql) в другой RDS (postgresql). Я создал подключения к RDS. Создайте краулеров. Все работает правильно. После этого я создал задание Spark 2.4, Python 3 (Glue Version 1.0) и попытался переместить измененные данные из источника в целевой. Но я получаю ошибку

org.postgresql.util.PSQLException ERROR: column "id" does not exist

В исходной базе данных у меня есть имена столбцов в нижнем регистре. Но пробую решение из этой статьи - не получается. Я пытаюсь вручную изменить название столбцов с нижнего на верхний регистр в скрипте - терпит неудачу. Когда я создаю тестовые таблицы со столбцами в нижнем регистре в исходном и целевом значениях, все работает правильно.

Любые идеи, как я могу решить эту проблему.

С наилучшими пожеланиями.


person mVadim    schedule 17.06.2020    source источник
comment
художественно это означает, что это stackoverflow.com/questions/58093109/   -  person mVadim    schedule 17.06.2020
comment
обнаружил, что это происходит, когда мы имеем дело с именем столбца Id в верхнем регистре, и этот столбец является первичным ключом. В остальных случаях ошибок нет.   -  person mVadim    schedule 18.06.2020
comment
У меня такая же проблема. Вы знаете, как решить проблему?   -  person Nishu Tayal    schedule 23.12.2020