Я создал набор данных для хранилища файлов CSV в ADLS. У него есть два разных столбца с одинаковым именем заголовка [Parent_ID]. Из-за этого я получаю сообщение об ошибке при сопоставлении его с раковиной.
Кроме того, заголовок начинается со второй строки, и набор данных не может правильно определить имена столбцов. Я попробовал использовать опцию дополнительного столбца, но это не сработало, поскольку имена столбцов, обнаруженные набором данных, недоступны.
Я хочу, чтобы первым был [Parent_ID], а вторым — [End_User_Parent_ID] в Sink.
В этом случае мне не разрешено использовать Dataflow. Как с этим справиться?
Вы можете следовать предложению @SK из этого вопроса.
Это входные данные, которые я использовал в исходном CSV-файле.
one,two,three,four,five
id,Parent_ID,name,Parent_ID,DOB
1,1a123,Rakesh,22,2000-16-02
2,2b24,Laddu,23,2001-16-03
3,89d2,MS,42,1981-07-07
Сначала передайте наборы данных источника и приемника действию копирования.
Теперь перейдите к исходному набору данных и установите флажок «Первая строка как заголовок».
Поскольку ваш заголовок находится во второй строке, пропустите первую строку исходных данных. Итак, укажите количество пропущенных строк как 1
в источнике действия копирования.
Теперь перейдите к копированию сопоставления действий и импорту схем. Здесь по умолчанию он присваивает пронумерованные имена столбцам с такими же именами в источнике. Измените нужный столбец на свое имя End_User_Parent_ID
в сопоставлении приемника.
Но во время выполнения действия копирования он не будет идентифицировать имена столбцов Parent_ID1
и Parent_ID3
в сопоставлении источника и выдаст ошибку типа invalid mapping, column not found
. Чтобы избежать этого, перейдите к исходному набору данных и снимите флажок с первой строки в качестве заголовка.
Кроме того, поскольку заголовок приемника уже установлен, заголовок источника теперь не нужен. Поскольку ваш заголовок находится в строке 2nd
, обновите количество пропущенных строк в источнике действия копирования на 2
.
Теперь, когда в источнике не выбран заголовок, он будет идентифицировать имена столбцов как 1,2,3,..
в сопоставлении. Итак, отредактируйте сопоставление всех исходных столбцов, как 1,2,3..
, как показано ниже.
Теперь отладьте конвейер, и он выдаст требуемый выходной файл.