Как обрабатывать CSV-файл с тем же именем столбца в Фабрике данных Azure?

Я создал набор данных для хранилища файлов CSV в ADLS. У него есть два разных столбца с одинаковым именем заголовка [Parent_ID]. Из-за этого я получаю сообщение об ошибке при сопоставлении его с раковиной.

Кроме того, заголовок начинается со второй строки, и набор данных не может правильно определить имена столбцов. Я попробовал использовать опцию дополнительного столбца, но это не сработало, поскольку имена столбцов, обнаруженные набором данных, недоступны.

Я хочу, чтобы первым был [Parent_ID], а вторым — [End_User_Parent_ID] в Sink.

В этом случае мне не разрешено использовать Dataflow. Как с этим справиться?


75
1

Ответ:

Решено

Вы можете следовать предложению @SK из этого вопроса.

Это входные данные, которые я использовал в исходном CSV-файле.

one,two,three,four,five
id,Parent_ID,name,Parent_ID,DOB
1,1a123,Rakesh,22,2000-16-02
2,2b24,Laddu,23,2001-16-03
3,89d2,MS,42,1981-07-07

Сначала передайте наборы данных источника и приемника действию копирования.

  • Теперь перейдите к исходному набору данных и установите флажок «Первая строка как заголовок».

  • Поскольку ваш заголовок находится во второй строке, пропустите первую строку исходных данных. Итак, укажите количество пропущенных строк как 1 в источнике действия копирования.



  • Теперь перейдите к копированию сопоставления действий и импорту схем. Здесь по умолчанию он присваивает пронумерованные имена столбцам с такими же именами в источнике. Измените нужный столбец на свое имя End_User_Parent_ID в сопоставлении приемника.




  • Но во время выполнения действия копирования он не будет идентифицировать имена столбцов Parent_ID1 и Parent_ID3 в сопоставлении источника и выдаст ошибку типа invalid mapping, column not found. Чтобы избежать этого, перейдите к исходному набору данных и снимите флажок с первой строки в качестве заголовка.




  • Кроме того, поскольку заголовок приемника уже установлен, заголовок источника теперь не нужен. Поскольку ваш заголовок находится в строке 2nd, обновите количество пропущенных строк в источнике действия копирования на 2.


  • Теперь, когда в источнике не выбран заголовок, он будет идентифицировать имена столбцов как 1,2,3,.. в сопоставлении. Итак, отредактируйте сопоставление всех исходных столбцов, как 1,2,3.., как показано ниже.




Теперь отладьте конвейер, и он выдаст требуемый выходной файл.