Как я могу написать в свой Fabric Lakehouse через внешнее приложение?

У меня есть приложение реагирования для управления пользователями, и мне нужно часто записывать данные напрямую (ну, через функцию Azure) в мою структуру Lakehouse.

В идеале я мог бы использовать своего принципала службы для аутентификации.

Любые предложения или помощь будут высоко оценены. Предпочтение будет использовать node/js, но Python тоже подойдет.

Спасибо


305
1

Ответ:

Решено

Вы можете создать учетную запись хранения ADLS Gen2 и контейнер озера данных. Затем вы можете связать контейнер с вашим домиком у озера, чтобы к нему можно было получить доступ как к папке, используя ярлык:

https://learn.microsoft.com/en-us/fabric/data-engineering/get-started-shortcuts

При такой настройке у вас есть множество вариантов записи в хранилище, включая JavaScript:

https://learn.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-directory-file-acl-javascript

Вы можете использовать аутентификацию Entra ID с участником службы, как описано в этой статье.

Файлы, которые вы записываете в ADLS, автоматически появляются в домике у озера, и вы можете работать с ними, как с любыми другими файлами.


PS: Я сделал библиотеку, которая поможет с обработкой данных в Fabric Lakehouses: https://pypi.org/project/bifabrik/