Confluent Kafka: данные из темы (одна полезная нагрузка) в несколько таблиц

Определение приемника представляет собой однозначное сопоставление темы и таблицы.

Если вам нужно несколько таблиц, вам нужно будет отфильтровать тему с помощью таких инструментов, как потоки kafka или ksqlDB, чтобы создать новые темы, а затем создать для них новые соединители.

Использование промежуточного программного обеспечения ETL:

Другой подход из ответа @OneCricketeer — введение промежуточного программного обеспечения ETL (извлечение, преобразование, загрузка), которое использует тему Kafka, обрабатывает полезную нагрузку, а затем записывает обработанные данные в соответствующие таблицы в базе данных Oracle.

Вот необходимые шаги:

1. Kafka Consumer: инструмент ETL использует записи из темы Kafka, который содержит сложную полезную нагрузку JSON.

2. Анализ данных: инструмент ETL анализирует полезную нагрузку JSON.

3. Преобразование данных:

   • Таблица 1 («Таблица участников»): Извлечение полей, связанных с участником. информацию и загрузите ее в таблицу участников.
   • Таблица 2 («Таблица адресов»): извлечение полей, связанных с адресной информацией, и загрузка их в адрес. стол.
   • Таблица 3 («Таблица контактной информации»): Извлечение контактной информации. и загрузите их в таблицу contactable_info.

4. Загрузка в базу данных Oracle. Инструмент ETL записывает извлеченные и преобразованные данные в соответствующие таблицы базы данных Oracle.

Ссылка - https://medium.com/@mariusz_kujawski/building-an-efficient-etl-elt-process-for-data-delivery-9ee775375418

Инструменты :

• Апач Нифи: https://www.javatpoint.com/apache-nifi
• Таленд: https://www.tutorialspoint.com/talend/index.htm
• Apache Camel: https://www.tutorialspoint.com/apache_camel/apache_camel_overview.htm

Примечание. Использование промежуточного программного обеспечения ETL — это надежное решение для сложных задач обработки данных, например, для распределения одной записи темы Kafka в несколько таблиц в базе данных Oracle. Он позволяет выполнять пользовательские преобразования данных и гарантирует правильную маршрутизацию данных в правильные таблицы.