В исключения Кафка в версии 1.20.1 не попало несколько таблиц, которые могу содержать записи большого размера, что ведет к проблемам при работе Kafka и инстанса

:speech_balloon: Описание
В исключения Кафка в версии 1.20.1 не попало несколько таблиц, которые могу содержать записи большого размера, что ведет к проблемам при работе Кафка и инстанса.

:heavy_check_mark: Обходное решение

Для решения проблемы необходимо их добавить.

  1. Необходимо зайти в kafka-iu

  2. Перейти в Kafka-Connect → monolith-source → вкладка Config

  3. Необходимо вставить пароль от БД вместо звездочек в database.password
    image

  4. Содержимое переменной table.exclude.list необходимо заменить на:

public.migration,public.sys_indicator,public.sys_indication,

public.sys_tmp_indicator,public.sys_tmp_indication,public.sys_schedule_script,

public.sys_schedule_import,public.sys_history,public.sys_email,

public.sys_attachment,

public.sys_search_index,public.sys_activity_feed_item,public.sys_log,

public.sys_log_archive,public.sys_log_exception,public.sys_log_script,

public.sys_vcs_record,public.sys_record_deletion_log

Не теряя кавычек и структуры документа.

И нажать Submit.
image

image

При распаковке архива журналов может оказаться, что в журнале имеются записи более 10 МБ, что тоже приведет к проблемам. Указать название в явном виде не удастся, так как при распаковке таблица имеет уникальное имя.

Но table.exclude.list (Debezium connector for PostgreSQL :: Debezium Documentation) поддерживает регулярные выражения, поэтому можно добавить таблицу в виде public.sys_log_.*