Release 0.14 notes

Breaking change

Удалено поле CSV_PATH из response body следующих методов:

• GET api/dataset
• GET api/dataset/page

API

Удалены эндпоинты для работы с файлами в api/v2.

Инициализирующее заполнение реестра сущности

Скрипт ниже позволяет выполнить инициализирующее заполнение реестра сущности по всем зарегистрированным сущностям.

В качестве реестра сущности отбирается самый первый созданный загрузчик готовых переменных:

with t as (
select
    ft.entity_rk,
    l.loader_rk,
    row_number() over (
    partition by
        ft.entity_rk
    order by
        l.created_dttm asc nulls last,
        l.loader_rk asc nulls last
    ) as rn
from meta.loader l
inner join meta.loader_feature_map lfm on lfm.loader_rk = l.loader_rk
inner join meta.feature_column fc on fc.column_rk = lfm.column_rk
inner join meta.feature_table ft on ft.table_rk = fc.hist_table_rk and ft.kind = 'final'
)
update meta.v100_entity e
set options = jsonb_set(options, '{fat_registry}', cast(t.loader_rk as text)::jsonb, true)
from t
where
    t.entity_rk = e.entity_rk
    and t.rn = 1
;

ENVIRONMENT VARIABLES

Deprecated

• LOG__FORMAT - теперь настраивается через /sys/logging_profiles
• LOG__MAX_LINE_LENGTH - теперь настраивается через /sys/logging_profiles
• LOG__KEYS_REDEFINE - теперь настраивается через /sys/logging_profiles

NEW

• AF__LOG_CONFIG - конфигурация логгера для Airflow
• APP__AUTO_LINKS - создание автосвязей (по умолчанию = true)