Release 0.18 notes

Блокировка ИК на время импорта (!)

Во время работы импорта в целях предотвращения неконсистентности метаданных блокируются практически все операции изменения инфокарты - со стороны API это выглядит как "зависение" соответствующих эндпоинтов. Стабильно продожает работать только создание загрузчиков сегментов и датасетов.

NB! Для операций по изменению ИК, запущенных во время работы импорта, не гарантируется корректное выполнение. После завершения работы импорта такие операции могут как примениться к результату импорта, так и упасть с ошибкой. Рекомендуется не проводить такие операции или прерывать их.

Миграция датасетов

• Изменяются суррогатные ключи датасетов
• Суррогатные ключи и имена датасетов-сегментов после миграции будут совпадать с суррогатными ключами и именами связанных загрузчиков
• Удаляются задания расчета датасетов (за исключением сегменов)
• В GET /entity/{entity_rk} в поле DATASET теперь всегда возвращается пустой список

Миграция загрузчиков

• FEATURE_COLUMN.KIND теперь всегда = feature (нельзя изменить). Если при создании или редактировании передать domain, значение все равно будет feature.
• LOADER.SRC_DAG_URL теперь всегда = null (нельзя изменить)
• История загруженных дат для версий переменных больше не ведется. В результате работы загрузчика переменных для каждой версии в метасторе создается запись с версионностью -/+ infinity. Эти же записи возвращаются в GET /feature/history/{feature_rk}
• Поля STG_SCHEMA_NAME и STG_COLUMN_NAME по загрузчикам теперь заполняются также, как поля SRC_SCHEMA_NAME и SRC_TABLE_NAME. Для file- и sql-загрузчиков эти поля перестают заполняться.
• Для загрузчиков переменных и связей в создаваемой таблице-приемнике поля с датами теперь не всегда называются from_dttm и to_dttm. Корректные имена полей с датами возвращаются в полях FROM_DTTM_DB_COL_NM и TO_DTTM_DB_COL_NM в схеме ответа по конкретному загрузчику

Перенос параметра dispose

Параметр dispose перенесен из job_options на уровень схем %job и %transform

Как следствие - параметр dispose теперь нельзя менять в методах:

• POST /jobs/{job_rk}
• PATCH /jobs/{job_rk}

Отключается поддержка git в приложении

• Удалены все переменные GIT__...
• Эндпоинты /api/v100/files больше не работают с системой git

Асинхронное удаление датасетов, лоадеров, связей

DELETE /api/v100/datasets/

• код ответа "200 No Content" меняется на "202 Accepted"
• удаление происходит в фоновом процессе

• новая схема ответа

  {
    :"runner": str,           # среда исполнения задания
    :"id": str                # идентификатор запуска в среде исполнения
  }
  

DELETE /api/dataset, DELETE /api/loader, DELETE /api/entity_link

Добавляется новый параметр: async_flg: bool (default = APP__DEFAULT_ASYNC_DELETE)

• Ecли async_flg=false, то поведение не меняется
• Если async_flg=true, то меняется код и схема ответа:
  • код ответа 200 No Content -> 202 Accepted
  • удаление происходит в фоновом процессе

  • схема ответа:

    {
      :"runner": str,           # среда исполнения задания
      :"id": str                # идентификатор запуска в среде исполнения
    }
    

Изменение набора типов объектов в GET / PATCH /permissions

Все загрузчики (object_type='loader') теперь имеют значение object_type='dataset'. Набор доступных значений для object_type - (dataset, source)

Настройка иконок и логотипов в web-интерфейсе

Предустановлены логотипы/иконки для следующих продуктов: Morphism, Audience, Alphyn. Значения переменной IMAGES_FOLDER_KEY соответственно morphism, audience, alphyn.

Для настройки собственных иконок и логотипов следующий порядок действий:

• Создать новую папку в public/images/<folder name>
• Загрузить в нее изображения со следующими именами:
  • logo_favicon.svg - иконка для вкладки браузера
  • logo_main.svg - иконка на главной странице входа
  • logo_title.svg - логотип в верхнем левом углу интерфейса
• Указать <folder name> в переменной IMAGES_FOLDER_KEY

Переименование параметра в v100 GET /datasets

Параметр запроса source_rks переименован в source_rk

ENVIRONMENT VARIABLES

DEPRECATED

• META__WORK_SCHEMA
• USE_NEW_V100_REPO

---