Skip to content

Release 0.19 notes

Permissions

  1. В ответе PATCH /permissions (set permissions) теперь всегда возвращается пустой name.
  2. Остаются только три типа прав доступа к объектам: no access, read, full. Права доступа view и edit больше недоступны. Если на момент установки релиза в метаданных есть пермиссии view/edit, то они мигрируют: view -> read, edit -> full. Доступ к данным и доступ к просмотру меты по объекту - это теперь одно и то же и появляется при наличии у пользователя прав доступа read+. Больше нет отдельного уровня доступа, при котором у пользователя есть права на просмотр метаданных, но отсутствуют права на чтение данных из датастора.
  3. Больше не возвращается no access exception - теперь отсутствие прав на объект для пользователя выглядит так, как будто объекта нет в системе. Также меняется поведение при попытке удалить базовые права доступа - ошибка не возвращается, но пермиссия не удаляется.

Catalogue import/export

  1. POST /catalogue/import теперь работает только с актуальной версией конфига. Актуализировать конфиг нужно перед импортом через отдельный эндпоинт POST /catalogue/migrate_config.
  2. Изменяется структура конфига - удаляются поля loaders и links, добавляются поля datasets и jobs.
  3. Импорт становится асинхронным, выполняется в celery. Статус импорта необходимо узнавать через отдельные эндпоинты.
  4. Во время работы импорта недоступно создание новых сущностей через api v2 и запуск еще одного импорта. При этом по-прежнему доступно создание сущностей из api v100, т.к. v100 ничего не знает про v2. При создании сущности через api v100 во время работы импорта, корректный результат работы импорта не гарантируется.

Loaders

  1. Поле FROM_DTTM_VALUE удаляется из всех схем ответов по загрузчикам, остается только в схемах запросов.
  2. Поле SRC_DAG_URL удаляется из схем запроса/ответа по загрузчикам.
  3. В эндпоинте GET /loader/{loader_rk} атрибут DATASET.CSV_PATH всегда заполнено nullo

Datasets

  1. В эндпоинтах вывода датасетов списком GET /dataset и GET /dataset/page атрибут CSV_STATUS всегда теперь заполнен null
  2. После установки релиза ссылки на уже сформированные csv потеряются
  3. Информация о статусе и ссылке на csv файл остается только в GET /dataset/{dataset_rk}

Логирование

В логах больше нет ключа "traceparent", вместо него появляются новые ключи "trace_id" и "span_id"

v1.0

  1. В эндпоинте POST /api/v100/datasets параметр source_rk перемещается из запроса в схему создания %dataset
  2. Из схемы %dataset и %dataset_summary удаляются job_rk и job_state

Files

Для методов POST v100/files/s3/link, POST v100/files/s3/text, GET v100/files/s3/text изменен тип ответа с JSON на PlainText. Например, если раньше возвращалось "https://example.com", то теперь возвращается https://example.com.

POST v100/files/s3

Изменения:

  1. Метод теперь не загружает файл, а вместо этого возвращает URL, который можно использовать для загрузки файла напрямую в S3 (через запрос PUT, и контентом файла в body запроса).
  2. Удаляется параметр file (тело файла)
  3. Параметр path становится обязательным - желаемое имя файла

GET v100/files/s3

Изменения:

  1. path_mask переименован в path_preffix и не принимает символы типа *
  2. В ответ не включены файлы из поддиректорий

ENVIRONMENT VARIABLES

NEW

  • SWAGGER - настройки для swagger
    • SWAGGER__ENABLED = true - доступен ли интерфейс Swagger UI по адресу /api/doc, /tech/doc и /api/v100/doc

NEW (WEB)

  • DOCS_ENABLED = false - включение / отключение документации в интерфейсе