Уровень Transformation

Уровень Transformation преобразует сырые данные IoT Query в сущности, готовые для аналитики. Ознакомьтесь с готовыми преобразованиями и принципами обработки данных

Скоро!

Архитектура слоя трансформации, описанная на этой странице, сейчас находится в разработке. Хотя основные возможности трансформации уже работают, детали реализации могут измениться до финального релиза. Если вас интересует ранний доступ или у вас есть вопросы, свяжитесь [email protected].

Что делает слой трансформации

Этот слой преобразования обрабатывает сырые данные из Слой сырых данных в нормализованные аналитические сущности, готовые к запросам. Если слой Сырые данные содержит все, что собирается с устройств и систем (отдельные точки, события и значения полей, полезные для проверки и устранения неполадок), то слой трансформации превращает эти сырые данные в осмысленные объекты, такие как Поездки, посещения зон и рабочие состояния.

Вкратце о слое трансформации: слой Сырые данные — это все собранное, а слой трансформации — это то, с чем вы можете работать.

Этот промежуточный слой устраняет повторяющуюся ручную подготовку данных и делает ваши данные готовыми для практической аналитики. Операторы автопарков могут отвечать на типовые операционные вопросы без обширной обработки данных, а интеграторы получают стабильную основу для создания масштабируемых решений для отчетности и BI.

Трансформации можно проектировать и настраивать с помощью Конструктор трансформаций, визуального инструмента, который позволяет создавать пользовательские аналитические сущности с помощью интерфейса рабочих процессов с перетаскиванием. Подробности о том, как создавать и управлять трансформациями, см. в документации Transformation Builder.

Navixy предоставляет набор готовых типовых трансформаций, которые запускаются автоматически и заполняют processed_common_data схему без какой-либо настройки с вашей стороны. Вы можете выполнять запросы к этим данным сразу после подключения к IoT Query. Каждая типовая трансформация также поставляется с шаблоном рабочего процесса, который можно загрузить в Transformation Builder, чтобы изучить логику обработки или адаптировать ее к вашему конкретному сценарию. См. Общие преобразования доступные сущности и их выходные схемы.

Как организованы данные

Слой трансформации использует динамический подход к схеме, при котором структуры базы данных формируются автоматически на основе активных трансформаций. В отличие от слоя Сырые данные с его фиксированными определениями схем, слой трансформации содержит только те таблицы, которые соответствуют активным в данный момент трансформациям. Доступные таблицы и их структуры зависят от того, какие трансформации настроены в вашей IoT Query экземпляру.

Данные слоя трансформации организованы в две схемы PostgreSQL: processed_common_data и processed_custom_data.

processed_common_data

Этот processed_common_data схема содержит трансформации, разработанные и поддерживаемые Navixy. Эта схема общая для всех клиентов и предоставляет стандартизированные аналитические сущности, закрывающие типовые случаи использования телематики. Таблицы появляются в этой схеме по мере того, как Navixy развертывает новые трансформации для удовлетворения широко применимых аналитических требований.

Этот processed_common_data схема доступна внешним клиентам только для чтения. processed_custom_data схему через Конструктор трансформаций.

processed_custom_data

Этот processed_custom_data схема содержит трансформации, создаваемые для решения уникальных бизнес-требований каждого клиента. У каждого клиента есть изолированный экземпляр этой схемы, поэтому ваши данные не видны другим организациям. Таблицы в этой схеме соответствуют трансформациям, которые вы настраиваете и которыми управляете через Конструктор трансформаций.

Вы полностью распоряжаетесь этой схемой: вы решаете, какие трансформации создавать, как они обрабатывают данные и когда они запускаются. Конструктор трансформаций генерирует конфигурацию и SQL, необходимые для создания ваших пользовательских аналитических сущностей.

Что происходит при изменении трансформаций

Когда вы активируете трансформацию, система автоматически создает соответствующую структуру таблицы в подходящей схеме. Когда трансформации деактивируются или удаляются, их таблицы могут быть заархивированы или удалены в соответствии с политиками хранения данных.

Именно благодаря такому динамическому формированию слой трансформации не предоставляет фиксированных описаний схем, как это делает слой Сырые данные. Доступные таблицы и их структуры отражают конкретные трансформации, настроенные для вашего экземпляра IoT Query.

Характеристики обработки данных

Сущности слоя трансформации поддерживаются автоматически с помощью запланированных процессов. Когда вы выполняете запрос к этим данным, учитывайте следующие характеристики обработки.

• Обновления по расписанию. Каждая трансформация обрабатывает новые записи слоя Сырые данные в соответствии со своим настроенным расписанием. Обновления обычно происходят ежечасно или каждые несколько часов, в зависимости от сложности и настройки трансформации.

• Окна обработки. Трансформации работают на основе временных сегментов, чтобы эффективно обрабатывать управляемые порции данных, а не сканировать целые наборы данных. Такой подход обеспечивает баланс между производительностью обработки и актуальностью данных.

• Поведение при пересчете. Когда изменения конфигурации запускают пересчет, недавние данные могут показывать кратковременные несоответствия во время активных окон обработки. Эти несоответствия автоматически исчезают после завершения цикла обработки.

• Поведение, зависящее от схемы. Трансформации в processed_common_data обновляются одновременно для всех клиентов, использующих эту схему, поскольку Navixy централизованно управляет планированием. Трансформации в processed_custom_data выполняются независимо для каждого клиента, позволяя вам настраивать планирование и логику обработки под ваши конкретные потребности.

Что учитывать при выполнении запросов

При написании SQL-запросов к данным слоя трансформации помните о следующем:

• Используйте полный формат schema.table. Всегда указывайте таблицы с префиксом схемы, чтобы избежать неоднозначности:

SELECT *
FROM processed_common_data.table_name
WHERE device_time >= CURRENT_DATE - INTERVAL '7 days';

• Укажите фильтры по временному диапазону. Добавляйте временные условия в свои WHERE предложения, чтобы ограничить объем сканируемых данных. Это повышает производительность запроса и сокращает время выполнения.

• Проверяйте расписания трансформаций. Данные в таблицах слоя трансформации отражают последний завершенный цикл обработки. Если вам нужны данные, которым всего несколько минут, слой Сырые данные может оказаться более подходящим до запуска следующего цикла трансформации.

• Помните, что processed_common_data доступна только для чтения. Используйте эту схему для запросов к стандартизированным сущностям, поддерживаемым Navixy. Чтобы создавать собственные аналитические сущности, настройте трансформации в processed_custom_data схему через Конструктор трансформаций.

Следующие шаги

• Конструктор трансформаций: Проектируйте пользовательские аналитические сущности с помощью визуального интерфейса рабочих процессов.

• Слой сырых данных: Изучите исходные схемы (raw_telematics_data и raw_business_data) которые поступают в трансформации.

• Книга SQL-рецептов: Изучите шаблоны запросов и лучшие практики работы с таблицами слоя трансформации в Dashboard Studio.

• Общие преобразования: Изучите готовые аналитические сущности, доступные в processed_common_data, включая выходные схемы, примеры запросов и шаблоны Transformation Builder.