> For the complete documentation index, see [llms.txt](https://navixy.com/docs/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://navixy.com/docs/analytics/ru/iot-query/schema-overview/transformation-layer.md). # Слой преобразований {% hint style="info" %} #### Скоро будет доступно! Архитектура слоя Transformation, описанная на этой странице, в настоящее время находится в разработке. Хотя основные возможности преобразования уже работают, детали реализации могут измениться до финального выпуска. Если вас интересует ранний доступ или у вас есть вопросы, свяжитесь с . {% endhint %} ## Что делает слой Transformation Узел **Слое преобразования** обрабатывает сырые данные из **: Ознакомьтесь с полной спецификацией формата экспорта и импорта YAML.** в нормализованные аналитические сущности, готовые для запросов. Если слой Raw data содержит всё, что собирается с устройств и систем (отдельные точки, события и значения полей, полезные для проверки и устранения неполадок), то слой Transformation превращает эти сырые данные в содержательные объекты, такие как поездки, посещения зон и эксплуатационные состояния. {% hint style="info" icon="lightbulb-exclamation" %} Слой Transformation вкратце: слой Raw data — это всё собранное, а слой Transformation — это то, с чем можно работать. {% endhint %} Этот промежуточный слой устраняет повторяющуюся ручную подготовку данных и делает ваши данные готовыми для практической аналитики. Операторы автопарков могут отвечать на распространённые операционные вопросы без масштабной обработки данных, а интеграторы получают надёжную основу для построения масштабируемых решений для отчётности и BI. Преобразования можно проектировать и настраивать с помощью [**Transformation Builder**](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/transformation-builder.md), визуального инструмента, который позволяет создавать пользовательские аналитические сущности через интерфейс перетаскивания. Подробности о том, как создавать и управлять преобразованиями, см. в документации Transformation Builder. Navixy предоставляет набор готовых стандартных преобразований, которые выполняются автоматически и заполняют `processed_common_data` схему без какой-либо настройки с вашей стороны. Вы можете запрашивать эти данные сразу после подключения к IoT Query. Каждое стандартное преобразование также поставляется с шаблоном рабочего процесса, который можно загрузить в Transformation Builder, чтобы изучить логику обработки или адаптировать её под ваш конкретный сценарий. См. [Common transformations](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/common-transformations.md) доступные сущности и их выходные схемы. ## Как организованы данные Слой Transformation использует динамический подход к схеме, при котором структуры базы данных формируются автоматически на основе активных преобразований. В отличие от слоя Raw data с его фиксированными определениями схемы, слой Transformation содержит только те таблицы, которые соответствуют преобразованиям, активным в данный момент. Доступные таблицы и их структуры зависят от того, какие преобразования настроены в вашем **IoT Query** экземпляру вашей организации. Данные слоя Transformation организованы в две схемы PostgreSQL: `processed_common_data` : Изучите исходные схемы ( `processed_custom_data`. ### processed\_common\_data Узел `processed_common_data` схема содержит преобразования, разработанные и поддерживаемые Navixy. Эта схема является общей для всех клиентов и предоставляет стандартизированные аналитические сущности, которые решают распространённые телематические задачи. Таблицы появляются в этой схеме по мере того, как Navixy разворачивает новые преобразования для покрытия широко применимых аналитических требований. {% hint style="warning" %} Узел `processed_common_data` схема является **только для чтения для внешних клиентов**. Вы можете свободно запрашивать данные, но не можете изменять таблицы, вставлять записи или изменять структуру в этой схеме. Чтобы создавать собственные аналитические сущности, используйте `processed_custom_data` схему через [Transformation Builder](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/transformation-builder.md). {% endhint %} ### processed\_custom\_data Узел `processed_custom_data` схема содержит преобразования, специфичные для клиента, созданные для решения уникальных бизнес-задач. У каждого клиента есть изолированный экземпляр этой схемы, поэтому ваши данные не видны другим организациям. Таблицы в этой схеме соответствуют преобразованиям, которые вы настраиваете и управляете ими через [Transformation Builder](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/transformation-builder.md). Вы полностью владеете этой схемой: вы решаете, какие преобразования создавать, как они обрабатывают данные и когда выполняются. Transformation Builder генерирует конфигурацию и SQL, необходимые для создания ваших пользовательских аналитических сущностей. #### Что происходит при изменении преобразований Когда вы активируете преобразование, система автоматически создаёт соответствующую структуру таблицы в подходящей схеме. Когда преобразования деактивируются или удаляются, их таблицы могут быть архивированы или удалены в соответствии с политиками хранения данных. Именно из-за этого динамического формирования слой Transformation не предоставляет фиксированные описания схем, как это делает слой Raw data. Доступные таблицы и их структуры отражают конкретные преобразования, настроенные для вашего экземпляра IoT Query. ## Характеристики обработки данных Сущности слоя Transformation автоматически поддерживаются с помощью плановых процессов. Когда вы запрашиваете эти данные, учитывайте следующие характеристики обработки. * **Плановые обновления.** Каждое преобразование обрабатывает новые записи слоя Raw data в соответствии с заданным расписанием. Обновления обычно происходят ежечасно или раз в несколько часов, в зависимости от сложности преобразования и настроек. * **Окна обработки.** Преобразования работают на основе временных сегментов, чтобы эффективно обрабатывать управляемые части данных, а не просматривать целые наборы данных. Такой подход обеспечивает баланс между производительностью обработки и актуальностью данных. * **Поведение при пересчёте.** Когда изменения в конфигурации запускают пересчёт, в свежих данных могут кратковременно наблюдаться несоответствия во время активных окон обработки. Эти несоответствия автоматически исчезают после завершения цикла обработки. * **Поведение, зависящее от схемы.** Преобразования в `processed_common_data` обновляются одновременно для всех клиентов, использующих эту схему, поскольку Navixy централизованно управляет расписанием. Преобразования в `processed_custom_data` выполняются независимо для каждого клиента, что позволяет настраивать расписание и логику обработки под ваши конкретные потребности. ## Что учитывать при выполнении запросов При написании SQL-запросов к данным слоя Transformation учитывайте следующие моменты: * **Используйте полный формат schema.table.** Всегда указывайте таблицы с префиксом схемы, чтобы избежать неоднозначности: ```sql SELECT * FROM processed_common_data.table_name WHERE device_time >= CURRENT_DATE - INTERVAL '7 days'; ``` * **Добавляйте фильтры по временному диапазону.** Добавляйте временные условия в ваши `WHERE` предложения, чтобы ограничить объём сканируемых данных. Это повышает производительность запроса и сокращает время выполнения. * **Проверяйте расписания преобразований.** Данные в таблицах слоя Transformation отражают последний завершённый цикл обработки. Если вам нужны данные, которым всего несколько минут, слой Raw data может быть более подходящим до запуска следующего цикла преобразования. * **Помните, что `processed_common_data` является только для чтения.** Используйте эту схему для запросов к стандартизированным сущностям, поддерживаемым Navixy. Чтобы создавать собственные аналитические сущности, настройте преобразования в `processed_custom_data` схему через [Transformation Builder](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/transformation-builder.md). ## Обработка потоковых данных не поддерживается. * [**Transformation Builder**](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/transformation-builder.md): Проектируйте пользовательские аналитические сущности с помощью визуального интерфейса рабочих процессов. * [**: Ознакомьтесь с полной спецификацией формата экспорта и импорта YAML.**](/docs/analytics/ru/iot-query/schema-overview/bronze-layer.md)Слой Raw data`raw_telematics_data` : Изучите исходные схемы ( `raw_business_data`) которые поступают в преобразования. * [**SQL Recipe Book**](/docs/analytics/ru/example-queries.md): Изучите шаблоны запросов и лучшие практики работы с таблицами слоя Transformation в Dashboard Studio. * [**Common transformations**](/docs/analytics/ru/iot-query/schema-overview/transformation-layer/common-transformations.md): Ознакомьтесь с готовыми аналитическими сущностями, доступными в `processed_common_data`, включая выходные схемы, примеры запросов и шаблоны Transformation Builder. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://navixy.com/docs/analytics/ru/iot-query/schema-overview/transformation-layer.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.