4-2. Использование мета-данных в QVD файлах

Мы получили набор аналитических таблиц, но у нас по прежнему нет представления, что из себя представляет ландшафт данных. Даже с семью таблицами, как унас, все может быть весьма запутано. Что уж говорить о большем количестве таблиц?

Одно из преимуществ QVD-файлов — возможность загружать из них не только данные, но и метаданные, т.е. описание данных, содержащихся в файле.

Откройте загрузку данных из любого QVD-файла, и установите формат файла XML.

Вы увидите 3 таблицы, которые содержат:

  • Свойства таблицы;
  • Свойства полей;
  • Теги полей.

Как вы уже догадались, на базе этих данных можно создать приложение, которое будет визуализировать метаданные, и помогать нам с пониманием аналитического ландшафта.

В конце занятия вы получите образец такого приложения, а пока разберем еще одну важную часть документирования данных

Комментарии к полям и таблицам

Дело в том, что мы можем не просто прочитать фиксированную техническую информацию из мета-данных QVD, но и записать туда свои ценные сведения. Например, описание полей и таблиц.

Комментарии пишутся после команды comment table with для таблиц и comment field with для полей. Делать это надо перед сохранением в QVD.

Теперь в метаданных полей и таблицы будут наши комментарии, которые также можно задействовать в визуализации аналитического ландшафта.

Вы можете схитрить, и писать в комментарии не просто строку текста, а структурированнаю информацию, типа:

comment table Клиенты with «PK:@Client_ID|System:1C,Excel| Description: Это справочник клиентов».

И при чтении метаданных разбирать данную строку с помощью функции subfield() на отдельыне составляющие, таким образом передавая реальные структурированные свойства, которые можно визуализировать при загрузке мета-данных.

Но этот способ не без изъянов. Поддерживать больше кол-во таблиц и полей через комментарии трудно. Более продвинутое решение — записывать в базу данных основные метаданные (таблицы и поля ) через ODBC-коннектор, и вокруг этого сделать форму ввода на любом удобном инструменте, где вы могли бы записывать свойства таблиц и полей не через комментарии, а в удобном интерфейсе.

Визуализация мета-данных

Я приготовил для вас демо-приложение, показывающее пример визуализации мета-данных qvd-файлов в Qlik Sense.

Если вы следовали инструкциям из предыдущего занятия, то вы легко сможете загрузить свои данные, поправив путь до аналитической QVD-папки в секции скрипта Каталог файлов.

Скрипт считает метаданные из всех qvd-файлов, включая вложенные папки. Файлы из папки DICT будут отмечены как справочники, а из папки FACT — как факты.

Названия полей, начинающиеся с @, будут определены как поля связи. По ним построится визуализация связей всех доступных таблиц.

При выборе нескольких таблиц в списке слева вы увидите возможные ассоциации.

Это таблицы, которые связанны напрямую с выбранными. Вы можете выбрать таблицы из списка и добавить к текущей вборке с помощью кнопки Добавить наверху.

ТАким образом можно исследовать взаимосвязи данных. Например, выбрать справочник клиентов, и посмотреть, какие данные с ним ассоциированы. Потом расширить выборку и увидеть, какие новые ассоциации появились.

В сводной таблице можно посмотреть, с какими другими табилцами есть связь и по каким полям.

Посмотрите модель данных приложения, чтобы увидеть какие еще данные доступны для визуализации. Как вы понимаете, при визуализации аналитического ландшафта можно задействовать все возможности платформы Qlik, в т.ч. интеллектуальный поиск, и прочие фишки связанные с исследованием данных. Врядли можно представить более удобный и гибкий каталог.

Скачать приложение

Заключение

Чем раньше вы начнете придерживаться представленной практики систематизации аналитического слоя, тем проще вам будет развивать аналитику в вашей компании. При этом вы избежите рисков поддержки дубликатов кода, и сможете анализировать не только сами данные, но и их взаимосвязи на уровне всей компании, отыскивая новые сценарии построения аналитики.

Добавить комментарий

Ваш адрес email не будет опубликован.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.