4-2. Использование мета-данных в QVD файлах

Мы получили набор аналитических таблиц, но у нас по прежнему нет представления, что из себя представляет ландшафт данных. Даже с семью таблицами, как унас, все может быть весьма запутано. Что уж говорить о большем количестве таблиц?

Одно из преимуществ QVD-файлов — возможность загружать из них не только данные, но и метаданные, т.е. описание данных, содержащихся в файле.

Откройте загрузку данных из любого QVD-файла, и установите формат файла XML.

Вы увидите 3 таблицы, которые содержат:

  • Свойства таблицы;
  • Свойства полей;
  • Теги полей.

Как вы уже догадались, на базе этих данных можно создать приложение, которое будет визуализировать метаданные, и помогать нам с пониманием аналитического ландшафта.

В конце занятия вы получите образец такого приложения, а пока разберем еще одну важную часть документирования данных

Комментарии к полям и таблицам

Дело в том, что мы можем не просто прочитать фиксированную техническую информацию из мета-данных QVD, но и записать туда свои ценные сведения. Например, описание полей и таблиц.

Комментарии пишутся после команды comment table with для таблиц и comment field with для полей. Делать это надо перед сохранением в QVD.

Теперь в метаданных полей и таблицы будут наши комментарии, которые также можно задействовать в визуализации аналитического ландшафта.

Вы можете схитрить, и писать в комментарии не просто строку текста, а структурированнаю информацию, типа:

comment table Клиенты with «PK:@Client_ID|System:1C,Excel| Description: Это справочник клиентов».

И при чтении метаданных разбирать данную строку с помощью функции subfield() на отдельыне составляющие, таким образом передавая реальные структурированные свойства, которые можно визуализировать при загрузке мета-данных.

Но этот способ не без изъянов. Поддерживать больше кол-во таблиц и полей через комментарии трудно. Более продвинутое решение — записывать в базу данных основные метаданные (таблицы и поля ) через ODBC-коннектор, и вокруг этого сделать форму ввода на любом удобном инструменте, где вы могли бы записывать свойства таблиц и полей не через комментарии, а в удобном интерфейсе.

Визуализация мета-данных

Я приготовил для вас демо-приложение, показывающее пример визуализации мета-данных qvd-файлов в Qlik Sense.

Если вы следовали инструкциям из предыдущего занятия, то вы легко сможете загрузить свои данные, поправив путь до аналитической QVD-папки в секции скрипта Каталог файлов.

Скрипт считает метаданные из всех qvd-файлов, включая вложенные папки. Файлы из папки DICT будут отмечены как справочники, а из папки FACT — как факты.

Названия полей, начинающиеся с @, будут определены как поля связи. По ним построится визуализация связей всех доступных таблиц.

При выборе нескольких таблиц в списке слева вы увидите возможные ассоциации.

Это таблицы, которые связанны напрямую с выбранными. Вы можете выбрать таблицы из списка и добавить к текущей вборке с помощью кнопки Добавить наверху.

ТАким образом можно исследовать взаимосвязи данных. Например, выбрать справочник клиентов, и посмотреть, какие данные с ним ассоциированы. Потом расширить выборку и увидеть, какие новые ассоциации появились.

В сводной таблице можно посмотреть, с какими другими табилцами есть связь и по каким полям.

Посмотрите модель данных приложения, чтобы увидеть какие еще данные доступны для визуализации. Как вы понимаете, при визуализации аналитического ландшафта можно задействовать все возможности платформы Qlik, в т.ч. интеллектуальный поиск, и прочие фишки связанные с исследованием данных. Врядли можно представить более удобный и гибкий каталог.

Скачать приложение

Заключение

Чем раньше вы начнете придерживаться представленной практики систематизации аналитического слоя, тем проще вам будет развивать аналитику в вашей компании. При этом вы избежите рисков поддержки дубликатов кода, и сможете анализировать не только сами данные, но и их взаимосвязи на уровне всей компании, отыскивая новые сценарии построения аналитики.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *