Мы получили набор аналитических таблиц, но у нас по прежнему нет представления, что из себя представляет ландшафт данных. Даже с семью таблицами, как унас, все может быть весьма запутано. Что уж говорить о большем количестве таблиц?
Одно из преимуществ QVD-файлов — возможность загружать из них не только данные, но и метаданные, т.е. описание данных, содержащихся в файле.
Откройте загрузку данных из любого QVD-файла, и установите формат файла XML.
Вы увидите 3 таблицы, которые содержат:
- Свойства таблицы;
- Свойства полей;
- Теги полей.
Как вы уже догадались, на базе этих данных можно создать приложение, которое будет визуализировать метаданные, и помогать нам с пониманием аналитического ландшафта.
В конце занятия вы получите образец такого приложения, а пока разберем еще одну важную часть документирования данных
Комментарии к полям и таблицам
Дело в том, что мы можем не просто прочитать фиксированную техническую информацию из мета-данных QVD, но и записать туда свои ценные сведения. Например, описание полей и таблиц.
Комментарии пишутся после команды comment table with для таблиц и comment field with для полей. Делать это надо перед сохранением в QVD.
Теперь в метаданных полей и таблицы будут наши комментарии, которые также можно задействовать в визуализации аналитического ландшафта.
Вы можете схитрить, и писать в комментарии не просто строку текста, а структурированнаю информацию, типа:
comment table Клиенты with «PK:@Client_ID|System:1C,Excel| Description: Это справочник клиентов».
И при чтении метаданных разбирать данную строку с помощью функции subfield() на отдельыне составляющие, таким образом передавая реальные структурированные свойства, которые можно визуализировать при загрузке мета-данных.
Но этот способ не без изъянов. Поддерживать больше кол-во таблиц и полей через комментарии трудно. Более продвинутое решение — записывать в базу данных основные метаданные (таблицы и поля ) через ODBC-коннектор, и вокруг этого сделать форму ввода на любом удобном инструменте, где вы могли бы записывать свойства таблиц и полей не через комментарии, а в удобном интерфейсе.
Визуализация мета-данных
Я приготовил для вас демо-приложение, показывающее пример визуализации мета-данных qvd-файлов в Qlik Sense.
Если вы следовали инструкциям из предыдущего занятия, то вы легко сможете загрузить свои данные, поправив путь до аналитической QVD-папки в секции скрипта Каталог файлов.
Скрипт считает метаданные из всех qvd-файлов, включая вложенные папки. Файлы из папки DICT будут отмечены как справочники, а из папки FACT — как факты.
Названия полей, начинающиеся с @, будут определены как поля связи. По ним построится визуализация связей всех доступных таблиц.
При выборе нескольких таблиц в списке слева вы увидите возможные ассоциации.
Это таблицы, которые связанны напрямую с выбранными. Вы можете выбрать таблицы из списка и добавить к текущей вборке с помощью кнопки Добавить наверху.
ТАким образом можно исследовать взаимосвязи данных. Например, выбрать справочник клиентов, и посмотреть, какие данные с ним ассоциированы. Потом расширить выборку и увидеть, какие новые ассоциации появились.
В сводной таблице можно посмотреть, с какими другими табилцами есть связь и по каким полям.
Посмотрите модель данных приложения, чтобы увидеть какие еще данные доступны для визуализации. Как вы понимаете, при визуализации аналитического ландшафта можно задействовать все возможности платформы Qlik, в т.ч. интеллектуальный поиск, и прочие фишки связанные с исследованием данных. Врядли можно представить более удобный и гибкий каталог.
Заключение
Чем раньше вы начнете придерживаться представленной практики систематизации аналитического слоя, тем проще вам будет развивать аналитику в вашей компании. При этом вы избежите рисков поддержки дубликатов кода, и сможете анализировать не только сами данные, но и их взаимосвязи на уровне всей компании, отыскивая новые сценарии построения аналитики.