Начало работы при проверке и анализе данных
Data Reviewer является дополнительным модулем ArcGIS, в котором содержится ряд инструментов для проверки и анализа данных. Функции проверки позволяют выполнять различные виды анализа геоданных, в частности, оценку экстентов пространственных объектов и оценку пространственных отношений между ними. Они могут быть сгруппированы в пакетные задания (batch jobs), таким образом можно проверить данные на соответствие нескольким условиям одновременно.
До начала работы с задачами проверки и анализа необходимо провести некоторую настройку модуля. Ниже приведено руководство и несколько советов по настройке Data Reviewer перед запуском процессов контроля качества (обеспечения качества) геоданных.
Перед проверкой данных
Проверка данных в Data Reviewer выполняется при помощи инструментов проверки (checks) и пакетных заданий (batch jobs). Однако, перед настройкой проверок и созданием пакетных заданий, рекомендуется обдумать, какие условия поиска необходимы для обеспечения качества геоданных. Примерами таких условий являются:
- Должны ли данные удовлетворять какой-либо спецификации? К примеру, должны ли застроенные территории быть определенного размера, чтобы можно было определить, оцифрованы ли они как точки или как полигоны?
- Могут ли данные содержать пространственные проблемы? К примеру, необходимо ли проверять, не оцифрованы ли здания поверх озер или водоемов?
Такие типы условий также иногда называют бизнес-правилами для геоданных. Источниками бизнес-правил могут быть промышленные стандарты или спецификации продукта, решения экспертов или стандартные технологические регламенты. Есть возможность настройки инструментов для проверки любых из этих условий. Может потребоваться провести несколько проверок на соответствие одного класса пространственных объектов или одной таблицы всем необходимым правилам.
Более подробно о проверках, доступных в Data Reviewer
При работе с большим экстентом или при желании провести визуальный контроль качества, есть смысл создать полигональную сетку, разделяющую картографические данные на малые и удобные в работе части. Затем эти малые части можно использовать для систематизированной оценки большого экстента данных или для отслеживания процесса визуальной оценки.
Конфигурация проверок и пакетных заданий
Большая часть проверок в Data Reviewer рассчитана на работу с таблицами или с точечными, линейными или полигональнысм классами пространственных объектов. Но некоторые проверки имеют особые требования. Ниже приведены типы проверок и отдельные проверки, имеющие особые требования.
- Для проверки связности необходима геометрическая сеть с заданными правилами связности.
- Для проверки топологии в базе геоданных должна присутствовать топология.
- Проверка отношений требует класса отношений.
- Для проверки Z-координат требуется класс пространственных объектов с трехмерной системой координат.
- Проверка метаданных требует наличия метаданных в проверяемой рабочей области.
Организация проверок в пакетные задания
После конфигурации, проверки могут быть организованы в пакетные задания по различным сценариям. В целом, проверки могут входить в одну или несколько групп. Сценарии организации проверок представлены ниже.
- Можно создать одно большое пакетное задание, проверяющее всю базу данных по нескольким критериям. Это пакетное задание можно разбить на группы проверок по различным типам условий. К примеру, пакетное задание может содержать как атрибутивные, так и пространственные проверки.
- Проверки могут быть сгруппированы по классам объектов, при этом одним пакетным заданием можно провести проверку одного класса по нескольким критериям. К примеру, можно настроить несколько проверок для работы с одним классом линейных пространственных объектов, проверив его на соответствие сразу нескольким условиям.
- При работе с базой геоданных, содержащей большую схему, можно создать несколько меньших пакетных заданий, предназначенных для одной и той же проверки. Такие пакетные задания можно создать дублированием проверок. Такой метод организации проверок позволяет проводить конкретную проверку над всеми классами пространственных данных в схеме. Пакетные задания также можно создавать для отдельных типов геометрии, таким образом легче контролировать, над какими классами объектов проводится проверка. К примеру, чтобы определить, какие классы точечных объектов содержат повторяющиеся объекты, требуется пакетное задание с проверкой Дублированной геометрии (Duplicate Geometry) для всех классов точечных объектов в схеме.
Организация сеанса проверки
В зависимости от структуры предприятия, может пригодиться разбиение работы по проверке и анализу данных на несколько сеансов проверок (Reviewer sessions). Как минимум, следует разделять автоматизированный и визуальный контроль качества на различные сеансы. Это позволит отделить результаты ручного контроля качества от результатов пакетной обработки, что может быть необходимо в отчете о качестве данных. Как правило, автоматическая проверка качества должна достигнуть 100 процентов, в отличие от ручной визуальной проверки. Разделив результаты на отдельные сеансы, можно определить уровень качества данных на основе отчетов Data Reviewer.