Управление данными рельефа: Часть 2 — Проектирование плана управления данными

Данная инструкция рассчитана в основном на сотрудников организаций, в обязанности которых входит управление данными рельефа и предоставление доступа к ним различным группам пользователей. Здесь предполагается, что для управления данными используется ArcGIS for Desktop, а для распределения их в качестве сервисов изображений — ArcGIS for Server. Тем не менее, информация в этом разделе актуальна и в тех случаях, когда управление данными и их распределение происходит только в ArcGIS for Desktop.

В инструкцию входит описание работы с растровыми (ячеистыми) данными рельефа, а также с трехмерными наборами точек в виде файлов LAS (кроме того, в ходе данной инструкции могут применяться также наборы данных LAS и Terrain).

Ниже приведены основные этапы работы с данными рельефа. Каждый из этих этапов будет подробно рассмотрен далее по тексту.

  1. Хранение данных (размер файлов, требования к ним, местоположение файлов).
  2. Подготовка данных (может требоваться предварительная обработка).
  3. Создание набора данных мозаики для каждой коллекции (источник данных).
  4. Создание набора данных мозаики из каждой коллекции (управление данными).
  5. Создание различных наборов данных мозаики для визуализации, анализа, публикации данных и доступа пользователей (использование данных).

Хранение данных

Хранение данных не рассматривается в этом разделе, но оно требует некоторого планирования в зависимости от предъявляемых требований. В презентации с Международной конференции пользователей Esri 2011 упоминаются некоторые особенности системных архитектур — Системная архитектура для крупных сервисов изображений.

Особое внимание следует обратить на организацию данных. Оптимально будет организовать данные по папкам, сгруппированным по соответствию исходным продуктам. К примеру, данные SRTM следует расположить в одной папке, а данные NED с разрешением 1/3 угл.сек. — в другой. В инструкции в третьей части данного раздела показано, каким образом это влияет на загрузку данных, на контроль качества (QA/QC) и на долгосрочное обслуживание.

Использование данных

В данном разделе обращается особое внимание на три различных режима использования данных рельефа. Большинству конечных пользователей достаточно только визуализации топографии, тогда как небольшой части пользователей необходимы результаты топографического анализа. Кроме того, некоторым пользователям (в частности, инженерам) требуется иметь доступ к реальным значениям рельефа для проведения собственного анализа.

Следует различать эти режимы использования и предоставлять данные, необходимые каждому из этих типов пользователей, поскольку это может оказать сильное влияние на эффективность и быстроту реакции системы. Эти три модели использования будут в дальнейшем называться "визуальный просмотр", "результаты анализа", и "реальные данные".

Модель использования 1: использование для визуального просмотра

Пользователям требуется визуальное представление данных рельефа. В этом случае необходимо создать подходящие продукты визуализации на сервере, а затем предоставить пользователям доступ к ним. Речь идет о самой большой, но, в то же время, наименее требовательной в техническом плане группе пользователей — зачастую это неограниченный круг лиц. Им требуется доступ к большому количеству достаточно простых готовых продуктов на основе данных рельефа. Примеры использования:

  • Изображения с простой или цветной отмывкой рельефа — для включения в топографические карты или базовые карты.
  • Изображения уклонов местности — для городского планирования, предупреждения оползней и т.д.
  • Изображения экспозиции склонов — для сельского хозяйства, выявления ареалов дикой природы и работы с ними, климатического моделирования и т.д.

Естественно, те пользователи, которые используют приложения ArcGIS, смогут сами получить такие продукты, если им предоставить доступ к реальным данным рельефа.

Модель использования 2: использование результатов анализа

Пользователи определяют параметры анализа и указывают интересующую их территорию, после этого сервер выполняет анализ данных рельефа и возвращает результаты. Данной группе пользователей требуется доступ к различным продуктам, которые могут быть получены в результате анализа на стороне сервера. Результаты анализа обычно имеют вид карт или отдельных пространственных объектов, они предоставляются пользователю без передачи самих исходных данных. Примеры использования:

  • Расчет областей и линий видимости — для оценки видимости с определенного места, для размещения вышек сотовой связи и другого коротковолнового оборудования, для планирования сплошных вырубок леса
  • Применение в управлении чрезвычайными ситуациями — для планирования эвакуаций, ликвидации наводнений, принятия решений в режиме реального времени (например, в случае наводнения)
  • Промышленное планирование — расчет профилей ветра и видимости для расположения ветряных электростанций или проектирования гидроэлектрической дамбы
  • Вычисление горизонталей рельефа — для отображения на карте
  • Вычисление профилей вдоль прямых линий или сегментов линий — для прокладки трубопроводов и расчета давления, проектирования дорог, или для расчета путей трелевки леса и ее стоимости

В этих областях применения, как правило, нет необходимости в реальных значениях рельефа. Если передавать только продукты анализа, требования к ширине полосы пропускания снижаются, так как размер данных становится меньше. К примеру, необработанные значения рельефа имеют глубину 32 бита, тогда как результаты расчета областей видимости — 1 или 8 бит.

Модель использования 3: использование реальных данных

Пользователям требуется доступ непосредственно к значениям рельефа. Таким пользователям исходные данные рельефа в цифровом формате необходимы для проведения численных расчетов (предположительно, на стороне клиентского приложения). Например:

  • В качестве входных данных в стороннем процессе — для ортотрансформирования изображений
  • В качестве входных данных в собственных моделях или процессах — для построения горизонталей, для анализа водного потока при гидрографическом проектировании системы орошения, для моделирования затоплений

Из всех трех моделей использования, данная модель является самой требовательной к времени и ресурсам, поскольку она часто требует доступа и передачи больших объемов данных.

Требования

Обеспечить доступ к требуемым данным в соответствии с рассмотренными выше моделями использования. Данный список не претендует на полноту, но иллюстрирует некоторые существенные требования к данным рельефа. Необходимо определить, приемлемы ли данные требования для вашей организации, и принять соответствующие решения относительно надлежащего осуществления.

Загрузка и экспорт данных

Как администраторам, так и конечным пользователям, необходимо знать, что при любом пересчете данных рельефа они будут изменяться. К примеру, если набор данных просматривается в разрешении, отличном от его полного разрешения, в другой проекции или при другом выравнивании пикселов, то произойдет пересчет данных. При пересчете пикселов можно получить нерационально большое их количество, что случается не так уж и редко. Например, такое произойдет в случае приближения областей видимости, рассчитанных на основе набора данных разрешением 5 м, в чересчур крупный масштаб — 1:1 000.

В некоторых случаях пользователям требуется доступ к численным значениям рельефа в определенной области интереса (использование значений данных). Для предоставления клиенту численных значений данных применяются два метода: экспорт и загрузка.

При экспорте происходит извлечение данных с определенным экстентом и пространственной привязкой. Процесс экспорта позволяет получить необработанные значения данных, данные с пересчетом пикселов или обработанные данные (изображение уклонов или отмывки рельефа). При загрузке данных происходит передача их исходных значений (в полном разрешении и без пересчета), как правило, на определенную территорию. Очевидно, что при загрузке данных может происходить передача очень большого объема данных от сервера к клиенту (особенно в тех случаях, когда данные покрывают обширную территорию или содержат много наборов данных). Поэтому следует реализовать соответствующие ограничители, способствующие подготовке пользователя и системы к этому процессу — в частности, задав значение предельного объема данных для передачи или разработав веб-приложение с предупреждением о загрузке.

Источники данных

Ниже приведен список данных, на примере которых будет рассматриваться ход работы с данными рельефа. Эти данные имеют различную глубину пикселов, обычно 16 bit или float, signed или unsigned.

В инструкции предполагается, что используются собственные данные организации, хранящиеся на локальном диске.

Данные

Описание

GTOPO

GTOPO — глобальный набор данных рельефа с разрешением 30 угловых секунд (приблизительно 1 км), который доступен для загрузки по адресу http://www1.gsi.go.jp/geowww/globalmap-gsi/gtopo30/gtopo30.html.

SRTM

SRTM (The Shuttle Radar Topography Mission — Программа топографической радиолокационной съемки "Шаттл") — данные рельефа практически на всю территорию Земли, полученные с космического аппарата "Спейс шаттл" для построения наиболее полной цифровой базы данных рельефа Земли высокого разрешения.

Данные доступны по адресу http://srtm.usgs.gov/index.php.

NED 10, NED 30

NED (National Elevation Dataset — Национальный набор данных рельефа США) — данные, созданные Геологической службой США (USGS) на территорию США. Данные NED доступны для использования в США и имеют разрешения 1 угл. сек. (около 30 м, обозначаются "NED 30") и 1/3 угл. сек. (около 10 м — "NED 10").

См. http://ned.usgs.gov/.

Лидар

Данные лазерного сканирования могут быть получены из различных источников. В данном случае источником является Информационная система регионального землепользования штата Орегон (Oregon Metro Regional Land Information System, RLIS), на основе этих данных можно построить как ЦМР, так и ЦММ.

Организация управления данными и конечные сервисы

Одной из главных задач является управление всеми данными, вне зависимости от их экстента, как единым элементом. Альтернативой этому принципу является управление данными на различную территорию в различных наборах (такая ситуация часто возникает со временем, по мере роста организации и выполнения отдельных проектов). ArcGIS предлагает эффективное управление коллекциями данных абсолютно любого размера, что уменьшает затраты на их создание и обслуживание, которые возникают по причине дублирования данных и излишнего административного контроля.

Организация набора данных мозаики

Набор данных мозаики является оптимальной структурой данных для контроля, отображения и публикации коллекций данных рельефа, поскольку с его помощью осуществляется управление файлами различных растровых форматов и разрешений, при этом файлы располагаются на диске в своем исходном формате. Он также предоставляет множество опций отображения и обработки данных рельефа, например построение динамических мозаик, когда разрешение изображений подбирается соответственно текущему масштабу. Также предоставляются функции обработки, при помощи которых возможно создание различных продуктов без копирования исходных данных.

Функции, свойственные данным рельефа — это Отмывка (Hillshade), Цветная отмывка (Shaded Relief), Экспозиция (Aspect) и Уклон (Slope).

Предпочтительно разделение наборов данных мозаики на два типа: те, что используются чаще всего для управления данными, и те, что обеспечивают представление данных для общего доступа (например, отмывку рельефа). Такое разделение удобно при организации данных. Один набор данных мозаики может использоваться для управления изображениями, другой — для размещения содержимого в общем доступе или для его распространения (публикации).

Ниже приведен обзор различных типов наборов данных мозаики и их возможного применения:

  • Исходный — используется для управления изображениями. Как правило, содержит коллекцию одинаковых изображений. Может применяться любое количество таких исходных наборов для управления разными коллекциями данных, например SRTM и NED. Их можно опубликовать напрямую или (что более распространено) использовать в качестве источника для других наборов данных мозаики.
  • Главный (или производный) — применяется для объединения данных из различных источников в один набор данных мозаики. Источником для главного набора данных мозаики обычно является один или несколько исходных наборов данных мозаики, но в него также могут входить и другие изображения или сервисы.
  • Справочный — особый тип набора данных мозаики, в основном используемый для размещения изображений в общем доступе или для их публикации. Он создается на основе одного другого набора данных мозаики и не разрешает пользователям редактировать элементы в его таблице, таким образом предохраняя входной набор данных от изменения. Как правило, он используется для предоставления доступа к различным результатам обработки исходного или главного набора данных мозаики.

Исходный и главный (производный) наборы данных мозаики различаются только названиями — это различие способствует пониманию организационной структуры всех наборов данных мозаики, тогда как справочный набор данных мозаики является существенно отличной формой набора данных.

Данные рельефа хранятся в папках в порядке, определенном либо поставщиком данных, либо самим администратором, в то время как их управление и распределение осуществляется в одном или нескольких наборах данных мозаики и в сервисах изображений. Данные, входящие в один исходный набор данных мозаики, обычно характеризуются одинаковым количеством каналов и одной битовой глубиной. В данном случае они характеризуются одним продуктом и битовой глубиной. Например, данные лазерного сканирования могут быть организованы в один набор данных мозаики, а данные SRTM — в другой. Это удобно для организации данных и позволяет разделять данные с различными вертикальными единицами измерения. Например, данные лазерного сканирования измеряются в футах, а данные SRTM — в метрах. Также такая структура позволяет настраивать контуры изображений, если это необходимо, или задавать области типа NoData, в соответствии с уникальными свойствами каждого продукта.

Исходные наборы данных мозаики объединяются в главный набор данных мозаики. К некоторым источникам данных могут быть добавлены отдельные функции, для того чтобы все данные представляли одинаковую информацию, в частности, преобразование футов в метры или эллипсоидальных высот в ортометрические. (Для большинства требований рекомендуется применять в качестве главного сервиса, являющегося основой для всех прочих, набор данных мозаики с ортометрическими высотами.)

Конечные продукты и сервисы

На основе главного набора данных мозаики создаются различные справочные наборы данных мозаики, при этом рекомендуется предоставление следующих сервисов данных рельефа:

  • Ортометрическая высота рельефа
  • Ортометрическая высота местности — если имеется цифровая модель местности (на которой отражены здания, мосты, растительность и пр.)
  • Эллипсоидальная высота рельефа
  • Для визуализации
    • Отмывка рельефа
    • Цветная отмывка рельефа
    • Уклон
    • Экспозиция (для визуализации и анализа)

Если требуется несколько различных геоидов для коррекции, администратор может опубликовать эти геоиды в качестве сервисов изображений, предоставив пользователям соответствующие опции.

Выбор представления океана

Во всех случаях необходимо определиться со способом представления океана. Выбор подходящего способа зависит от приложений, в которых будут использоваться данные. Способы представления:

  • Океан имеет нулевое значение высоты
  • Океан является типом NoData
  • Океаны представляются батиметрическими данными

Большинство приложений поддерживает представление уровня моря в виде нулевого значения высоты. Если данные морей отсутствуют (тип NoData), то ортотрансформирование в области морей не удастся провести. Для того чтобы заполнить эти данные нулевыми значениями существует простой способ, основанный на добавлении в набор данных мозаики глобального пустого изображения очень низкого разрешения со значениями пикселов 0. Тогда на месте значений типа NoData в данных рельефа, таких как SRTM, будет отображено это пустое изображение.

Если в набор данных включены данные батиметрии, то возможно наличие отрицательных значений рельефа для океанов, что позволяет визуализировать их дно. При этом возможна гибкость в отображении данных различными сервисами: в одних клиентских приложениях вода будет показана синим цветом в тех местах, где высота ниже 0, а в других клиентских приложениях на эту же область будет показан подводный рельеф с цветной отмывкой.

Обзоры

На базовом уровне, обзорные изображения набора данных мозаики сходны с пирамидными слоями набора растровых данных. Это изображения меньшего разрешения создаются для увеличения скорости отображения и уменьшения использования CPU, т.к. меньше растров рассматриваются для отображения мозаичного изображения. Однако эти изображения сильно различаются в зависимости от параметров, заданных при их создании. Вы можете создать их, чтобы покрыть только определенную область, или только в определенных разрешениях. Они создаются, чтобы вы могли просматривать все растры, содержащиеся во всем наборе данных мозаики, не только для каждого растра. Обзорные изображения обычно начинаются там, где заканчиваются пирамидные слои растра, но вы можете задать базовый размер символов, при котором обзорные изображения будут создаваться, если вы предпочитаете не использовать все пирамидные слои растра.

Следует выбрать наилучший подход к работе с обзорными изображениями. Обзорные изображения могут создаваться из данных в составе проекта, но, если доступны подходящие наборы данных низкого разрешения из альтернативных источников (GTOPO, ETOPO, GMTED2010...), рекомендуется использовать именно их. Далее в данном разделе будет рассматриваться построение сервиса изображений на обширную территорию, состоящего из нескольких наборов данных различного пространственного разрешения. При таком подходе, как правило, построение обзорных изображений не требуется.

Подробнее об обзорных изображениях

Метаданные

При работе с данными рельефа необходимо принимать в рассмотрение множество свойств этих данных. Следует определиться с тем, какие компоненты наиболее важны, а также какие поля метаданных будут доступны пользователям. Ниже приведен список метаданных, которые рекомендуется включать в сервисы, как для контроля качества, так и для конфигурации системы.

Следует верифицировать метаданные включая следующее:

Для уникальных полей метаданных может потребоваться вручную добавить эти значения в таблицу атрибутов набора данных мозаики, например горизонтальную и вертикальную точности. Таким образом, пользователи легко смогут запрашивать эту информацию в наборе данных.

ПодсказкаПодсказка:

При проектировании пригодится список используемых продуктов (или субпродуктов), поскольку может потребоваться изменение данных в наборе данных мозаики, например с применением функции Арифметика (Arithmetic) для преобразования одних единиц измерения в другие.

Оптимизация форматов данных

Оптимизация форматов необходима только в тех случаях, когда данные имеют неэффективный или неподдерживаемый формат. Ниже приведены рекомендации по поводу предварительной обработки данных рельефа при построении одиночной коллекции данных и ее публикации в виде сервиса.

В некоторых случаях для принятия решения о конвертации данных, может потребоваться выполнить тест производительности. Например:

Конвертация файлов

Если требуется конвертация файлов из одного формата в другой без изменения битовой глубины или других свойств набора данных, то применяется инструмент Растр в другой формат (несколько) (Raster To Other Format (Multiple)). Если необходимо внести изменения в некоторые свойства, воспользуйтесь инструментом Скопировать растр (Copy Raster). Для применения этого инструмента к нескольким наборам данных щелкните его правой кнопкой мыши и выберите Пакетно (Batch), либо выполните написанный скрипт. В любом случае потребуется задать параметры среды. Это можно сделать на уровне приложения, если параметры будут применяться к нескольким инструментам, либо на уровне конкретного инструмента.

Шаги:
  1. Откройте диалоговое окно Параметры среды (Environments).
    • Щелкните пункт главного меню Геообработка (Geoprocessing) > Параметры среды (Environments).
    • В окне инструмента нажмите кнопку Параметры среды (Environments).
  2. Разверните раздел Параметры хранения растров (Raster Storage).
  3. Установите флажок Построить пирамидные слои (Build Pyramids).
    1. В ниспадающем списке Метод пересчета пирамидных слоев (Pyramid Resampling Technique) выберите BILINEAR.
    2. В ниспадающем списке Тип сжатия пирамидных слоев (Pyramid Compression Type) выберите LZW.
  4. Установите флажок Вычислить статистику (Calculate Statistics).
    1. Введите значение 1000 для коэффициентов пропуска по X и Y.

    Это значение получено делением числа столбцов на 1 000.

  5. В ниспадающем списке Сжатие (Compression) выберите LZ77.
  6. Убедитесь, что и ширина, и высота Размера листа (Tile Size) равны 128.

Проекция

Если для какого-либо набора данных не указана проекция, воспользуйтесь инструментом Задать проекцию (Define Projection). Дополнительную информацию вы можете найти в блоге Изображение показывается не в том месте.

Как правило, файлы не требуют смены проекции.

Построение пирамидных слоев

Если данные не содержат пирамидных слоев, при этом размер листов большой (число строк или столбцов превышает 5 000), рекомендуется создать пирамидные слои. Для того чтобы определить, имеет ли файл пирамидные слои, щелкните его правой кнопкой в окне Каталога (Catalog) или в таблице содержания и выберите пункт Свойства (Properties), затем посмотрите наличие пирамидных слоев в информации о растре.

При построении пирамидных слоев для нескольких наборов данных единовременно, воспользуйтесь инструментом Построить пирамидные слои и статистику (Build Pyramids And Statistics). Примените те же параметры среды, что приведены выше.

Пирамидные слои занимают дополнительное место на диске и хранятся в отдельных файлах с расширением OVR.

ПримечаниеПримечание:

Данные, используемые в этом руководстве, не содержат пирамидных слоев. Причина в том, что в ходе работы будут объединены друг с другом данные различных разрешений (таким образом, необходимость в изображениях низкого разрешения отпадает), а также в том, что данные имеют полистную структуру (отсутствуют особо крупные отдельные файлы).

FWTools

ПодсказкаПодсказка:

Если количество файлов данных превышает 100 000, при этом для них создаются пирамидные слои, то в этом случае удобнее будет хранить пирамидные слои в составе самих файлов, чтобы их число не увеличивалось. Для этого рекомендуется утилита FWTools, не входящая в поставку ArcGIS.

Вы можете загрузить эту утилиту с сайта http://fwtools.maptools.org, затем следует выполнить следующие команды:

gdal_translate.exe -of Gtiff -co "TILED=YES" -co "COMPRESS=LZW" Input.xxx Output.tif
gdaladdo.exe -r average -ro --config TILED YES --config PHOTOMETRIC_OVERVIEW LZW output.tif 2 4 8 16

Для 16-битных изображений вставьте параметр co NBITS=12 перед Input.xxx.

Если размер создаваемых файлов превышает 4 Гб, вставьте параметр BIGTIFF=YES или BIGTIFF=IF_NEEDED перед Input.xxx.

Вычисление статистики

Статистика требуется для выполнения над набором растровых данных или набором данных мозаики некоторых операций геообработки или определенных задач в приложениях ArcGIS for Desktop (например, для растяжки контрастности или классификации данных). В данном руководстве построение статистики для источников данных не требуется, так как ни один из них не будет отображаться или использоваться по отдельности, кроме того, ни одна функция и ни один создаваемый продукт не полагаются на статистику отдельных наборов данных. Статистика будет построена для наборов данных мозаики для их отображения.

Подробнее о статистике см. раздел Статистика набора растровых данных.

Связанные темы

9/11/2013