Gestion des données altimétriques, Partie 2 : Plan de conception et de gestion des données

Le public visé par ce workflow correspond principalement aux gestionnaires de données d'image dans les organisations, qui sont chargés de rendre accessibles les données altimétriques à un éventail de communautés d'utilisateurs. Ce workflow suppose que le gestionnaire de données d'image utilise ArcGIS for Desktop pour gérer les données et ArcGIS for Server pour distribuer les données sous la forme d'un ou de plusieurs services d'imagerie, mais ce workflow est également pertinent pour la gestion et la distribution de données altimétriques dans uniquement ArcGIS for Desktop.

Ce workflow est conçu pour traiter des données altimétriques raster (basées sur les cellules) et des données ponctuelles 3D stockées sous forme de fichiers LAS (les formats des jeux de données de MNT et LAS peuvent également être utilisés dans ce workflow).

La conception générale de la gestion des données altimétriques est exposée ci-dessous. Chacune de ces étapes sera présentée dans la suite du document.

  1. Stockage des données (taille, conditions requises et emplacements).
  2. Préparation des données (peut requérir un traitement préalable).
  3. Création d'une mosaïque pour chaque ensemble (source).
  4. Création d'une mosaïque à partir de chaque ensemble (principale).
  5. Création de mosaïques différentes pour la visualisation, l'analyse, l'accès utilisateur et la publication (référencées).

Stockage des données

Le stockage des données n'est pas présenté ici, mais il exige une certaine planification en fonction de vos exigences. Pour consulter une méthodologie de conception qui produit un système d'information géographique, reportez-vous au document en ligne System Design Strategies (Stratégies de conception de système) d'Esri.Stratégies de conception de système sur wiki.gis.com.

L'élément principal à mentionner est l'organisation des données. L'idéal consiste à pouvoir organiser les données en dossiers groupés par produit. Par exemple, conservez les données SRTM dans un dossier et les données NED de 1/3 seconde d'arc dans un autre dossier. Vous verrez dans la procédure (Partie 3) la manière dont cela vous aidera lors du chargement des données, dans le domaine de l'assurance et du contrôle qualité, ainsi que pour la maintenance à long terme.

Utilisation des données

Ce workflow met l'accent sur trois modes différents d'utilisation des données altimétriques. La plupart des utilisateurs finaux a besoin de voir des visualisations de la topographie, tandis qu'une plus petite part des utilisateurs veut voir les résultats d'une analyse topographique. Une plus petite part encore d'utilisateurs, dont notamment les ingénieurs, demandent à accéder aux valeurs d'altitude réelles pour effectuer leur propre analyse.

Il est important de comprendre ces différences et de mettre en œuvre le mode d'utilisation approprié pour chacun de ces types d'utilisateurs, étant donné que cela peut affecter grandement l'efficacité et la réactivité du système. Les différents modèles d'utilisation qui seront référencés à plusieurs reprises correspondent à une utilisation pour visualisation, une utilisation des résultats d'analyse et une utilisation des valeurs de données.

Modèle d'utilisation 1 : utilisation pour visualisation

Les utilisateurs ont besoin de visualiser des représentations des données altimétriques. Ainsi, le gestionnaire de données doit créer des produits de visualisation appropriés sur le serveur, puis mettre ces vues à la disposition des utilisateurs. Cela correspond au groupe d'utilisateurs le plus large, mais le moins exigeant techniquement (dans de nombreux cas, le grand public), qui a besoin d'un accès aisé à un nombre quelconque de produits relativement clairs, basés sur les données altimétriques. Exemples

  • Une image de terrain ou de relief ombré à inclure dans une carte topographique ou un fond de carte
  • Une image représentant la pente, pour la planification urbaine, la probabilité d'un glissement de terrain, etc.
  • Une image représentant l'exposition, pour l'agriculture, la délimitation et l'aménagement des habitats sauvages, la modélisation du climat, etc.

Bien entendu, en fournissant aux utilisateurs ArcGIS un accès aux données altimétriques, l'application peut leur permettre de créer eux-mêmes ces produits.

Modèle d'utilisation 2 : utilisation des résultats d'analyse

Les utilisateurs définissent les paramètres et une région d'intérêt pour l'analyse côté serveur des données altimétriques, puis récupèrent les résultats. Cela fait référence à un groupe d'utilisateurs ayant besoin d'un accès à divers produits analytiques qui peuvent être générés sur le serveur. Les résultats sont en général des cartes ou des entités discrètes qui sont ensuite mises à disposition de l'utilisateur sans que les données source d'origine soient transmises. Exemples

  • Calculs du champ de vision pour l'analyse de la visibilité et de la ligne de visée : pour déterminer ce qui peut être vu à partir d'un emplacement, pour déterminer l'emplacement de pylônes de téléphonie mobile et de systèmes de communication hertziens ou pour planifier des coupes forestières
  • Utilisation dans le cadre de la gestion des catastrophes : pour la planification de mesures d'évacuation, l'atténuation des inondations et une superposition Web des données d'inondation pour la prise de décision en temps réel
  • Planification industrielle : pour déterminer les profils de vent et la visibilité pour des emplacements de parcs éoliens ou la conception d'un barrage hydroélectrique
  • Calcul d'isolignes cartographiques : pour les afficher sur une carte
  • Calcul de profil le long de lignes droites ou de segments de ligne : pour concevoir des parcours d'oléoducs et des calculs de pression, la planification des routes, ou les coûts d'extraction et la planification des routes de récolte de bois

Pour ces applications, l'utilisateur n'a généralement pas besoin des valeurs d'altitude réelles. La seule distribution de ces produits permet de réduire légèrement la bande passante requise en réduisant la taille des données. Par exemple, les valeurs d'altitude brutes sont au format 32 bits, tandis qu'un champ de vision peut correspondre à un résultat à 1 bit ou 8 bits.

Modèle d'utilisation 3 : utilisation des valeurs de données

Les utilisateurs ont besoin d'accéder aux valeurs d'altitude. Cela concerne un utilisateur qui a besoin des données altimétriques d'origine, au format numérique, pour prendre en charge des calculs numériques (vraisemblablement dans une application Web côté client ou dans une application bureautique). Exemples :

  • En tant qu'entrée dans un processus secondaire : pour l'orthorectification des images
  • En tant qu'entrée dans leurs propres modèles de données ou processus : pour créer des isolignes ou effectuer l'analyse d'un flux hydraulique pour l'utiliser dans la conception hydrographique de réseaux d'irrigation ou dans la modélisation d'une inondation

Des trois modèles d'utilisation, celui-ci est le plus coûteux en termes de temps et de ressources sur le serveur, étant donné qu'il requiert souvent la transmission et l'accès à une quantité de données nettement supérieure.

Conditions requises

Pour fournir les données et l'accès requis pour exploiter les modèles d'utilisation ci-dessus. Ce qui suit n'a pas pour objectif d'être la liste exhaustive des conditions requises, mais une introduction à certaines conditions requises importantes, spécifiques aux données altimétriques. Vous devez ensuite décider si ces conditions requises s'appliquent dans votre organisation et prendre les décisions appropriées concernant leur implémentation.

Téléchargement et exportation des données

Il est important que les gestionnaires de données d'image et les utilisateurs finaux comprennent que tout échantillonnage de données altimétriques modifie les données. Par exemple, si un jeu de données est affiché à une résolution autre que la résolution maximale, dans une projection différente ou un alignement des pixels différent, les données sont rééchantillonnées. Il n'est pas rare de suréchantillonner un jeu de données d'altitude, par exemple, en effectuant un zoom à l'échelle 1:1 000 d'un champ de vision créé à partir d'un jeu de données avec un espacement de 5 m entre les piquets : cela est beaucoup trop proche.

Pour certaines applications, les utilisateurs peuvent avoir besoin d'accéder aux valeurs numériques au sein d'une région d'intérêt (utilisation des valeurs de données). Deux méthodes permettent de fournir les valeurs des données numériques à un client : l'exportation ou le téléchargement.

L'exportation se rapporte à l'extraction de données au sein d'une étendue spécifique et d'une référence spatiale. L'exportation peut fournir les valeurs de données brutes, une version rééchantillonnée de ces données ou une version traitée, telle qu'une image d'ombrage ou d'inclinaison. Le téléchargement se rapporte à la transmission des valeurs de données d'origine (résolution maximale non rééchantillonnée), généralement au sein d'une zone donnée. Il doit être clair que le téléchargement peut entraîner le transfert d'un très grand volume de données du serveur vers le client (notamment si les données couvrent une très grande zone et contiennent un grand nombre de jeux de données). Par conséquent, des contraintes appropriées doivent être implémentées pour garantir que l'utilisateur et le système sont préparés pour le résultat : comme par exemple définir une limite sur la quantité maximale de données à transférer ou concevoir une application Web avec un avertissement.

Sources de données

Voici la liste des données d'exemple qui seront utilisées dans ce workflow. Ces données s'échelonnent selon leur profondeur de couleur, en général de 16 bits ou à virgule flottante, avec ou sans signature.

Ce workflow suppose que le gestionnaire de données utilise des données stockées localement, en interne.

Données

Description

GTOPO

GTOPO est un jeu de données d'altitude global, doté d'une résolution de 30 secondes d'arc (environ 1 km), téléchargeable à l'adresse http://www1.gsi.go.jp/geowww/globalmap-gsi/gtopo30/gtopo30.html.

SRTM

Shuttle Radar Topography Mission (SRTM) fournit des données altimétriques à une échelle quasi mondiale, acquises par la navette spatiale, pour générer la base de données topographiques numériques haute résolution la plus complète de la Terre.

Cette base de données est disponible à l'adresse http://srtm.usgs.gov/index.php.

NED 10, NED 30

Le jeu de données NED (National Elevation Dataset) a été créé par l'USGS pour les Etats-Unis. Les données NED sont disponibles au niveau national à des résolutions de 1 seconde d'arc (environ 30 mètres, NED 30) et de 1/3 seconde d'arc (environ 10 mètres, NED 10).

Reportez-vous à la page http://ned.usgs.gov/.

Lidar

Les données lidar peuvent provenir de diverses sources. Dans ce cas particulier, les données sont fournies à partir du système RLIS (Regional Land Information System) d'Oregon MetroSystème RLIS d'Oregon Metro et permettent de fournir un MNT, ainsi qu'un MNS.

Organisation et services (produits) de gestion des données

Un objectif clé consiste à garantir que toutes les données, quelle que soit l'étendue, sont gérées et distribuées comme une seule unité. L'alternative (qui survient souvent au fil du temps, lorsqu'une organisation croît et que des projets individuels se terminent) consiste à gérer les données de différentes zones géographiques en tant que jeux de données distincts. Toutefois, ArcGIS permet de gérer efficacement de très grands ensembles de jeux de données, réduisant ainsi les coûts de création et de maintenance qui résultaient auparavant de la duplication des données et d'une surcharge de gestion inutile.

Organisation en mosaïque

La mosaïque constitue la structure de données optimale pour gérer, afficher et publier un ensemble de données altimétriques, car elle peut prendre en charge tous les formats de fichier raster et toutes les résolutions, et les fichiers sont maintenus dans leur format d'origine sur le disque. Elle propose également de nombreuses options d'affichage et de traitement des données altimétriques, telles que le mosaïquage dynamique qui permet un affichage à une résolution optimale à des échelles appropriées, ainsi que des fonctions qui permettent de traiter les données pour créer plusieurs produits sans copier les données source.

Les fonctions spécifiques aux données altimétriques sont Ombrage, Relief ombré, Exposition et Pente.

Il est préférable de séparer les mosaïques en deux types : celles qui sont principalement utilisées pour la gestion et celles qui fournissent d'autres représentations de données (telles que l'ombrage) et sont publiées. Cette séparation permet de simplifier l'organisation. Vous pouvez gérer vos images au sein d'une mosaïque tout en utilisant une autre mosaïque pour partager ou diffuser (publier) les contenus.

Voici une présentation des différents types de mosaïques et des fonctions qu'elles peuvent remplir :

  • Mosaïque source : sert à la gestion de l'imagerie. Elle contient généralement un ensemble d'images similaires. Vous pouvez utiliser plusieurs mosaïques source pour gérer des ensembles différents, tels que SRTM et NED. Ils peuvent être publiés directement ou (plus souvent) utilisés comme source pour d'autres mosaïques.
  • Mosaïque principale (ou dérivée) : permet de compiler plusieurs sources en une seule mosaïque. La source d'une mosaïque principale est généralement une ou plusieurs mosaïques source, mais elle peut également inclure d'autres images ou services.
  • Mosaïque référencée : type unique de mosaïque, principalement utilisé pour partager ou publier les images. Elles est créée à l'aide d'une mosaïque en entrée et ne permet pas la modification des éléments dans la table, protégeant ainsi les entrées contre toute altération. Elle est souvent utilisée pour fournir des sorties traitées différemment de la source ou des entrées de la mosaïque principale.

Les mosaïques source et principale (dérivée) sont des noms symboliques qui servent à transmettre une compréhension de la structure organisationnelle des mosaïques, tandis qu'une mosaïque référencée est une forme physiquement différente de mosaïque.

Vous pouvez stocker des données altimétriques dans des dossiers organisés par vous-même ou par le fournisseur des données, mais elles seront toutes gérées et distribuées à l'aide d'un ou de plusieurs services d'imagerie et mosaïques. Les données contenues dans une mosaïque source sont généralement déterminées par le fait d'avoir le même nombre de canaux et la même profondeur de couleur. Dans ce cas, elles sont déterminées par la profondeur des couleurs, par exemple, vous pouvez organiser les données dérivées de lidar dans une mosaïque source et les données SRTM dans une autre. Cela permet de conserver les données organisées et de séparer les données dotées d'unités verticales différentes. Par exemple, les données issues du lidar sont exprimées en pieds et les données SRTM en mètres. Cela permet également d'affiner les emprises, si nécessaire, ou de contrôler les valeurs NoData, qui peuvent être uniques pour chaque produit.

Les mosaïques source sont associées à l'aide de la mosaïque principale. Il est possible d'ajouter certaines fonctions à certaines sources pour garantir que les données représentent les mêmes informations, telles que la conversion des pieds en mètres ou des hauteurs ellipsoïdales en hauteurs orthométriques. (Pour la plupart des conditions requises, il est recommandé de créer et maintenir une mosaïque avec une hauteur orthométrique du sol en tant que service principal sur la base duquel d'autres mosaïques seront construites.)

Produits et services finaux

Il est possible de créer diverses mosaïques référencées à partir de la mosaïque principale pour fournir les services de données altimétriques recommandés suivants :

  • Hauteur orthométrique du sol
  • Hauteur orthométrique de surface : si les données altimétriques de surface (MNS) sont disponibles (montrant les bâtiments, le couvert forestier, les ponts, etc.)
  • Hauteur ellipsoïdale du sol
  • Pour les visualisations :
    • Ombrage
    • Relief ombré
    • Pente
    • Exposition (utilisée pour la visualisation et l'analyse)

Si plusieurs corrections de géoïde sont requises par la communauté d'utilisateurs, le gestionnaire de données peut décider de publier les géoïdes en tant que services d'imagerie, pour exposer les options appropriées aux utilisateurs.

Considérations relatives aux océans

Dans tous les cas, le gestionnaire de données doit décider de la manière de représenter les océans. Le choix approprié dépend des applications que les données doivent prendre en charge. Voici quelques-unes des options disponibles :

  • L'océan correspond à une altitude de valeur 0.
  • L'océan correspond à une valeur NoData.
  • Les océans sont représentés avec des données bathymétriques.

Pour la plupart des applications, il est acceptable de représenter un niveau quelconque de la mer par 0. Si la mer est définie par la valeur NoData, l'orthorectification échouera dans des zones NoData quelconques. Une méthode simple pour compléter avec des zéros consiste à ajouter une image fictive du monde, à très faible résolution à la mosaïque, avec toutes les valeurs de pixel égales à 0. Ainsi, lorsque les valeurs dans les données, telles que les données SRTM, sont NoData, la valeur 0 présente dans l'image fictive s'affiche.

Si le gestionnaire de données choisit d'inclure les données bathymétriques, cela entraîne des valeurs d'altitude négatives dans les océans, ce qui permet des visualisations du plancher océanique. Cela permet une certaine flexibilité quant à la manière dont plusieurs services peuvent représenter (afficher) les données ; une application cliente peut montrer un remplissage bleu pour l'eau lorsque l'altitude est inférieure à 0 et, dans la même zone, une autre application cliente peut représenter l'altitude subaquatique en tant que MNT ombré.

Aperçus

A la base, les vues d'ensemble de mosaïque sont comme des pyramides de jeux de données raster. Ce sont des images de faible résolution créées pour augmenter la vitesse d'affichage et réduire l'utilisation du processeur dans la mesure où moins de raster sont examinés pour afficher l'image mosaïquée. Cependant, elles diffèrent grandement dans la mesure où vous pouvez maîtriser un grand nombres des paramètres utilisés pour les créer. Vous pouvez les créer pour couvrir uniquement une surface donnée ou des résolutions spécifiques. Elles sont créées pour vous permettre d'afficher tous les raster contenus dans la mosaïque toute entière, pas seulement pour chaque raster. Les aperçus commencent généralement où s'arrêtent les pyramides raster, mais vous pouvez spécifier une taille en pixels de base à laquelle vos aperçus seront générés si vous préférez ne pas utiliser toutes les pyramides du raster.

Le gestionnaire de données doit prendre en compte la meilleure approche pour les aperçus. Il est possible de créer des aperçus à partir des données du projet, mais si des jeux de données appropriés de plus faible résolution sont disponibles à partir de sources alternatives, telles que GTOPO, ETOPO et GMTED2010, il est recommandé de les utiliser. Le reste de ce workflow s'appuie sur cette approche, pour créer un service d'imagerie sur une vaste région comprenant plusieurs jeux de données dotés de résolutions spatiales différentes (de sorte qu'aucun aperçu ne soit requis, de façon générale).

Pour en savoir plus sur les aperçus

Métadonnées

Il existe de nombreuses propriétés que le gestionnaire de données doit vérifier en ce qui concerne l'ensemble des données altimétriques. Le gestionnaire de données doit examiner les composants et décider lesquels il est important de maintenir, ainsi que les champs de métadonnées à exposer aux utilisateurs des données. Les métadonnées répertoriées ci-dessous sont recommandées à des fins d'assurance qualité et de configuration système.

Les métadonnées que le gestionnaire de données doit vérifier incluent :

Pour les champs de métadonnées uniques, il peut être nécessaire d'ajouter manuellement ces données dans la table attributaire de la mosaïque, telles que les précisions horizontale et verticale. De cette manière, vous pouvez aisément exécuter une requête sur la mosaïque pour rechercher ces informations.

AstuceAstuce:

Il est judicieux de créer la liste des produits (ou sous-produits) que vous utiliserez, car vous pouvez être amené à modifier les données figurant dans la mosaïque, en utilisant par exemple la fonction Arithmétique pour convertir les données d'une unité à une autre.

Optimisation du format

L'optimisation du format n'est pas toujours nécessaire, mais elle est requise lorsque les données sont dans un format qui n'est pas optimal ou bien pris en charge. Voici quelques-unes des recommandations concernant le pré-traitement des données altimétriques lors de la création d'un ensemble unique et de sa publication en tant que service.

Dans certains cas, vous pouvez exécuter une vérification des performances avant de convertir des données, pour déterminer si elles conviennent ou si elles peuvent être optimisées avec la conversion. Par exemple :

Conversion des fichiers

Si les fichiers doivent être convertis d'un format vers un autre, sans aucune modification requise de la profondeur de couleur ni d'autres propriétés du jeu de données, utilisez l'outil Raster en d'autres formats (plusieurs). Si vous devez apporter des modifications à certaines des propriétés, utilisez l'outil Copier un raster. Lorsque vous appliquez cet outil à de nombreux jeux de données, vous pouvez cliquer avec le bouton droit sur l'outil et cliquer sur Par lot ou écrire un script pour intégrer plusieurs jeux de données. Dans les deux cas, les environnements doivent être définis. Vous pouvez effectuer cette opération au niveau de l'application si vous envisagez d'appliquer cela à plusieurs outils, ou au niveau de l'outil.

Etapes :
  1. Accédez à la boîte de dialogue Environnements.
    • Dans le menu principal, cliquez sur Géotraitement > Environnements.
    • Sur l'outil, cliquez sur le bouton Environnements.
  2. Développez la section Stockage des données raster.
  3. Cochez l'option Générer la structure pyramidale.
    1. Cliquez sur la flèche de la liste déroulante Technique de rééchantillonnage des pyramides, puis sur Bilinéaire.
    2. Cliquez sur la flèche de la liste déroulante Type de compression pyramidale et sélectionnez LZW.
  4. Cochez la case Calculer les statistiques.
    1. Tapez 1000 pour les pas d'échantillonnage x et y.

    Cette valeur est dérivée en divisant le nombre de colonnes par 1 000.

  5. Cliquez sur la flèche de la liste déroulante Compression et sélectionnez LZ77.
  6. Vérifiez que la largeur et la hauteur de Taille de tuile sont toutes les deux égales à 128.

Projection

Si la projection n'est pas définie pour chaque jeu de données, utilisez l'outil Définir une projection. Pour en savoir plus, consultez le blog : My image is in the wrong spotBillet de blog.

Générer la structure pyramidale

Si les données n'incluent pas de pyramides et que les tuiles sont de grande taille (avec un nombre de lignes ou de colonnes supérieur à 5 000), il est recommandé de créer des pyramides. Pour déterminer si un fichier possède des pyramides, cliquez avec le bouton droit dans la fenêtre Catalogue ou dans la table des matières et cliquez sur Propriétés, puis recherchez Pyramides sous Informations raster.

Lorsque vous créez des pyramides pour plusieurs jeux de données, utilisez l'outil Construire des pyramides et des statistiques. Utilisez les mêmes paramètres d'environnement que ci-dessus.

Les pyramides requièrent de l'espace disque supplémentaire et sont écrites pour séparer les fichiers dotés d'une extension .ovr.

RemarqueRemarque :

Aucune des données utilisées dans ce workflow ne possède de pyramides. Cela est dû principalement au fait que les diverses résolutions seront intégrées et utilisées ensemble (remédiant ainsi au besoin de résolutions réduites des données source) et à la structure tuilée des données (aucun fichier individuel n'est extrêmement grand).

FWTools

AstuceAstuce:

Si le nombre de fichiers de données est supérieur à 100 000 fichiers et que de nouvelles pyramides seront créées, vous pouvez préférer écrire les pyramides dans les fichiers de données pour éviter de générer trop de fichiers supplémentaires. Pour cela, il est recommandé d'utiliser l'utilitaire FWTools qui n'est pas inclus avec ArcGIS.

Vous pouvez télécharger FWTools à partir du site http://fwtools.maptools.org, puis exécuter les commandes suivantes :

gdal_translate.exe -of Gtiff -co "TILED=YES" -co "COMPRESS=LZW" Input.xxx Output.tif
gdaladdo.exe -r average -ro --config TILED YES --config PHOTOMETRIC_OVERVIEW LZW output.tif 2 4 8 16

Pour les images 16 bits, insérez -co NBITS=12 avant Input.xxx.

Si les fichiers à créer dépassent 4 Go, insérez BIGTIFF=YES ou BIGTIFF=IF_NEEDED avant Input.xxx.

Générer des statistiques

Des statistiques relatives à un jeu de données raster ou à une mosaïque sont nécessaires pour effectuer certaines opérations de géotraitement ou certaines tâches dans les applications ArcGIS for Desktop, comme par exemple appliquer un étirement de contraste ou classifier les données. Dans ce workflow, il n'est pas nécessaire de créer des statistiques pour chaque source de données, étant donné qu'aucune ne sera affichée ni utilisée seule, et qu'aucune des fonctions ni aucun des produits en cours de création ne dépend des statistiques provenant des jeux de données individuels. Des statistiques sont générées pour les mosaïques à des fins d'affichage.

Pour plus d'informations sur les statistiques, reportez-vous à la rubrique Statistiques concernant les jeux de données raster.

Thèmes connexes

5/10/2014