ラスタ データの格納方法と管理方法
ラスタ データ構造と格納モデル
画像とラスタ データは通常、元の形式で格納されます。ベクタ データセットのフィーチャを編集する場合と異なり、個別にピクセル値を編集することはほとんどありません。リアルタイムに処理、または別のバージョンで保存できる新しい形式を作成するために、データを処理する場合がよくあります。このようなデータセットやそれらのコレクションは非常に大きくなることが多いので、上手に管理する機能を使うことが重要で、ArcGISはそのように設計されています。
画像とラスタ データを格納するには次の 3 つの方法があります。ファイル システムのファイルとする方法、ジオデータベース内のファイルとする方法、またはジオデータベース内で管理するものの格納はファイル システムのファイルとする方法です。どの方法にするかは、すべてのデータを 1 つのデータセットに格納するか、それとも多数のデータセットとなる可能性があるカタログに格納するかによって決まります。ファイル システムにデータを格納する場合は、ラスタ データセットを格納するのと同じ事を意味します。一方でジオデータベースはラスタ データセットでもモザイク データセットのどちらも格納できます。3 つめのジオデータベース オプションはラスタ カタログです。ラスタ カタログは、より多くの機能、用途があるモザイク データセットに置き換えられたので、以下では説明しません。
ラスタ データセット
ほとんどの画像とラスタ データ(オルソ画像または DEM など)はラスタ データセットとして提供されます。ラスタ データセットという用語は、ディスクまたはジオデータベースに格納されたラスタ データ モデルということです。ラスタ データセットは最も基本的なラスタ データ格納モデルで、他のモデルはその上に構築されています。たとえば、モザイク データセットはラスタ データセットを管理します。ラスタ データセットもラスタ データを処理する多くのジオプロセシング ツールからの出力です。次に、ラスタ データセットの例を示します。
ラスタ データセットとは、1 つ以上のバンドで構成される、すべての有効なラスタ形式の総称です。各バンドはピクセル(セル)の配列で構成され、各ピクセルは 1 つの値を持ちます。ラスタ データセットは少なくとも 1 つのバンドを持ちます。ArcGIS は、TIFF、JPEG 2000、Esri Grid と MrSid を含む、70 を超える異なるファイル形式をラスタ データセットとしてサポートします。
モザイク データセット
モザイク データセットは、カタログとして格納されていて、モザイク化された 1 つの画像または個別の画像(ラスタ)として表示またはアクセスされるラスタ データセット(画像)のコレクションです。これらのコレクションは、全体的なファイル サイズが増大し、データセット数も非常に多くなりがちです。モザイク データセット内のラスタ データセットは、ネイティブ形式のままでディスクに保存しておくこともできますし、ジオデータベースに格納することもできます。メタデータはラスタのレコード内と、属性テーブルの属性内で管理できます。メタデータを属性として格納すると、センサの方向データなどのパラメータを簡単に管理できると同時に、高速検索およびそれによる選択が可能になります。
モザイク データセット内のデータは、隣接したり重なり合う必要はなく、接続されていない不連続のデータセットとして存在できます。たとえば、エリアを完全に含む画像や、(パイプライン沿いなど)相互に結合して連続画像を形成するわけではない多数の画像のストライプを含むことができます。
完全に、または部分的に重なり合っているデータを、何日もかけて異なる日付でキャプチャすることもできます。モザイク データセットは、一時的なデータの格納には理想的なデータセットです。時間や日付に基づいて必要な画像をモザイク データセットで検索し、モザイク手法を使用して、時間または日付属性に従ってモザイク化した画像を表示することができます。
モザイク データセットは 1 つの特定タイプのラスタ データに制限されません。さまざまな投影法、解像度、ピクセル深度、バンド数のラスタ データを追加できます。オーバービュー(ピラミッドのような)は全データのコレクションとして生成できます。これによって、データを高速で表示できるようになり、これらのデータセットを簡単に提供できます。表示に関する追加のプロパティ(モザイク手法の設定を含む)も多数存在しており、これにより、多くの状況でモザイク データセットは一意で機能的なものになっています。空間的/非空間的な検索の制約に基づいて、モザイク データセットを検索することもできます。この検索結果は、ユーザが 1 つずつ処理可能な画像のセットであったり、動的に生成されたモザイク化画像であったりします。
ラスタ データに加えて、モザイク データセットへ LIDAR データを格納と管理ができます。それはラスタ データセットと同じ方法ででき、またラスタ データセットと一緒に格納と管理ができます。LIDAR データはファイル システムに LAS ファイルまたは LAS データセットとして、あるいはテレイン テータセットとしてジオデータベースに格納できます。
モザイク データセットにはバージョンがあります。次の表は、バージョンごとのサポート状況を示したものです。
クライアント | 10.0 モザイク データセット | 10.1 モザイク データセット |
---|---|---|
10.0 | すべて(読み取り/変更/作成) | サポートなし |
10.1 | 読み取り専用 | すべて(読み取り/変更/作成) |
ラスタ データの格納モデルの比較
データセットが互いに隣接していない場合や、同じプロジェクトでめったに使用されない場合は、ラスタ データセットを個別に格納するのが最も効果的です。多くの場合は、入力を 1 つの大きなラスタ データの範囲にモザイク化する方法が適していますが、次の理由により、モザイク データセットを使用する方法が適していることもあります。
- 複数のラスタ データセットの範囲が部分的にまたは完全にオーバーラップしており、共通のエリアを維持する必要がある。
- ラスタ データセットが、時間の流れに沿った同じエリアの観察記録を表している。
- エリア全体を一度に表示する必要がない。ただし、エリア全体を表示する必要がない場合は、モザイク データセットを使用してください。
- イメージ コレクションをまとめて管理したいが、個々の状態も維持したい。
- 各画像を説明する追加の属性カラムを記録し、管理したい。
ラスタ データセット | モザイク データセット | |
---|---|---|
説明 |
オブジェクトの単一の画像または空間的に連続したエリアにおよぶシームレスな画像。単一のオリジナル画像の場合と、多くの画像を 1 つにまとめた(モザイク化した)ものである場合がある。 |
ラスタ データセットのコレクションがカタログとして格納されており、ラスタ データと LIDAR データのコレクションを格納、管理、表示、検索できる。モザイク画像として表示されるが、コレクション内の各データセットにアクセスできる。 |
ストレージ | ディスク上またはジオデータベース内のファイルとして | ジオデータベース内、ただしディスク上に参照をファイルとして格納できる。 |
マップ レイヤ |
1 つのマップ レイヤ。 |
1 つのマップ レイヤ。 |
同種または異種データ |
同種データ: 単一の形式、データ タイプ、およびファイル。 |
異種データ: 複数の形式、データ タイプ、ファイル サイズ、および座標系。 |
Metadata |
一度だけ格納し、データセットを完成させるために適用する。 |
ラスタ レコード内に格納したり、属性テーブルの属性として格納できる。 |
ダウンサンプル データセット |
ラスタ データセット全体の単一のピラミッド。 |
各ラスタ データセットのピラミッドと、コレクション全体の(ピラミッドのような)オーバービュー。 |
ジオプロセシングと画像解析 |
|
|
利点 |
|
|
欠点 |
ファイル ジオデータベースおよびパーソナル ジオデータベースのラスタ データセットは、ファイル全体を書き直す必要があるので更新に時間がかかる。 |
オーバービューの生成に時間がかかることがある。 |
公開 |
イメージ サービスとして直接提供できる。 |
イメージ サービスとして直接提供できる。 |
推奨 |
モザイク化した画像間のオーバーラップを維持する必要がない場合や、多数のラスタ データを高速に表示したい場合は、ラスタ データセットを使用する。 |
ラスタ データや LIDAR データの管理と視覚化にはモザイク データセットを使用する。これは、多次元データ、検索、メタデータの格納、および重なり合うデータに適しており、優れたハイブリッド ソリューションを提供する。 |
ジオデータベースのラスタ データの格納
ラスタの管理、振舞いの追加、スキーマの制御が目的の場合、厳密に定義されたラスタ データセットを DBMS の一部として管理する場合、およびすべてのコンテンツを 1 つのアーキテクチャで管理する必要がある場合は、ラスタ データをジオデータベースに格納します。ジオデータベースには主に、エンタープライズ、パーソナル、ファイルの 3 種類があります。
エンタープライズ ジオデータベースは ArcSDE を使用し、DBMS 内で複数ユーザによる操作をサポートできます。ファイル ジオデータベース(パーソナル ジオデータベースのような)は、シングル ユーザによる編集を前提とし、ジオデータベースのバージョニングをサポートしません。ファイル ジオデータベースはファイル システム ディレクトリに存在するので、アクセスするためにパスワードは必要ありません。ファイル ジオデータベースとエンタープライズ ジオデータベースは同じ基本格納スキーマを共有します。
機能的な振舞いは、どのジオデータベースも基本的に同じです。ただし、一部のツールや手順でいくつか例外があります。ツールや手順による振舞いの相違点について詳しくは、各ツールまたは手順のヘルプをご参照ください。
ラスタ ストレージの特性 |
ファイル ジオデータベース |
エンタープライズ ジオデータベース |
パーソナル ジオデータベース |
---|---|---|---|
サイズ制限 |
各ラスタ データセットに 1 TB |
無制限: 制限は DBMS の制限による |
ジオデータベースにつき 2GB(これはテーブルのサイズ制限であり、ラスタ データセットのサイズ制限ではない) |
ラスタ データセットのファイル形式 |
ファイル ジオデータベース ラスタ データセット |
ArcSDE ラスタ データセット |
ERDAS IMAGINE、JPEG、または JPEG 2000 |
ストレージ |
|
|
|
ファイル システムに格納 |
RDBMS に格納 |
Microsoft Access に格納 |
|
圧縮 |
LZ77、JPEG、JPEG 2000、またはなし |
LZ77、JPEG、JPEG 2000、またはなし |
LZ77、JPEG、JPEG 2000、またはなし |
ピラミッド |
部分ピラミッド構築をサポート |
部分ピラミッド構築をサポート |
ピラミッド全体を再構築 |
モザイク |
モザイク時にラスタ データセットへの追加が可能 |
モザイク時にラスタ データセットへの追加が可能 |
ラスタ データセットへのモザイクのたびに新しいデータセットを再度書き込み |
更新 |
増分更新が可能 |
増分更新が可能 | |
ユーザ数 |
シングルユーザと小規模ワークグループ: 複数のユーザによる読み取りと 1 人のユーザによる書き込み |
マルチユーザ: 複数のユーザによる読み取りと書き込み |
シングルユーザと小規模ワークグループ: 複数のユーザによる読み取りと 1 人のユーザによる書き込み |
ファイル ジオデータベース
ファイル ジオデータベースの格納モデルは、エンタープライズ ジオデータベースとパーソナル ジオデータベースを組み合わせたものです。つまり、管理ラスタ データにはエンタープライズ ジオデータベースの格納モデルが適用され、非管理ラスタ データにはパーソナル ジオデータベースの格納モデルが適用されます。ファイル ジオデータベースは、1 人のユーザによって編集され、バージョニングをサポートしないという点でも、パーソナル ジオデータベースに似ています。ファイル ジオデータベースはファイル システム ディレクトリに存在するので、アクセスするためにパスワードは必要ありません。ファイル ジオデータベースとエンタープライズ ジオデータベースは同じ基本格納スキーマを共有します。
ファイル ジオデータベースには、パーソナル ジオデータベースより便利な点がいくつかあります。エンタープライズ ジオデータベースと同様、ファイル ジオデータベースにはデータがブロックとして格納されます。これにより、特にモザイク処理時には、データに効率的にアクセスできます。ファイル ジオデータベース内のデータをモザイク化すると、重なり合っているブロックのみが更新されます。重なり合うブロックが存在しない場合は、新しいブロックが挿入されます。部分的なブロックには NoData ピクセルが埋め込まれます。さらに、ファイル ジオデータベース(およびエンタープライズ)格納モデルは部分的なピラミッド更新を採用しているので、時間を節約できます。また、ファイル ジオデータベースとエンタープライズ ジオデータベースはデータ構造が同じなので、ファイルとエンタープライズ ジオデータベース間ではデータのコピーと貼り付けをすばやく行えます。
ファイル ジオデータベースではコンフィグレーション キーワードも使用できますが、エンタープライズ ジオデータベースと異なり、コンフィグレーション キーワードの標準値があらかじめ定義されています。コンフィグレーション キーワードの詳細については、「ファイル ジオデータベースのコンフィグレーション キーワード」をご参照ください。
エンタープライズ ジオデータベース
ラスタ データをエンタープライズ ジオデータベースに格納する際には、セキュリティ、マルチユーザ アクセス、データ共有など、エンタープライズ レベルの機能が提供されます。ラスタ データをエンタープライズ ジオデータベースとして格納する主な理由としては、次の 3 つがあります。
- ラスタ データがあまり頻繁に更新されない(たとえば、2 年、3 年、またはそれ以上の更新間隔)。
- ラスタ データが読み取り専用のユース ケースでアクセスされる(ベクタ データのベースマップ データとして使用する場合など)。
- ベースマップとしてラスタ データにアクセスするユーザが 100 以上存在する。
ArcSDE ジオデータベースの格納構造から、ラスタ データはジオデータベースによって管理される、または完全に制御されます。エンタープライズ ジオデータベースは常に、ラスタ データセットおよびラスタ属性のすべてのラスタ情報(ピクセル、空間参照、関連テーブル、その他のメタデータ)を関連するリレーショナル データベースに格納します。すべての入力ラスタ情報がデータベースに読み込まれるため、形式の変換と考えることができます。
エンタープライズ ジオデータベースは、ユーザ定義のディメンション(デフォルトは 128 x 128)に従って、バンドをピクセルのブロックに均等にタイル分割します。ラスタ バンド データをタイル分割することにより、ラスタ データを効果的に格納および抽出できるようになります。ピラミッド情報は解像度の低下に従って格納されます。ピラミッドの高さは、アプリケーションまたはユーザによって指定されたレベル数に基づいて決定されます。
ラスタ ブロック テーブル(最も大きく、実際のピクセル情報とピラミッドを格納できるテーブル)は、ラスタ データセットのバンド毎に、そしてピラミッド レベル毎のブロック(タイル)毎に一行格納します。たとえば、ピラミッドを構築せずに 12 個のブロックに分割された 3 バンド ラスタは、BLK テーブルに 36 個の行(バンドごとに 12 個のブロック)を持ちます。ブロックのピクセル データが含まれる列は、BLOB(Binary Large Object)です。
DBMS | データ格納モデル | |
---|---|---|
DB2 | ||
Informix | ||
Oracle | ||
PostgreSQL | ||
SQL Server |
パーソナル ジオデータベース
パーソナル ジオデータベースでは、ラスタ データセットが IMAGINE(*.img)ファイルに変換され、イメージ データベース(IDB)フォルダに格納されます。IDB フォルダは、パーソナル ジオデータベースと同じレベルのディレクトリに保存されます。ラスタ データセットを削除すると、IDB フォルダ内のラスタが完全に削除されます。
モザイク データセットをパーソナル ジオデータベースに格納する場合、モザイク データセットはテーブルとして存在し、中に格納されているラスタ データセットのファイルが存在している場所を示す情報が格納されています。モザイク データセットにはラスタ データセットが管理されていない状態で格納されているため、モザイク データセットには、ラスタ データセットが格納されているパスの場所が含まれています。ビジネス テーブルの各行は、格納されているラスタ データセットをポイントします。モザイク データセットの操作は格納されているラスタ ファイルに影響しないため、モザイク データセットでラスタ データセットを削除しても、それらはモザイク データセットから削除されるだけで、ディスクからは削除されません。
ラスタ データセットを属性として格納すると、ラスタは IMG ファイルとしてシステム定義の場所に格納されるか、ファイル システムにそのまま格納されます。これは、ラスタが管理されているかどうかによって決まります。
圧縮、ピラミッド、タイル サイズ
ラスタ データを格納し、管理する際に、圧縮、ダウンサンプルしたデータセット(ピラミッドとオーバービュー)、タイル サイズを含め、検討しなければならない格納構造が他にもあります。
Compression
圧縮には、可逆と非可逆の 2 種類があります。可逆圧縮はラスタ データセットのピクセルの値が変更されないことを意味し、非可逆圧縮はピクセルの値が変更されることを意味します。圧縮の量は、ピクセル データの種類によって異なります。画像の種類の類似性が高いほど、圧縮率も高くなります。表示だけでなく解析にも使用するデータの格納には、可逆圧縮を使用する必要があります。データを圧縮する主な利点は、必要な格納領域が少なくなることですが、どれくらい節約されるかは圧縮方式とデータの冗長性によって異なります。また、転送するデータ パケットの数が少なくなるので、パフォーマンスが劇的に改善されるという利点もあります。たとえば、帯域幅の狭いネットワーク経由でラスタ データにアクセスする場合、圧縮を使用すると、転送する情報の量が劇的に少なくなり、大きくシームレスなラスタ データセットを格納して、それらをクライアントですばやく表示することが可能になるので、パフォーマンスが向上する可能性があります。
モザイク データセットにも圧縮機能があります。これは、管理されたラスタ データセットを格納するためではなく、表示時に生成する画像に適用するための圧縮機能です。また、転送されるファイルのサイズを縮小することで、ネットワーク経由でのデータへのアクセスを容易にします。
ダウンサンプルしたデータセット
ダウンサンプルしたデータセットは、ラスタ データセットとモザイク データセットのどちらかの元データから生成されたラスタです。これらは、データセットは表示速度とパフォーマンスを向上させるために生成されます。ラスタ データセットのために生成されるとき、データセットはピラミッドと呼ばれ、モザイク データセットのために生成されるとき、データセットはオーバービューと呼ばれます。
ピラミッド | オーバービュー | |
---|---|---|
作成対象 | ラスタ データセット | モザイク データセット |
形式 | *.ovr ファイルへ書き込みます。しかし、いくつかの例外があります。 *.ovr または *.rrd として外部に、または内部に格納されたピラミッドを読み込みます。 | *.tif ファイルとして書き込みます。 |
ストレージ | 通常、同じ名前を使用したソース ラスタ データセットの隣にある単一のファイル内。 | デフォルトでは、.overviews の拡張子を持つジオデータベースの隣にあるフォルダ内、あるいはArcSDEの内部。 格納場所はカスタマイズできます。 |
格納するサイズ | 2 から 10%(元のラスタ データセットに比べて) | |
ダウンサンプリング ファクタ | 2 | 3 |
範囲 |
|
|
構築する際のオプション |
|
|
タイル サイズ
エンタープライズ ジオデータベースでは、データがタイル分割、インデックス付け、ピラミッド化され、ほとんどの場合は圧縮される構造で、ラスタ データが格納されます。タイル分割、インデックス付け、ピラミッド化により、ラスタ データが検索されるたびに、データセット全体ではなく、検索の範囲と解像度を満たすタイルのみを返すことができます。タイル サイズは、各データベースのメモリ ブロックに格納するピクセルの数を制御します。これは XY 方向のピクセルの数として指定されます。デフォルトのタイル サイズは 128 x 128 ピクセルであり、ほとんどのアプリケーションでは、これらのデフォルト値で十分です。エンタープライズ ジオデータベースでは、ラスタ データのタイルは圧縮されてからジオデータベースに格納されます。