Strategien für den Datentransfer zu Amazon Web Services
Für die Erstellung einer GIS-Bereitstellung mit Amazon Web Services müssen Sie einige oder alle GIS-Daten über das Internet an Speicherorte in der Cloud übertragen. In diesem Thema werden mehrere Möglichkeiten dazu aufgeführt, wo Sie die Daten in der Cloud speichern und wie Sie die Daten übertragen können. Außerdem werden einige der Faktoren erläutert, die die Übertragungszeit beeinflussen.
Speicherorte für die Daten
Wenn Sie eine EC2-Instanz erstellt haben, auf der ArcGIS-Server ausgeführt wird, müssen Sie die Übertragung der Daten in die Cloud vorbereiten. Die Speicherung der Daten kann an mehreren Speicherorten erfolgen. Für alle nachfolgend aufgeführten Optionen verursachen an Amazon zu entrichtende Gebühren an, die Änderungen unterliegen und zu denen Sie die entsprechenden Informationen einholen sollten, bevor Sie eine Auswahl treffen.
EBS-Datenträger – EBS-Datenträger (Amazon Elastic Block Store) sind virtuelle Laufwerke, die Sie an die EC2-Instanz anfügen können, um mehr Speicherplatz hinzuzufügen. Die ArcGIS-Server-AMI verfügen standardmäßig über einen angefügten 100 GB-EBS-Datenträger. Da die ArcGIS-Server-Verzeichnisse auf diesem Laufwerk konfiguriert werden, werden die Daten auf diesem EBS-Datenträger gespeichert, wenn Sie Services mit der Option zum Kopieren von Daten auf den Server veröffentlichen. Sie können auch andere Verzeichnisse für Ihre Daten auf diesem Datenträger erstellen.
Amazon S3 – Amazon Simple Storage Service (S3) ist ein Amazon-Service, der speziell für die Datenspeicherung in der Cloud vorgesehen ist. Bei dieser Speicheroption ist die Gefahr von Datenfehlern oder -verlusten am niedrigsten. S3 kann als Speicherort für Datensicherungen oder als Mittelweg beim Datentransfer zwischen der lokalen Bereitstellung und Ihren EBS-Datenträgern verwendet werden. Außerdem werden alle Snapshots, die Sie von den EBS-Datenträgern erstellen, in S3 gespeichert.
- EC2-Instanz – Die Daten können direkt auf die EC2-Instanz übertragen werden; wenn die Instanz beendet wird, gehen die Daten von Laufwerk C: bzw. aus dem Stammverzeichnis jedoch unmittelbar verloren. Dem ArcGIS-Server-AMI ist relativ wenig Speicherplatz (60 GB unter Windows) auf Laufwerk C: zugewiesen, um zu vermeiden, dass Daten auf diesem Laufwerk gespeichert werden. Im Gegensatz dazu werden EBS-Datenträger wie das Laufwerk D: beibehalten, wenn die Instanz beendet wird, und bieten eine sicherere Option zur Datenspeicherung.
Achtung:Speichern Sie in einer Produktionsbereitstellung keine GIS-Daten oder Karten-Caches auf Laufwerk C: oder im Stammverzeichnis der EC2-Instanz.
Optionen zum Übertragen von Daten an die Cloud
Die Datenübertragung von der lokalen Bereitstellung an die Cloud nimmt viel Zeit in Anspruch und bedarf in manchen Fällen der Koordination mit dem Sicherheitspersonal der IT-Abteilung. Das Exportieren von Daten an einen Speicherort im Internet (d. h. in die Cloud) ist häufig nicht so schnell und sicher wie allgemeine Datentransfers innerhalb des lokalen Netzwerks.
Es stehen viele Strategien zum Übertragen von Daten an die Cloud zur Verfügung, wenn Sie jedoch mit sensiblen Daten arbeiten, müssen Sie sich mit dem IT-Personal abstimmen, um sicherzustellen, dass die gewählte Methode sicher und von der Organisation genehmigt ist. Nachfolgend werden einige Optionen aufgeführt:
ArcGIS so konfigurieren, dass die Daten beim Veröffentlichen eines Service kopiert werden – Sie können ArcGIS so konfigurieren, dass jedes Mal, wenn ein Service veröffentlicht wird, die Daten für diesen Service auf den Server kopiert werden. Die Daten werden in eine Servicedefinitionsdatei (.sd) gepackt, an das Upload-Verzeichnis für ArcGIS-Server übertragen und schließlich im Eingangsverzeichnis von ArcGIS-Server oder in einer Datenbank entpackt, die Sie bei ArcGIS-Server registriert (als verwaltete Datenbank von ArcGIS-Server) haben. Beachten Sie, dass dieser Vorgang lange dauern und die Übertragung großer Datenmengen mit sich bringen kann, wenn Sie die in der Karte und anderen Ressourcen verwendeten Ausdehnungen und Datasets nicht beschränken.
Mit dieser Option können weder Daten zwischen Services freigegeben noch Daten zwischen der Cloud und der lokalen Bereitstellung synchronisiert werden.
Kopieren und Einfügen für Remotedesktopverbindungen – Windows-Remotedesktopverbindungen ermöglichen die Umleitung von Dateisystemen, in denen lokale Laufwerke dem Remotecomputer zugeordnet werden können. Wenn Sie sich über Remotedesktop bei der EC2 angemeldet haben, können Sie Windows Explorer öffnen und Daten von der lokalen Festplatte auf die EBS-Datenträger kopieren.
Um die Umleitung von Dateisystemen im Fenster Remotedesktopverbindung zu aktivieren, klicken Sie auf die Registerkarte Lokale Ressourcen, und aktivieren Sie das entsprechende Kontrollkästchen, um die Laufwerke verfügbar zu machen. Die Formulierung ist je nach verwendeter Windows-Version unterschiedlich. In Windows 7 müssen Sie auf die Schaltfläche Mehr klicken, um die Option zum Verfügbarmachen der Laufwerke anzuzeigen.
Wenn Sie sensible Daten über eine Remotedesktopverbindung übertragen möchten, sollten Sie sicherstellen, dass zusätzliche Sicherheitsstufen vorhanden sind. Ältere Versionen von Remotedesktopverbindungen enthielten Sicherheitsrisiken, bei denen ein Server, der sich als Computer ausgibt, Zugriff auf Ihre Daten erlangen kann (auch als Man-in-the-Middle-Angriffe bekannt).
Hinweis:Die Datenübertragung per Kopieren und Einfügen kann einige Zeit in Anspruch nehmen. Kopieren Sie keine Dateien oder Daten, bevor der Einfügevorgang abgeschlossen ist. Andernfalls wird der Einfügevorgang beendet und Sie müssen von vorn beginnen.
S3 Clientdienstprogramme – Amazon S3 kann als Mittelweg beim Verschieben von Daten von der lokalen Bereitstellung auf die EBS-Datenträger verwendet werden. Um Daten in S3 zu laden, können Sie die AWS Management Console oder eine der vielen Drittanbieteranwendungen verwenden, die für das einfache Verschieben von Dateien zwischen S3 und eigenen Computern konzipiert sin. Sobald die Daten in S3 geladen sind, können Sie das gleiche Dienstprogramm auf der EC2-Instanz zum Übertragen von Daten aus S3 in die Instanz verwenden.
Ihr eigener Webserver – Die EC2-Instanz kann auf alle im Internet über HTTP verfügbaren Daten zugreifen. Wenn Sie über einen webbasierten Server in Ihrer Organisation verfügen, können Sie Daten auf diesem Server ablegen und sie anschließend von der EC2-Instanz herunterladen. Der Vorteil dieses Ansatzes besteht darin, dass Sie Sicherheit auf dem Webserver konfigurieren können, um den Zugriff auf die Daten einzuschränken und die Transaktion über SSL zu verschlüsseln.
FTP – Sie können FTP (File Transfer Protocol) aktivieren, um Dateien direkt auf die EC2-Instanz hochzuladen. Beachten Sie, das Standard-FTP Informationen nicht verschlüsselt und Kennwörter unverschlüsselt sendet. Um FTP sicher zu verwenden, müssen Sie zusätzliche Sicherheitsmaßnahmen, wie die Verschlüsselung der FTP-Sitzungen mit SSL, das Einschränken der Benutzer, die berechtigt sind, Daten per FTP auf die Instanz zu übertragen und das Deaktivieren von FTP nach dem ersten Datentransfer, ergreifen. Einige Produkte von Drittanbietern dienen dazu, Sie beim Einrichten sicherer FTP-Verbindungen zu unterstützen.
AWS Import/Export – Wenn Sie enorm große Datenmengen an Amazon übertragen müssen, ist es möglicherweise schneller und/oder weitaus kosteneffizienter, die Daten auf einem mobilen Speichergerät an Amazon zu senden und Amazon eine Gebühr für das direkte Laden der Daten in S3 zu zahlen. Amazon bietet diesen Service als AWS Import/Export an.
Wenn Sie die Verwendung von AWS-Import/Export in Betracht ziehen, müssen Sie entscheiden, ob es im Hinblick auf die Sensibilität der Daten Ihrer Organisation angebracht ist. Wenn Sie ein Gerät per Post versenden, laufen Sie Gefahr, wenn auch in geringem Maße, dass die Daten physisch zerstört oder abgefangen werden. Diese Risiken können reduziert werden, indem Sie die Daten sichern und verschlüsseln. Falls Sie dennoch Bedenken haben, ob AWS-Import/Export die geeignete Wahl für Ihre Daten ist, wenden Sie sich direkt an Amazon.
Amazon arbeitet mit vielen Lösungsanbietern zusammen, von denen einige Datentransfer-, Speicher- und Sicherheitslösungen bereitstellen. Weitere Informationen dazu, ob eines dieser Unternehmen Ihnen bei Ihrer Cloud-Strategie helfen kann, finden Sie unter Suchen von AWS-Lösungsanbietern. Esri ist selbst einer dieser Anbieter und stellt die unterschiedlichsten Projekt- und Implementierungs-Services für die Bereitstellung von GIS in der Amazon Cloud zur Verfügung.
Faktoren, die sich auf die Übertragungszeit auswirken
Die Performance der oben genannten Datentransferoptionen kann je nach räumlicher Nähe zur Amazon Cloud, nach Tageszeit und nach Qualität der Internetverbindung variieren.
GIS-Datasets, insbesondere Image- und Karten-Caches, können große Mengen Speicherplatz belegen und müssen vor der Übertragung möglicherweise gezippt werden, um die Dateigröße oder die Gesamtzahl der Dateien für eine effizientere Übertragung zu reduzieren (insbesondere bei Karten-Caches). Einige S3-Clientdienstprogramme können die Größe der einzelnen Dateien, die übertragen werden können, oder die Anzahl der Dateien, die gespeichert werden können, beschränken. Zudem ist bei einigen Komprimierungsprogrammen die Menge der Daten, die komprimiert werden kann, begrenzt. Wenn Sie eine Datenübertragungsoption auswählen, sollten Sie die zum Komprimieren der Daten erforderliche Zeit und den damit verbundenen Aufwand berücksichtigen.
Schließlich sollten Sie bei der Verwendung von S3 die Beschränkungen der Anzahl der Buckets, die Sie erstellen können, sowie andere Beschränkungen, die für S3 Buckets bestehen, beachten. Diese werden von Amazon unter Einschränkungen für Buckets aufgeführt.
Gewährleisten der Integrität von Datenpfaden
Jedes Mal, wenn Sie Daten in einen neuen Speicherort verschieben, müssen Sie alle Pfade beachten, die auf Daten verweisen, die möglicherweise auch aktualisiert werden müssen. Dies ist ein Problem bei Kartendokumenten, die auf Dutzende von Daten-Layern mit unterschiedlichen Pfaden verweisen können.
Durch Registrieren der Amazon EC2-Daten bei ArcGIS-Server können Sie den Aufwand beim Beheben beschädigter Datenpfade nach der Veröffentlichung reduzieren. Weitere Informationen finden Sie unter Registrieren von Daten bei ArcGIS-Server mit ArcGIS for Desktop.
Eine andere Möglichkeit ist die Anmeldung bei der Instanz und die Verwendung von ArcMap, um die veralteten Datenpfade zu reparieren. ArcGIS for Desktop ist im ArcGIS-Server-AMI enthalten, damit Sie die Reparaturen problemlos durchführen können. Weitere Informationen zum Aktualisieren von Datenpfadinformationen in einem Kartendokument finden Sie unter Reparieren von defekten Datenverknüpfungen.
Eine andere Möglichkeit, den Bedarf an Datenverbindungsreparaturen zu reduzieren, besteht darin, relative Pfade im Kartendokument zu verwenden und Karten und Daten in einem gemeinsamen Ordner zu speichern.