Способы передачи данных в Amazon Web Services
Создание ГИС-среды с помощью Amazon Web Services требует от вас передачи части или даже всех ГИС-данных по сети Интернет в облако. В этом разделе перечислен ряд вариантов, определяющих порядок хранения ваших данных в облаке, а также способ передачи ваших данных. Здесь также содержится анализ факторов, влияющих на время передачи данных.
Способы хранения данных
Как только вы создаете экземпляр EC2 для ArcGIS Server, вам необходимо подготовить передачу данных в облако. Есть несколько способов хранения ваших данных. Все следующие опции хранения данных в Amazon являются платными, причем стоимость может меняться, что необходимо учитывать, прежде чем сделать окончательный выбор.
EBS – тома Amazon Elastic Block Store (EBS), являющиеся виртуальными дисками, которые можно прикрепить к вашему экземпляру EC2, чтобы увеличить возможный объем хранения данных. Образы ArcGIS for Server AMI по умолчанию имеют прикрепленный том EBS объемом в 100 ГБ. На данном диске настроены директории ArcGIS Server, поэтому при публикации сервисов с опцией копирования данных на сервер данные будут размещены на этом диске EBS. Вы также можете создавать другие директории для хранения данных на этом диске.
Amazon S3 – Amazon Simple Storage Service (S3) – сервис Amazon, разработанный специально для хранения данных в облаке. Этот способ хранения имеет наименьший потенциальный риск потери или ошибки повреждения данных. Вы можете использовать S3 как место резервного хранения данных или промежуточный вариант для перемещения данных между вашим локальным хранилищем и вашими томами EBS. Помимо этого, любые снимки (snapshot), созданные вами для томов EBS, хранятся на S3.
- Экземпляр EC2 – Существует возможность прямой передачи данных в экземпляр EC2. Однако в случае, если экземпляр прекратит работу, ваши данные с диска C или с корневого диска будут тотчас же потеряны. В образе ArcGIS Server AMI выделяется сравнительно небольшой объем данных (60 GB на Windows) на диске C:, чтобы препятствовать хранению данных на этом диске. Напротив, прикрепленные диски EBS, например, диск D:, сохранятся в случае прекращения работы экземпляра. Поэтому они являются более надежным способом хранения данных.
Внимание:Не храните ГИС-данные или кэш карт на диске C: или корневом диске вашего экземпляра EC2 в рабочей конфигурации при размещении в боевой среде.
Опции передачи данных в облако
Передача локально размещенных данных в облако занимает длительное время и иногда требует от вас координации действий с вашим персоналом по IT-безопасности. Экспорт данных в местоположение в сети Интернет (другими словами, в облако) обычно происходит не так быстро и безопасно, как обычная передача данных по локальной сети.
Есть ряд способов, которые можно использовать для передачи данных в облако, но если вы работаете с конфиденциальными данными, вам нужно скоординировать свои действия с вашим персоналом по IT-безопасности, чтобы удостовериться в безопасности применяемого вами метода, и в том, что он одобрен вашей организацией. Вот эти опции:
Настройка ArcGIS для копирования данных при публикации сервиса – Вы можете сконфигурировать ArcGIS таким образом, что всякий раз при публикации сервиса соответствующие данные будут копироваться на сервер. Данные упаковываются в файл определения сервиса (.sd), который переносится в каталог загрузок ArcGIS server (arcgisuploads), а затем распаковывается в каталоге входных данных (arcgisinput) ArcGIS server или базе данных, которая была зарегистрирована с ArcGIS Server (в качестве управляемой базы данных ArcGIS Server – ArcGIS Server Managed Database). Имейте в виду, что это может занять много времени и привести к передаче больших объемов данных, если вы не ограничите экстенты и наборы данных, используемые для вашей карты или другого ресурса.
Эта опция не допускает совместного использования данных несколькими сервисами, а также синхронизации данных между облаком и вашей локальной средой.
Копирование и вставка с использованием подключения к удаленному рабочему столу – Подключение к удаленному рабочему столу поддерживает перенаправления файловой системы, когда ваши локальные диски могут использоваться на удаленном компьютере. Войдя в свой экземпляр EC2 в Windows через удаленный рабочий стол, вы можете открыть Проводник Windows и скопировать данные с ваших локальных дисков на диски EBS.
Чтобы включить перенаправление файловой системы, перейдите в окне Подключение к удаленному рабочему столу (Remote Desktop Connection) на закладку Локальные ресурсы (Local Resources) и выберите опцию, чтобы сделать ваши диски доступными. Названия опций и меню может несколько меняться в зависимости от используемой вами версии Windows. В Windows 7 вам нужно нажать кнопку Подробнее (More), чтобы увидеть опцию, которая позволяет сделать диски доступными.
Если вам нужно передавать конфиденциальные данные с помощью подключения к удаленному рабочему столу, убедитесь в наличии дополнительных уровней безопасности. Предыдущие версии подключения к удаленному рабочему столу были с точки зрения безопасности уязвимы, в том смысле, что компьютер под видом сервера мог получить доступ к вашим данным (так называемое «нападение человека посередине»).
Примечание:Копирование и вставка занимает некоторое время при передаче данных. Не копируйте новые файлы, пока не закончится процедура вставки. Иначе процедура вставки будет прекращена, и вам придется осуществлять ее заново.
Утилиты клиента S3 – Amazon S3 может использоваться в качестве варианта перемещения размещенных локально данных в тома EBS. Для передачи данных в S3 можно воспользоваться консолью управления AWS либо одним из многочисленных приложений сторонних разработчиков, предназначенных для простого перемещения файлов между S3 и собственными компьютерами. Когда ваши данные находятся в S3, можно воспользоваться той же утилитой на экземпляре EC2 для перемещения данных S3 в экземпляр.
Ваш собственный веб-сервер – Любые данные, доступные в сети по протоколу HTTP, подходят для вашего экземпляра EC2. Если в вашей организации есть веб-сервер, можно разместить на нем данные, а затем загрузить данные из экземпляра EC2. Преимущество этого подхода заключается в том, что вы можете настроить параметры безопасности на веб-сервере, чтобы ограничить круг лиц, которые смогут скачивать данные, а также зашифровать транзакции через SSL.
FTP – Вы можете включить протокол передачи файлов (FTP), чтобы загрузить файлы непосредственно на экземпляр EC2. Помните, что стандарт FTP не поддерживает шифрование информации и посылает пароли в открытом виде. Для безопасного использования FTP вам придется принять дополнительные меры безопасности, такие как шифрование сессии FTP с помощью SSL, ограничение круга пользователей, которые смогут передавать данные на ваш экземпляр посредством FTP, а также отключение FTP после передачи данных. Есть ряд сторонних продуктов, поддерживающих настройку безопасных FTP-соединений.
Import/Export AWS – Если вам необходимо передать большое количество данных в среду Amazon, может быть быстрее и выгоднее отправить данные в Amazon на портативном носителе и заплатить Amazon для загрузки данных в среду S3. Amazon предоставляет такую возможность в виде сервиса Import/Export AWS.
Прежде, чем решить использовать Import/Export AWS, определитесь, подходит ли такой способ для вашей организации с точки зрения конфиденциальности. Ведь при отправке устройства по почте вы рискуете, хоть и не слишком сильно, тем, что ваши данные будут физически уничтожены или перехвачены. Вы можете уменьшить эти риски за счет резервного копирования и шифрования данных. Если вы все еще не уверены в том, что сервис Import/Export AWS является подходящим вариантом для ваших данных, свяжитесь с Amazon.
Amazon работает со многими поставщиками решений, обеспечивающими передачу, хранение данных и безопасность используемых решений. См. раздел Поиск поставщика решений AWS, чтобы определить, какая из этих компаний может вам помочь с вашим "облачным" решением. Сама компания Esri также является таким поставщиком, предлагая различные услуги по размещению ГИС в облаке Amazon.
Факторы, влияющие на длительность передачи данных
Скорость различных видов передачи данных, описанных выше, различается в зависимости от физической близости облаков Amazon, времени суток и качества вашего Интернет-соединения.
Наборы данных ГИС, особенно растровые изображения и кэш карт, могут занимать много места и должны быть упакованы для передачи – в целях уменьшения либо размера файла, либо общего числа файлов для более эффективного переноса данных (особенно в случае с кэш карт). Некоторые утилиты S3-клиента могут устанавливать ограничения на размер переносимого файла или число файлов, которое можно хранить. Кроме того, некоторые архиваторы имеют ограничения на объем упаковываемых данных. При передаче данных необходимо принять во внимание время архивирования и дополнительные затраты.
Наконец, при использовании S3 необходимо знать об ограничениях количества сегментов, которое вы можете создавать, и других ограничениях сегментов S3. Amazon перечисляет такие ограничения в разделе Bucket Restrictions and Limitations.
Поддержание целостности путей к данным
Каждый раз при перемещении данных на новое место вы должны знать все варианты хранения ссылок на данные, которые, возможно, придется обновить. Это актуально для документов карты, ссылающихся на множество слоев данных, расположенных в различных местах.
Регистрация местоположения ваших данных в среде Amazon EC2 с помощью ArcGIS Server поможет вам упростить решение проблемы восстановления потерянных путей к данным после регистрации. См. Регистрация данных на ArcGIS Server с помощью ArcGIS for Desktop.
Другим вариантом является вход в свой экземпляр и использование ArcMap для исправления устаревших путей. ArcGIS for Desktop включен в образ ArcGIS Server AMI, так что вы без проблем сможете вносить изменения в документы карт. См. раздел Исправление битых ссылок на данные, чтобы получить информацию об обновлении путей к данным документа карты.
Другим способом избавления от необходимости исправления подключений к данным является использование в ваших документах карт относительных путей и хранение карт и данных в одной папке.