Классы хранилищ Amazon S3

Amazon S3 предлагает ряд классов хранилища, что позволяет выбрать подходящий с учетом требований рабочих нагрузок к производительности, доступу к данным, отказоустойчивости и стоимости. Классы хранилищ S3 отличаются минимальной стоимостью и предназначены для различных схем доступа. Классы хранилищ S3 – идеальный выбор для любых примеров использования, в том числе для сред с озерами данных, неизвестными или непостоянными схемами доступа, архивным хранилищем, а также высокими требованиями к производительности и локализации данных.

Классы хранилищ S3 включают: Интеллектуальное многоуровневое хранение S3 для автоматической экономии средств при использовании данных с неизвестными или непостоянными схемами доступа; S3 Стандартный для часто применяемых данных; S3 Express для одной зоны для регулярно используемых данных; S3 стандарт – редкий доступ (S3 стандарт-IA) и S3 для одной зоны – редкий доступ (S3 One Zone-IA) для редко применяемых данных; Мгновенное извлечение данных S3 Glacier для архивных данных, к которым требуется мгновенный доступ; Гибкое извлечение данных S3 Glacier (ранее – S3 Glacier) для редко используемых данных за длительный период, к которым не требуется мгновенный доступ; Глубокий архив Amazon S3 Glacier для архивных данных за длительный период и цифровой архивации с извлечением за определенное количество часов в облачном хранилище с минимальной стоимостью.

Amazon S3 – это самое надежное хранилище в облаке. Благодаря уникальной архитектуре данные, хранящиеся в S3, защищены более чем на 99,999999999 % (11 девяток). Кроме того, S3 по умолчанию с избыточностью сохраняет данные как минимум в трех зонах доступности, предусматривая возможность встроенной устойчивости в условиях масштабной чрезвычайной ситуации. Клиенты могут хранить данные в одной зоне доступности, чтобы минимизировать затраты на хранение и задержку, или в нескольких зонах доступности для обеспечения устойчивости к безвозвратной потере всего центра обработки данных, а также в нескольких регионах AWS для соблюдения требований географической устойчивости. Если требования к локализации данных невозможно выполнить в существующем регионе AWS, вы можете использовать классы хранилищ S3 для выделенных локальных зон AWS или S3 на стойках Outposts для хранения данных в определенном периметре. 

Классы хранилища S3 можно настроить на уровне объектов, чтобы один бакет общего назначения содержал объекты из всех классов хранилищ, кроме S3 Express для одной зоны. Amazon S3 также предоставляет возможности управления данными в течение их жизненного цикла. После настройки политики жизненного цикла S3 данные будут автоматически перемещаться в хранилище другого класса без внесения изменений в приложение. Бакеты каталогов S3 допускают хранение объектов только в хранилище класса S3 Express для одной зоны, которое обеспечивает более быструю обработку данных в одной зоне доступности и не поддерживает переходы жизненного цикла S3.

Просмотрите инфографику, посвященную классам хранилищ Amazon S3.

Класс S3 Стандартный предлагает высокую надежность, доступность и производительность объектного хранилища для хранения часто используемых данных. Обеспечивая низкую задержку и высокую пропускную способность, класс S3 Стандартный подходит для различных примеров использования, включая облачные приложения, динамические веб-сайты, распространение контента, мобильные приложения и игры, а также аналитику больших данных. 

Основные функции

• Хранилище общего назначения для часто используемых данных
• Низкая задержка и высокая пропускная способность.
• Обеспечение доступности на уровне 99,99 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99,9 %.

Интеллектуальное многоуровневое хранение Amazon S3 является первым облачным хранилищем, с помощью которого можно автоматически снижать стоимость хранения на уровне конкретных объектов путем автоматического перемещения данных на наиболее экономичные уровни доступа исходя из частоты получения доступа к этим данным и без ущерба производительности, платы за извлечение и операционных расходов. Интеллектуальное многоуровневое хранение S3 отличается миллисекундной задержкой и высокой пропускной способностью в разрезе данных, к которым часто, нечасто и редко требуется доступ, на уровнях Frequent, Infrequent и Archive Instant Access. Интеллектуальное многоуровневое хранение S3 можно использовать как класс хранилища по умолчанию для практически любой рабочей нагрузки, особенно для озер данных, аналитики данных, новых приложений и созданного пользователями контента.

За небольшую ежемесячную плату за мониторинг и автоматизацию объектов Интеллектуальное многоуровневое хранение S3 выполняет мониторинг шаблонов доступа и автоматически перемещает объекты, которые не были доступны на более низких уровнях доступа. Интеллектуальное многоуровневое хранение S3 автоматически распределяет объекты по трем уровням доступа: для часто используемых данных, для нерегулярного доступа (дешевле на 40 %) и для редко применяемых данных (дешевле на 68 %). Интеллектуальное многоуровневое хранение S3 выполняет мониторинг шаблонов доступа и перемещает объекты, доступ к которым не осуществлялся в течение 30 дней подряд, на уровень Infrequent Access, а если более 90 дней – на Archive Instant Access. Для данных, не требующих мгновенного извлечения, можно настроить Интеллектуальное многоуровневое хранение S3: система будет отслеживать объекты и автоматически перемещать те, к которым не обращались 180 дней и более, на уровень Deep Archive Access. Это позволит сэкономить до 95 % затрат на хранение.

За извлечение данных из Интеллектуального многоуровневого хранения S3 плата не взимается. Если в дальнейшем запрашивается доступ к объекту Archive Instant Access, он автоматически перемещается на уровень Frequent Access. Если извлекаемый объект хранится на дополнительном уровне доступа Deep Archive, то перед извлечением объекта сначала необходимо восстановить копию с помощью RestoreObject.  Подробно о восстановлении архивированных объектов см. здесь. За перемещение объектов между уровнями доступа при использовании класса хранилища «Интеллектуальное многоуровневое хранение S3» дополнительная плата не взимается.

Основные функции

• Автоматическое сокращение расходов для данных с неизвестной или непостоянной схемой доступа
• Уровни Frequent, Infrequent и Archive Instant Access отличаются низкой задержкой и высокой пропускной способностью, которые характерны для класса S3 Standard
• Благодаря уровню Infrequent Access можно сэкономить на хранении до 40 %.
• Благодаря уровню Archive Instant Access можно сэкономить на хранении до 68 %.
• Возможности переходной асинхронной архивации для редко используемых объектов.
• Уровень Deep Archive Access характеризуется такой же производительностью, что и класс Glacier Deep Archive, и позволяет экономить до 95 % на хранении редко запрашиваемых объектов.
• Обеспечение доступности на уровне 99,9 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99 %.
• Небольшая ежемесячная плата за мониторинг и автоматизацию.
• Никаких операционных затрат, никаких сборов за управление жизненным циклом, никакой платы за извлечение и никакой минимальной продолжительности хранения
• В Интеллектуальном многоуровневом хранении S3 можно также сохранять объекты размером менее 128 КБ, но за них будет взиматься плата по тарифам уровня Frequent Access. Расходы на мониторинг и автоматизацию не предусмотрены.

Amazon S3 Express для одной зоны – это высокопроизводительный класс хранилищ с одной зоной доступности, специально разработанный для обеспечения стабильного доступа с быстродействием в несколько миллисекунд к регулярно используемым данным и приложениям, чувствительным к задержкам. S3 Express для одной зоны позволяет повысить скорость доступа к данным в 10 раз и снизить затраты на запросы на 80 % по сравнению с S3 Стандартный. Клиенты всегда могли выбрать определенный регион AWS для хранения данных S3, однако S3 Express для одной зоны позволяет хранить данные в определенной зоне доступности AWS в регионе AWS. Хранилище вместе с вычислительными ресурсами можно разместить в одной и той же зоне доступности для дальнейшей оптимизации производительности, снижения затрат на вычисления и ускорения выполнения рабочих нагрузок. Стоит отметить, что в S3 Express для одной зоны данные будут храниться в бакетах другого типа, а именно в бакетах каталогов Amazon S3, которые поддерживают до двух миллионов запросов в секунду. Кроме того, хранилища S3 Express для одной зоны можно использовать совместно с такими сервисами, как Обучение моделей Amazon SageMaker, Amazon Athena, Amazon EMR и каталог данных AWS Glue, для ускорения выполнения рабочих нагрузок машинного обучения и аналитики. Благодаря S3 Express для одной зоны хранилище автоматически масштабируется вертикально или горизонтально в зависимости от потребления и нужд, что исключает необходимость в управлении несколькими системами хранения данных для рабочих нагрузок с малой задержкой.

Основные функции

• Высокопроизводительное хранилище для регулярно используемых данных
• Обработка запроса менее чем за 10 миллисекунд.
• Увеличение скорости получения доступа в 10 раз и сокращение затрат на обработку запросов на 80 % по сравнению с S3 Стандартный.
• Выбрав зону доступности AWS, клиенты получат возможность совместного размещения ресурсов хранения и вычислительных ресурсов, чтобы значительно сократить задержки и время обработки, а также повысить эффективность использования вычислительных ресурсов для уменьшения общей совокупной стоимости владения.
• Ускорьте аналитику и выполнение рабочих нагрузок машинного обучения с помощью интеграции сервисов AWS
• Масштабируйте, чтобы обрабатывать миллионы запросов в минуту
• Оптимизация для больших наборов данных с большим количеством небольших объектов
• Применение существующих API-интерфейсов Amazon S3 с бакетами каталогов.
• Обеспечение доступности на уровне 99,95 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99,9 %.

Класс хранилища S3 стандарт-IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. Хранилище S3 Standard – IA обеспечивает высокую надежность, высокую пропускную способность и низкие задержки хранилища S3 Standard одновременно с низкими ценами на каждый гигабайт хранилища и гигабайт извлеченных данных. Такое сочетание низкой стоимости и высокой производительности делает S3 Standard-IA идеальным решением для долгосрочного хранения данных, резервного копирования, а также хранения данных на случай аварийного восстановления файлов. Классы хранилища S3 можно настроить на уровне объектов, чтобы одна корзина содержала объекты из хранилищ S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA и S3 One Zone-IA. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Основные функции

• Редко используемые данные, к которым требуется мгновенный доступ
• Низкая задержка и высокая пропускная способность на уровне хранилища S3 Стандартный.
• Обеспечение доступности на уровне 99,9 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99 %.

Класс хранилища S3 One Zone-IA является идеальным выбором для хранения данных, доступ к которым осуществляется относительно редко, но при этом должен обеспечиваться быстро. В отличие от других классов хранилища S3, которые хранят данные как минимум в трех зонах доступности, S3 One Zone – IA хранит данные только в одной зоне доступности и стоит на 20 % меньше S3 Standard-IA. Класс S3 One Zone – IA идеально подходит клиентам, которым требуется экономичное решение для хранения редко используемых данных и которым не нужна доступность и устойчивость, свойственные классам S3 Standard или S3 Standard – IA. Это хороший выбор для хранения вторичных резервных копий локальных данных или легко воссоздаваемых данных. Клиенты также могут использовать его для экономичного хранения данных, реплицируемых из другого региона AWS с помощью межрегиональной репликации S3.

Хранилище S3 One Zone-IA обеспечивает такую же пропускную способность и низкие задержки хранилища S3 Standard одновременно с низкими ценами на каждый гигабайт хранилища и гигабайт извлеченных данных. Технические решения S3 One Zone-IA аналогичны решениям региональных хранилищ S3: они также обеспечивают надежность, равную 99,999999999 % (11 девяток). Стоит отметить, что существует малая вероятность потери данных в случае полного или частичного повреждения либо потери зоны доступности AWS. Классы хранилища S3 можно настроить на уровне объектов, чтобы один бакет общего назначения содержал объекты из всех классов хранилищ, кроме S3 Express для одной зоны. С помощью политик жизненного цикла S3 также можно автоматически переносить объекты между классами хранилищ без каких-либо изменений в приложении.

Основные функции

• Воссоздаваемые редко используемые данные.
• Низкая задержка и высокая пропускная способность на уровне хранилища S3 Стандартный.
• Обеспечение доступности на уровне 99,5 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99 %.

Классы хранилища Amazon S3 Glacier предназначены специально для архивации данных и отличаются максимальной производительностью, гибкостью при извлечении и минимальной стоимостью облачного архивного хранилища. Вы можете выбрать один из трех классов хранилища для архивов, оптимизированных для различных моделей доступа и сроков хранения. Для архивных данных, к которым может потребоваться мгновенный доступ (например, в случае с медицинскими изображениями, ресурсами новостных мультимедиа или данными геномных исследований) лучше выбрать архивный класс хранилища S3 Glacier Instant Retrieval, который отличается минимальной стоимостью хранения и возможностью извлечения за несколько миллисекунд. Для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении), лучше выбрать класс хранилища S3 Glacier Flexible Retrieval (который ранее назывался S3 Glacier), где поддерживается извлечение за несколько минут для небольших объемов и за 5–12 часов для больших пакетов. Чтобы сэкономить еще больше при длительном хранении архивных копий (например, для обеспечения соответствия требованиям или архивов цифровых СМИ), лучше выбрать Глубокий архив S3 Glacier, который отличается минимальной стоимостью облачного хранилища и возможностью извлечения данных в течение 12–48 часов.

Мгновенное извлечение данных Amazon S3 Glacier представляет собой класс архивного хранилища, которое отличается минимальной стоимостью длительного хранения данных, доступ к которым требуется редко и которые необходимо извлекать за несколько миллисекунд. С S3 Glacier Instant Retrieval можно сэкономить до 68 % на хранении по сравнению с классом хранилищ S3 Standard-Infrequent Access (S3 Standard-IA), если доступ к вашим данным осуществляется раз в квартал. S3 Glacier Instant Retrieval обеспечивает самый быстрый доступ к архивному хранилищу с той же пропускной способностью и за то же количество миллисекунд, что и классы хранилищ S3 Standard и S3 Standard – IA. S3 Glacier Instant Retrieval прекрасно подойдет для архивных данных, требующих мгновенного доступа, как, например, архивы медицинских изображений, ресурсов новостных мультимедиа и созданного пользователями контента. Можно загружать объекты непосредственно в хранилище Мгновенного извлечения данных S3 Glacier либо же использовать политики жизненного цикла S3 для переноса данных из классов хранилищ S3. Дополнительную информацию см. на странице с информацией о Мгновенном извлечении данных Amazon S3 Glacier »

Основные функции

• Данные долговременного хранения, доступ к которым осуществляется несколько раз в год и предусматривает мгновенное извлечение
• Извлечение данных за несколько миллисекунд с такой же производительностью, что и в S3 Standard.
• Обеспечение доступности на уровне 99,9 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99 %.
• Минимальный размер объекта – 128 КБ.
• API S3 PUT для прямой загрузки в Мгновенное извлечение данных S3 Glacier и управление жизненным циклом S3 для автоматической миграции объектов.

Гибкое извлечение данных S3 Glacier предоставляет экономичное хранилище, снижая затраты на 10 % (по сравнению с Мгновенным извлечением данных S3 Glacier) для архивных данных, которые нужно получать один или два раза в год в асинхронном режиме. Класс хранилища S3 Glacier Flexible Retrieval (ранее – S3 Glacier) прекрасно подойдет для архивных данных, к которым не требуется мгновенный доступ, но может потребоваться ситуативный доступ к огромным наборам данных без дополнительных затрат на их извлечение (например, для резервных копий и при аварийном восстановлении). S3 Glacier Flexible Retrieval обеспечивает наиболее гибкий баланс между стоимостью и скоростью доступа и позволяет извлекать данные, в том числе пакеты, за несколько минут или за несколько часов. Это идеальное решение для резервного копирования, аварийного восстановления, хранения данных за пределами организации или для других данных, которые нужно извлечь за несколько минут и на хранение которых нет смысла тратить много средств. Гибкое извлечение данных S3 Glacier обеспечивает надежность хранения данных на уровне 99,999999999 % (11 девяток) и доступность в 99,99 % случаев за год за счет избыточного хранения данных в нескольких физически удаленных зонах доступности AWS. Дополнительную информацию см. на странице о классах хранилищ Amazon S3 Glacier »

Основные функции

• Резервное копирование и архивирование редко используемых данных с низкими затратами.
• Обеспечение доступности на уровне 99,99 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99,9 %.
• Поддержка SSL для данных в движении и при их шифровании в местах хранения.
• Прекрасно подходит для резервного копирования и аварийного восстановления, когда необходимо ситуативное извлечение больших наборов данных за несколько минут без дополнительных затрат.
• Настраиваемое время извлечения – от нескольких минут до нескольких часов – и возможность пакетного извлечения.
• API S3 PUT для прямой загрузки в Гибкое извлечение данных S3 Glacier и управление жизненным циклом S3 для автоматической миграции объектов.

Глубокий архив S3 Glacier – это самый экономичный класс хранилища Amazon S3 с поддержкой долгосрочного хранения и цифровой архивации данных, доступ к которым запрашивается один-два раза в год. Он создан для клиентов, которые хранят наборы данных 7–10 лет или дольше для выполнения нормативных требований. Это особенно актуально для клиентов, которые работают в отраслях с высоким уровнем регулирования, таких как здравоохранение, финансовый и государственный секторы. S3 Glacier Deep Archive также можно использовать для резервного копирования и аварийного восстановления. Это экономичная и удобная в управлении альтернатива системам на основе магнитной ленты при использовании как в качестве локальных библиотек, так и в качестве внешних сервисов. S3 Glacier Deep Archive дополняет хранилище Amazon S3 Glacier, идеально подходящее для архивов, данные в которых извлекаются регулярно, причем иногда требуются за считаные минуты. Все объекты, хранимые в S3 Glacier Deep Archive, реплицируются и хранятся по крайней мере в трех географически распределенных зонах доступности с уровнем надежности 99,999999999 %. Восстановление выполняется в течение 12 часов. Дополнительную информацию см. на странице о классах хранилищ Amazon S3 Glacier »

Основные функции

• Исключительно редко используемые архивные данные с крайне низкими затратами.
• Обеспечение доступности на уровне 99,99 % в соответствии с условиями Соглашения об уровне обслуживания на уровне 99,9 %.
• Идеальная альтернатива библиотекам магнитных лент.
• Время извлечения в пределах 12 часов
• API S3 PUT для прямой загрузки в Глубокий архив S3 Glacier и управление жизненным циклом S3 для автоматического переноса объектов.

В выделенных локальных зонах AWS классы хранилищ «S3 Express для одной зоны» и «S3 для одной зоны – редкий доступ» специально разрабатываются для хранения данных в определенном периметре, что помогает обеспечивать изоляцию и локализацию данных. Выделенные локальные зоны – это тип инфраструктуры AWS, полностью управляемый AWS, созданный для использования исключительно вами или вашим сообществом и размещенный в заданном месте или центре обработки данных для обеспечения соответствия нормативным требованиям. Оба класса хранилищ предусматривают хранение данных в одной выделенной локальной зоне и доступны в бакетах каталогов. S3 поддерживает Консоль управления AWS, AWS SDK и API S3, поэтому приложения на базе S3 можно запускать в выделенных локальных зонах. Amazon S3 Express для одной зоны – это высокопроизводительный класс хранилищ для обеспечения стабильного доступа к регулярно используемым данным и приложениям, чувствительным к задержкам, с быстродействием в несколько миллисекунд. Класс хранилища «Amazon S3 для одной зоны – редкий доступ» предназначен для данных, к которым обращаются реже. Он идеально подходит для резервного копирования.

Основные функции

• Хранение объектов S3 в определенном периметре данных для примеров использования, связанных с изоляцией данных.
• Обеспечение безопасности в пределах периметра данных с помощью Управления идентификацией и доступом AWS (IAM).
• Аудит доступа на уровне бакета и объектов в целях управления и надзора за соблюдением нормативных требований с помощью AWS CloudTrail.
• Обеспечение надежного и избыточного хранения данных в одной выделенной локальной зоне.

В локальных зонах AWS класс хранилища «S3 для одной зоны – редкий доступ» специально разработан для хранения данных в определенном периметре в соответствии с примерами использования, связанными с локализацией данных. Локальная зона – это тип инфраструктуры AWS, в рамках которого отдельные сервисы AWS размещаются вблизи крупных населенных пунктов и промышленных центров. S3 в локальных зонах работает в бакетах каталогов S3. S3 поддерживает Консоль управления AWS, AWS SDK и API S3, поэтому приложения на базе S3 можно запускать в локальных зонах. Класс хранилища «Amazon S3 для одной зоны – редкий доступ» предназначен для данных, к которым обращаются реже. Он идеально подходит для резервного копирования.

Основные функции

• Хранение объектов S3 в определенной локальной зоне для примеров использования, связанных с локализацией данных.
• Обеспечение безопасности в пределах периметра данных с помощью Управления идентификацией и доступом AWS (IAM).
• Аудит доступа на уровне бакета и объектов в целях управления и надзора за соблюдением нормативных требований с помощью AWS CloudTrail.
• Обеспечение надежного и избыточного хранения данных в одной локальной зоне. 

Amazon S3 на базе Outposts предоставляет возможности хранения объектов в локальной среде AWS Outposts. С помощью API S3 и функций, доступных в регионах AWS, S3 on Outposts существенно упрощает хранение и извлечение данных на вашем экземпляре Outpost, а также повышает защищенность данных, предоставляет более эффективные средства управления, маркировки и составления отчетности. S3 on Outposts предоставляет единственный класс хранилища Amazon S3 под названием «OUTPOSTS»: для него используются API S3, а сам класс предназначен для надежного хранения данных с избыточностью одновременно на нескольких устройствах и серверах вашего экземпляра Outposts. Класс хранилища S3 Outposts идеально подходит для рабочих нагрузок с необходимостью локализации данных и для удовлетворения высоких требований к производительности благодаря хранению данных в непосредственной близости к локальным приложениям.

Основные функции

• Хранение объектов S3 в локальной среде AWS Outposts. 
• Совместимость объектов S3 и управление бакетов с помощью S3 SDK.
• Ориентация на надежное и избыточное хранение данных в стойках AWS Outposts.
• Шифрование с применением SSE-S3 и SSE-C.
• Аутентификация и авторизация с использованием точек доступа S3 и IAM.