Amazon S3

service de stockage développé par Amazon

Amazon S3 (Amazon Simple Storage Service) est un site d'hébergement de fichiers proposé par Amazon Web Services. Amazon S3 propose des services de stockage à travers des services Web (REST, SOAP et BitTorrent)[1].

Logo d'Amazon S3

Amazon a lancé le service Amazon S3, son premier service Web, aux États-Unis en [2] et en Europe en [3].

Lors de son lancement, Amazon S3 facturait à ses clients 0,15 $ américain par gigaoctet de stockage, plus des frais d'utilisation de la bande passante ascendante et descendante ainsi que des frais par requête (get ou put) [4]. Le , une facturation progressive accordant des réductions aux clients utilisant plus de 50 téraoctets de stockage a été implantée [5].

Amazon a mentionné que le service Amazon S3 utilise la même architecture de stockage évolutive qu'Amazon utilise pour son réseau de commerce électronique global[6].

Architecture

modifier

Les détails de l'architecture du service Amazon S3 n'ont pas été révélés par Amazon. Selon Amazon, l'architecture a été conçue pour fournir extensibilité, disponibilité, rapidité d'accès et prix abordable.

Amazon S3 a été conçu pour fournir une disponibilité de 99,99 % et une durabilité de 99,999 999 999 %[7], bien que le contrat de niveau de service ne contienne aucune garantie concernant la durabilité.

Amazon S3 accepte des fichiers informatiques jusqu'à 5 téraoctets ayant des métadonnées allant jusqu'à 2 kilooctets.

Croissance

modifier
Nombre de fichiers informatiques
enregistrés sur Amazon S3
Année Nombre
2 000 milliards[8]
1 000 milliards[9]
102 milliards[10]
64 milliards[11]
29 milliards[5]
10 milliards[12]

Exemples d'utilisation

modifier

Le site d'hébergement de photos SmugMug (en) a utilisé le service depuis . Au début le site a expérimenté des pannes et des ralentissements, mais après un an, le site décrivait S3 comme considérablement plus fiable que son stockage interne et affirmait avoir réalisé des économies de près de 1 million de dollars[13].

Dropbox[14] (jusqu'en 2015), StoreGrid, SyncBlaze[15], Tahoe-LAFS (en)-on-S3[16], Zmanda (en) et Ubuntu One[17] sont quelques-uns des nombreux services de stockage en ligne et synchronisation qui utilisent S3 pour le stockage et le transfert de fichiers.

Minecraft héberge les mises à jour de ses jeux et les habillages des joueurs sur les serveurs de S3[18].

LogicalDOC, le système de gestion électronique des documents fournit un outil pour la reprise après sinistre basée sur S3.

S3 a été utilisé par quelques compagnies comme solution de stockage à long terme jusqu'à l'apparition du service Amazon Glacier en 2012, lequel permet des économies de 90 %, au prix d'une augmentation du temps d'accès à quelques heures[19].

S3 désigne également l’API de communication avec le service. Il existe de nombreux services concurrents utilisant la même interface pour proposer du stockage objet mais ils sont différents dans leurs technologies, fonctionnalités et coût d’utilisation.

Clients

modifier

Ces programmes sont des clients capable de communiquer avec l’API S3. Ils permettent de parcourir les buckets et objets et voir les métadonnées, envoyer, télécharger ou supprimer des objets. Cette liste n’est pas complète.

  • MinIO client client en ligne de commande
  • s3fs est un système de fichier FUSE interprétant les objets comme des fichiers.

Serveurs

modifier

Ces programmes sont des serveurs fournissant un service de stockage d’objet compatibles avec l’API S3. Ne sont listés ici que les programmes permettant l’auto-hébergement (même avec des fonctionnalités réduites). Un serveur HTTP intégré permet de distribuer les fichiers avec des requête HTTP et de les télécharger depuis un navigateur internet commun.

La plupart de ces serveurs proposent de fonctionner en amas (plusieurs serveurs sur plusieurs machines) pour améliorer la distribution spatiale et la résilience. La distribution permet de répartir équitablement ou selon la demande les données sur plusieurs sites. La réplication assure la présence d’au moins N copies des données sur le réseau et sur des machines différentes. Elles seront toujours disponibles si un serveur est hors-service. Le chiffrement désigne ici le chiffrement par le serveur des données sur son support de stockage. Les données peuvent également être chiffrées en amont par l’utilisateur et être illisibles par le serveur qui les entrepose.

La compression permet de réduire l’espace de stockage mais n’est efficace que sur des données qui ne sont pas déjà compressées. C’est pourquoi elle n’est parfois appliquée que sur certains types de fichiers (ni images ni vidéos).

  • MinIO est un serveur haute-disponibilité destiné aux entreprises.
  • Garage est un projet communautaire conçu pour fournir un service minimal auto-hébergé et utiliser peu de ressources.
  • CephFS S3 est une extension du système CephFS
Fonctionnalités
Nom Conformité API HTTP Réplication Distribution Compression Chiffrement
MinIO Complète Yes Yes Yes Yes (avec filtres) Yes
Garage Partielle[21] Yes Yes Yes Yes (tout ou rien) Yes
CephFS

Notes et références

modifier
(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Amazon S3 » (voir la liste des auteurs).
  1. Site officiel
  2. (en) « Amazon Web Services Launches "Amazon S3" », Amazon.com,
  3. (en) John Dorsey, « Amazon S3 Storage Now Available in Europe », Dr. Dobb's Portal,‎ (lire en ligne [archive du ], consulté le )
  4. (en) « Amazon Simple Storage Service pricing », Amazon.com,
  5. a et b (en) « Amazon S3 - Busier Than Ever », Amazon.com,
  6. The same data storage infrastructure that Amazon uses to run its own global network of web sites
  7. Amazon S3 Protecting Your Data
  8. - Amazon S3 – Two Trillion Objects, 1.1 Million Requests / Second
  9. - Amazon S3 - The First Trillion Objects
  10. Brian Lillie of Equinix said that Amazon now is hosting 102 billion objects in S3
  11. S3 (Amazon's Simple Storage Service) alone has over 64 billion objects in it.
  12. (en) Vogels, Werner, « Happy Birthday, Amazon S3! », All Things Distributed,
  13. « Amazon S3: Show Me the Money »(Archive.orgWikiwixArchive.isGoogleQue faire ?) (consulté le )
  14. (en) « Where are my files stored? »,
  15. (en) « Where SyncBlaze Cloud stores my files? »
  16. (en) « What is Tahoe-LAFS-on-S3? »(Archive.orgWikiwixArchive.isGoogleQue faire ?),
  17. (en) « Ubuntu One Technical Details », Ubuntu.com (consulté le )
  18. (en) « Minecraft Beta 1.2_02 »,
  19. (en) « Cost Comparison Amazon Glacier vs S3 »
  20. (en) WinSCP Documentation, « Connecting to Amazon S3 service » Accès libre
  21. (en) « S3 Compatibility status »

Voir aussi

modifier

Liens externes

modifier