Behind AWS S3’s Massive Scale
This is a guest article by Stanislav Kozlovski, an Apache Kafka Committer. If you would like to connect with Stanislav, you can do so on Twitter and LinkedIn.AWS S3 is a service every engineer is familiar with. It’s the service that popularized the notion of cold-storage to the world of cloud. In essence - a scalable multi-tenant storage service which provides interfaces to store and retrieve obje
S3ã®æš—å·åŒ–ã«ã¤ã„ã¦ã¾ã¨ã‚ã¦ã¿ãŸ(2018å¹´6月版) - 本日も乙
å‰å›žã¯S3ãƒã‚±ãƒƒãƒˆã®ãƒ‡ãƒ•ã‚©ãƒ«ãƒˆæš—å·åŒ–ã®ãƒ‘フォーマンス比較を紹介ã—ã¾ã—ãŸã€‚ 本当ã¯ã“ã¡ã‚‰ã‚’å…ˆã«ç´¹ä»‹ã™ã¹ãã§ã—ãŸãŒã€ä»Šå›žã¯S3ã®æš—å·åŒ–ã«ã¤ã„ã¦ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ æš—å·åŒ–ã®ç¨®é¡ž サーãƒå´ã®æš—å·åŒ–(Server Side Encryption: SSE) クライアントå´ã®æš—å·åŒ–(Client Side Encryption: CSE) デフォルト暗å·åŒ– デフォルト暗å·åŒ–ã«ãŠã‘ã‚‹Athenaã®ãƒ†ãƒ¼ãƒ–ル定義ã«ã‚ˆã‚‹æ³¨æ„点 æ—¢å˜S3オブジェクトã®æš—å·åŒ– 最後㫠å‚考 æš—å·åŒ–ã®ç¨®é¡ž 大ãã分ã‘ã¦ã‚µãƒ¼ãƒ(Amazon S3)å´ã¨ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆå´ã«åˆ†ã‹ã‚Œã¾ã™ã€‚ サーãƒå´ã®æš—å·åŒ–(Server Side Encryption: SSE) サーãƒ(S3)ã«ä¿ç®¡ã™ã‚‹éš›ã€ã¤ã¾ã‚ŠAWSã®ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼ã«ã‚るサーãƒã®ãƒ‡ã‚£ã‚¹ã‚¯ã«æ›¸ãè¾¼ã¾ã‚Œã‚‹éš›ã«ãƒ‡ãƒ¼ã‚¿ã‚’æš—å·åŒ–ã—ã¾ã™ã€‚ãƒ‡ãƒ¼ã‚¿æ ¼ç´æ™‚ã®æš—å·åŒ–ã¨ãƒ‡ãƒ¼ã‚¿å–得時ã®å¾©å·ã‚’AWSå´ãŒç®¡ç†ã—ã¦ã
Dockerã¨S3を用ã„ãŸã€yum / apt リãƒã‚¸ãƒˆãƒªä½œæˆãƒ»é‹ç”¨ã®ç¶™ç¶šçš„インテグレーション - ゆã†ã†ãブãƒã‚°
Docker を用ã„㟠rpm / deb パッケージ作æˆã®ç¶™ç¶šçš„インテグレーション - ゆã†ã†ãブãƒã‚° ã®ç¶šã。 å‰å›žã¯ã€rpm / deb パッケージを作るãŸã‚ã«ã€CentOSã€Debianãªã©å„種ディストリビューションをæƒãˆã‚‹æ‰‹é–“ã‚’ã‹ã‘ãšã«ã€Docker コンテナ上ã§ãƒ‘ッケージングã—ã¦ã€ã¤ã„ã§ã« Jenkins 㧠CI ã™ã‚‹ã¿ãŸã„ãªã“ã¨ã‚’書ã„ãŸã€‚ 今回ã¯ã€ä½œæˆã—ãŸãƒ‘ッケージを yum / apt リãƒã‚¸ãƒˆãƒªã«ç™»éŒ²ã—㦠yum / apt コマンドã§ãƒ‘ッケージインストール/アップデートã§ãるよã†ã«ãªã‚‹ã¾ã§ç¶™ç¶šçš„インテグレーションã™ã‚‹ã¨ã„ã†è©±ã€‚ å•é¡Œç‚¹ yum / apt リãƒã‚¸ãƒˆãƒªç”¨ã®å°‚用ホストを立ã¦ã¦ã€ãã“㧠apache ã¨ã‹ã§é™çš„ファイルをホストã™ã‚‹ã®ã¯ã‚ã‚“ã©ãã•ã„。 特ã«ã€mackerel-agent ã¿ãŸã„ãªãƒ¦ãƒ¼ã‚¶ã«ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã—ã¦ã‚‚らã†ãƒ‘ッケージã®å ´åˆã€ãƒªãƒã‚¸ãƒˆãƒªã‚’公開ã—
ç¾ä»£ITインフラã®çŽ‹é“をゆãLinuxパッケージ管ç†ã®åŸºæœ¬æ§‹æˆ | 外é“父ã®åŒ
RedHatç³»ã«ãŠã‘ã‚‹RPMパッケージを扱ã†YUMã€Debianç³»ã«ãŠã‘ã‚‹DEBパッケージを扱ã†APTã€ã“れらã¯ã‚µãƒ¼ãƒãƒ¼ç®¡ç†ã«ãŠã„ã¦é‡è¦ãªã‚ã‘ã§ã™ãŒã€çµ¶å¦™ãªåº¦åˆã„ã§ã€ãŠã–ãªã‚Šã«æ‰±ã£ã¦ã‚‚ã‚ã‚Šã¨ãªã‚“ã¨ã‹é‹ç”¨å‡ºæ¥ã¦ã—ã¾ã†æ„ŸãŒã‚ã‚Šã¾ã™ã€‚ãã®ãŸã‚今一度ã€ã“ã‚“ãªæ„Ÿã˜ãŒä»Šé¢¨ã®ã‚¹ã‚¿ãƒ³ãƒ€ãƒ¼ãƒ‰ã˜ã‚ƒãªã„ã£ã™ã‹ã（ｷﾘｯ ã¨ã„ã†æ§‹æˆã‚’説明ã—ã¦ã¿ã¾ã™ã€‚ ã¶ã£ã¡ã‚ƒã‘ã€ãŸã„ã—ãŸã“ã¨ãªã„ãƒã‚¿ã®é›†åˆä½“ãªã®ã§ã€ã‚¿ã‚¤ãƒˆãƒ«ã«ä¸‹é§„ã‚’å±¥ã‹ã›ã¾ã—ãŸã€‚ ãã‚‚ãもパッケージã¯å¿…è¦ãªã®ã‹ 言ã†ã¾ã§ã‚‚ãªãå¿…é ˆã§ã™ã€‚ç†ç”±ã¯ã€ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ç‰©ã®ãƒ•ã‚¡ã‚¤ãƒ«ç®¡ç†ãŒå®¹æ˜“ã«ãªã‚‹ã®ã¨ã€ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«æ™‚é–“ã‚’çŸç¸®ã§ãã‚‹ã‹ã‚‰ã§ã™ã€‚æ—¢å˜ã®ãƒ‘ッケージã§configureオプションãŒç‰©è¶³ã‚Šãªã„時やã€RPMパッケージãŒå˜åœ¨ã—ãªã„å ´åˆã¯ä½œæˆã™ã‚‹ã“ã¨ã«ãªã‚Šã¾ã™ã€‚ 最近ã¯ãƒ—ãƒãƒ“ジョニング・ツールã«ã‚ˆã£ã¦å…¨ã¦è‡ªå‹•åŒ–ã§ãã‚‹ã®ã§ã€è¶…ç°¡ç´ ãªã‚³ãƒ³ãƒ‘イルã®ã‚‚ã®ã¯ãƒ¬ã‚·ãƒ”ã«è½ã¨ã—込んã§çµ‚ã‚ã‚Šã«ã—ãŸ
S3ã®ãƒã‚±ãƒƒãƒˆåã¯ã‚ˆã考ãˆã¦å‘½åã—ã¾ã—ょã†ï¼
ã“ã®é–“ã®JAWS-UGæœå¹Œå‹‰å¼·ä¼šã§è©±ã—ãã³ã‚ŒãŸå°ãƒã‚¿ã®ä¸€ã¤ã§ã™ã€‚タイトルを一èªã—ã¦ã€Œãã‚“ãªã“ã¨ã‚ã–ã‚ã–ブãƒã‚°ã«æ›¸ã‹ãªãã¦ã‚‚(ryã€ã¨ã„ã†AWSエã‚スパートãªæ–¹ã¯èªã¿é£›ã°ã—ã¦ãã ã•ã„ãw S3ã«ä¿å˜ã—ãŸã‚ªãƒ–ジェクトã¯ã€ã™ã¹ã¦URLãŒã¤ãã¾ã™ã€‚ 例ãˆã°ã€æ±äº¬ã®S3ã«ã€Œhogeã€ã¨ã„ã†ãƒã‚±ãƒƒãƒˆã‚’作りã€ãã“ã«ã€Œfuga.jpgã€ã‚’ä¿å˜ã—ãŸã¨ã™ã‚Œã°ã€ http://s3-ap-northeast-1.amazonaws.com/hoge/fuga.jpg ã¨ã„ã†URLãŒå‰²ã‚Šå½“ã¦ã‚‰ã‚Œã¾ã™ã€‚ ã¾ãŸã€ãƒã‚±ãƒƒãƒˆåをサブホストã¨ã—ã¦ã‚‚有効ãªã®ã§ã€ http://hoge.s3-ap-northeast-1.amazonaws.com/fuga.jpg ã§ã‚‚OKã§ã™ã€‚ ã•ã‚‰ã«ã€S3ã¯SSLも使ãˆã¾ã™ã€‚ã¤ã¾ã‚Šã€ä¸Šè¨˜ã®ã‚ªãƒ–ジェクト㯠https://s3-ap-northeast-1.amazonaws.com/h
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
MinIO | S3 Compatible Storage for AI
{{#tags}}- {{label}}
{{/tags}}