S3 Drive | Map S3 Storage as a Local Drive | nsoftware https://t.co/YOTKz8v2So うお。Amazon S3を仮想ローカルドライブとしてマウント！　これめっちゃ便利じゃない？ — Kazuya Sugimoto @CData Software Japan (@sugimomoto) August 31, 2020 /n Software社が、WindowsエクスプローラからS3ファイル操作ができるようになるデスクトップ製品"S3 Drive"を開発し、現在β版を提供しているので紹介します。 S3 Driveを使い始める S3 Driveは本エントリ執筆時点(2020年9月2日)では、パブリックβ版として無料で提供されています。 準備 AWS アクセスキーの確保 まず、AWS管理コンソールのIAM管理画面から、操作した

この記事はAWS Lambda Advent Calendar 2014の12/8のエントリです。 昨日7日目のエントリはmaroon1stさんの「今後のLambdaの機能拡張に対する要望を挙げてみた – AWS Lambda Advent Calendar 2014：7日目」でした。 今日8日目は、LambdaでS3上に出力されたログをCloudWatch Logsに取り込んで監視してみます。 CloudWatch Logsはログの蓄積や監視を実現するためのサービスとして、2014年7月にリリースされました。 現時点では、Linuxでは任意のログファイルの監視に、Windowsでは任意のログファイルに加えてWindows Eventlog・Event Tracing for Windowsの監視にも対応し、CloudWatch Logsは既にEC2インスタンス内部のログの大部分に対応して

JAWS-UG東京#28 Developer×Infra JAWS( https://jawsug-tyo.connpass.com/event/57021/ ) での発表資料です

2016年8月、トレタの増井雄一郎さん（「IT芸人」「フログラマー」で検索！）はPHPからScalaへの移行を表明していたChatWork CTOの山本正喜さんに「本当にScala化できるんですか？」と直球で聞きました（「PHPからScalaに乗り換えたチャットワークさん、その後どうですか？（前編）」）。そして2017年2月。「移行できたら、ぜひもう一回来てください」との誘いを受けて、再び増井さんがチャットワークにやってきました！ 増井　Scala化、おめでとうございます！ 山本　ありがとうございます。 増井　前回も聞きましたが、読んでない方もいるでしょうから、もう一度聞かせてください。Scalaを入れようと思った時期はいつなんでしょうか。 山本　そのあたりはBlog（「チャットワークがScalaを採用する理由、これからのチャレンジ。」）に書いたんですが、2年半前──合宿をしてScala化

こんにちは、VOYAGE GROUP システム本部の @s-tajima です。 PHPカンファレンス2016 の「老舗メディアが改善に取り組んでいる話」でもお話した通り、長年オンプレミス環境で稼働してきたECナビを、AWSに移転しようというプロジェクトが進行しています。 そしてなんと先日、約24時間のメンテナンスを経てECナビの本体(Webサーバ, 管理画面サーバの一部, データベースサーバ)がAWSに移転しました！ AWS移転において得た知見, 構築したシステム等は数多くありますが、今回はCloudFormationとTravis CIを用いて 生産的 で 安全 で 手軽 なAWSのCI環境を構築したお話です。 背景 ECナビは、500万人を超える会員を抱えたVOYAGE GROUPが運営している中でも特に大きなメディアの1つです。 今回、そんなECナビのインフラ調達期間の削減、検証環

クラウドネイティブ世代 自分で適当に思いついた言葉だったんですが、どうやら既出だったようです。 *1 クラウドネイティブ世代がインフラに触れるということ 入社して配属されてから今までほぼ100% AWSを使っている環境ですし、社会人になるまでサービス運用はしたことがなかったので、僕はクラウドネイティブ世代と言っていいでしょう。 クラウド脳 クラウドネイティブ世代はどんな感じかといいますと、いくらクラウドとはいえど最初はおそるおそる使っていたんですが、すぐに慣れてしまい、一時的に必要な性能を見積もって1時間だけだし2500円くらいか、と思ってボタンを押したらCPUを400コアくらい使っていた感じです。自分でも「これがクラウド脳か」と思いました。サーバをラックマウントしてくれる人の苦労も忘れたらいけない。圧倒的感謝🙏 反動 クラウド時代を表す言葉として「ペットから家畜へ」*2 という言葉が有

西澤です。S3バケットを直接マウントしてファイルシステムのように使いたいケースがありますが、s3fsはややパフォーマンスに難があります。Goで書かれていてs3fsよりも高速に動作することを売りにした"goofys"というツールを見つけたので、早速試してみることにしました。 s3fs-fuse/s3fs-fuse · GitHub GitHub - kahing/goofys: a Filey System for Amazon S3 written in Go 前提パッケージのインストール 今回はAmazon Linux(Amazon Linux AMI 2015.09.1 (HVM), SSD Volume Type)環境で検証を行いました。golangとfuseパッケージが前提として必要となりますので、下記のようにインストールします。 $ sudo yum install golang

AWS Lambdaでサーバーレス楽しんでるみなさん。 私の所属するJX通信社では、AWS Lambdaを結構活用しています。Lambdaのデプロイ管理のために、個人的にはApexというツールを使っているので、今回はその紹介をしたいと思います。 apex.run TL; DR Lambda使うならApex使おう Lambdaやってて発生する辛み Lambdaを継続して使ってくると、だいたいこんな辛みがでてきます。 Lambda関数が増えてくるので管理が大変 Lambda関数を更新するために必要なステップが多すぎる Lambda関数を更新するためには、だいたい次の作業が発生してきます。 pip install とか npm install とかして、依存ライブラリをインストール ソースコードと依存ライブラリを一つのzipに梱包 S3にアップロード Lambda関数を更新 必要であれば、エイリ

awscli s3のほうが、40%ぐらい速いという結果となりました。 1GBのファイル転送で71秒というのは、1024MB/71sec = 14.4MB/sec = 115.4Mbps ということで、これはIDCFクラウド S1のネットワーク帯域の上限なのかな、と感じました。 そうであれば、転送元のネットワーク状況によっては、もっと速くなるでしょう。 実際、先述の記事の場合は、同じ1GBのファイルを16秒で転送完了していますね。 なお、s3cmdのConfigは、デフォルトで、マルチパートアップロードで分割する際のサイズは15MB、送信チャンクサイズ65536となっています。 -- ~/.s3cfg multipart_chunk_size_mb = 15 send_chunk = 65536 -- awscli s3では、マルチパートに分割する際のサイズはデフォルトで8MBです。 （参考

EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック

こんにちは。アマゾンウェブサービス（AWS）サポートの有賀と申します。好きなサービスはAmazon Virtual Private Cloud（VPC）です。これからAWSサポートの各メンバーがそれぞれ「今一番AWSユーザーに伝えたいこと」を連載の形でお届けしていきます。筆者の担当する本稿では、AWSの「ネットワーク」について見ていきたいと思います。第1回の今回は、AWSのリージョンやアベイラビリティーゾーンといった、ネットワークの「物理設計」について解説します。 本稿でお伝えするのは下記の内容です。全3回に渡って解説していきます。 AWSのネットワークの物理的な側面 ⇒ 第1回 AWSのネットワークの論理的な側面 ⇒ 第2回 AWSのネットワークにおけるベストプラクティス ⇒ 第3回 AWSのネットワークにおいて過去に発生した問題の事例 ⇒ 第3回 必ずしもAWSの使い方といった内容では

CloudWatchには[BurstCreditBalance]という項目がありますので、こちらをチェックしてみるとどれくらいの容量が必要か見積が出せると思います。 非同期書き込み EFSは共有ストレージ、ということで非同期による書き込みが出来るようにマウント時に非同期オプション（async)をつけることができます。その場合バッファはEC2内にキャッシュされます。 またパフォーマンスを確保するためにはEC2そのもののメモリやCPU処理能力も関係します。パフォーマンスが出ないと感じた時はインスタンスタイプを上げてみるのも手です。尚EBS最適化されたインスタンスでもEFSにはその影響はないので注意しましょう。 制限事項 その他制限事項を羅列します。 最大ファイルシステム数: 10 AZ毎の最大ターゲットマウント数: 1 ターゲット毎の最大セキュリティグループ数: 5 ファイルシステム毎の最大タ

考察 EFS (General Purpose)は、ローカルディスクEBSに比べると桁違いに遅いのですが、EC2によるNFSサーバーとはそんなに大きな違いはありません。 つまり、そもそもNFSプロトコルは遅いということです。 僕は、正式リリース前のプレビュー版のときも同様のベンチマークテストを行いました。 正直、そのときは本当にこのままリリースされていいのかな？と思うぐらい遅かったのですが、そのときに比べると、スループット、レイテンシとも大きく改善されています。 とくに、レイテンシはほぼ100msec未満で安定しています。 冗長化されたマネージドサービスでストレージ容量も自動拡張できて運用管理が圧倒的に楽なので、EC2でNFSサーバーたてるよりは、EFSを使うべきでしょう。 これで実際に本番環境で使えるのか？ たとえば、Webサイトであれば 「WordPressをEFS領域に置いてAuto

This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

Amazon Elastic File System (EFS) は、ストレージ容量やパフォーマンスをプロビジョニングしたり管理したりせずにファイルデータを共有できる、サーバーレスで完全に伸縮自在なファイルストレージを提供するように設計されています。最低料金や初期費用はかかりません。お支払いいただくのは、使用したプライマリストレージとバックアップストレージ、および EFS ファイルシステムへの読み取り、書き込み、階層化アクティビティに対してのみです。読み取り/書き込みアクセスには Elastic Shroughput を使用し (ただし、オプションでプロビジョンドスループットを使用してスループットパフォーマンスを事前にプロビジョニングできます)、EFS の低頻度アクセスおよびアーカイブストレージクラスへのデータの階層化には料金が発生します。 EFS は、多くのセルフマネージド型クラウド製品

ウィスキー、シガー、パイプをこよなく愛する大栗です。 4月9日(現地時間)に開催れてれいるAWS Summit 2015 San Franciscoで共有ファイルストレージサービスが発表されましたので、ご紹介します。 2015/07/21 Widows用クライアントの記述に誤りがありましたので、内容を修正します。 共有ファイルストレージ AWSでは今までストレージザービスは以下の3種類が提供されていました。 S3：オブジェクトストレージ（OSでマウント不可） EBS：ブロックストレージ（OSでマウント可能） Glacier：アーカイブストレージ（OSでマウント不可） OSでマウント可能な物はEBSのみですが、複数のサーバで共有することができませんでした。そのため高可用性クラスタのシステムを構築するときには、独自にGlusterFSやCephでストレージを構築したり、DRBDでデータレプリケ

Amazon Elastic File System (EFS)が登場｜新しいクラウドストレージでセキュリティ強化がさらに確実に｜AWSを使い倒せ Amazon Elastic File System (EFS)の登場はかゆいところにより手が届く 2015年4月、AWSから新しいクラウドストレージサービスAmazon Elastic File System (EFS)が登場しました。今回はこのEFSのサービスについて、簡単に解説をさせてください(ちなみに「クラウドストレージ」の説明についてはこちらをご覧ください)。 ここで特徴をひとことでもうしあげますと「S3にEBSのエッセンスをとりこんでかゆいところにより手が届いているストレージ。でもお金はちょっと高い。殺し文句は”セキュリティ強化”」というサービスです。 これからユーザはファイルの保存場所を「S3」「EBS」「EFS」から選ぶ これま