背景 AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめた AWSとGCPのアカウントの考え方の違い AWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウント GCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 with Googleアカウント) -> プロジェクト 会社のやつ -> プロジェクト 何の関係もない個人のやつ GCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は

AWS Summit Tokyo 2017 w/ https://speakerdeck.com/kanny http://www.awssummit.tokyo/summit/index.html

The Internet of Things on AWS – Official Blog Anomaly Detection Using AWS IoT and AWS Lambda September 8, 2021: Amazon Elasticsearch Service has been renamed to Amazon OpenSearch Service. See details. One of the biggest benefits of the Internet of Things (IoT) is the ability to get contextual insight from sensor data. Before you analyze sensor data, you may want to remove anomalies. Sometimes, tho

続いてテーブルを作ります。 CloudFront のログはタブ区切りの TSV 形式で、フィールドは全部で 24 個あります。 アクセスログ - ログファイル形式 TSV のフィールド名を小文字のアンダースコア区切りにして、テーブルのカラム名にしました。 CREATE EXTERNAL TABLE IF NOT EXISTS blog_manabusakai_com ( date DATE, time STRING, x_edge_location STRING, sc_bytes INT, c_ip STRING, cs_method STRING, cs_host STRING, cs_uri_stem STRING, sc_status INT, cs_referer STRING, cs_user_agent STRING, cs_uri_query STRING, cs_cook

こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは 本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go

P2 インスタンスのご利用が可能になりました。これは高パフォーマンスの GPU プロセッサと大規模な並列浮動小数点パフォーマンスを必要とする計算処理能力を集中的に使用するアプリケーション向けに設計した新しいインスタンスタイプです。P2 インスタンスは詳細な学習、計算流体力学、金融工学、耐震解析、分子モデリング、ゲノム、レンダリングなどのワークロードに最適です。DirectX と OpenGL を必要とするグラフィックスワークでは、引き続き G2 インスタンスを使用することができます。 P2 インスタンスはクラウド上でもっとも高機能な GPU 仮想マシンであり、16 NVIDIA Tesla® K80 GPU、合計 192GB のビデオメモリ、そして 4 万の並列処理コアが単精度浮動小数点パフォーマンスの 70 テラフロップスを提供、倍精度浮動小数点パフォーマンスでは 23 テラフロップスを

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

AWS News Blog User Defined Functions for Amazon Redshift The Amazon Redshift team is on a tear. They are listening to customer feedback and rolling out new features all the time! Below you will find an announcement of another powerful and highly anticipated new feature. — Jeff; Amazon Redshift makes it easy to launch a petabyte-scale data warehouse. For less than $1,000/Terabyte/year, you can focu

こんにちは＠oko_cangです。 前回のブログでPackerをとりあえず使ってみましたが、今回はもう少し作成するAMIに手を加える部分をまとめておきます。 前回の内容に付け加えるもの ルートデバイスのEBSを拡張してAMIを作る Amazon Linuxに簡単な初期設定を加える 公式で提供されているAmazon Linuxはルートボリュームのサイズが8GBのEBSを使用するので、これをもっと大きなEBSにします。 また、拡張したEBSをファイルシステムからも認識させたり、タイムゾーンを設定したりなど簡単な初期設定もした状態でAMIにします。 設定ファイル 実際に出来上がった、設定ファイルは以下の通りです。 作成するAMI名が前回と同じもにになっているので、適宜書き換えます。 ※access_keyとsecret_keyはそれぞれ自分のものに置き換えて下さい。 $ cat ~/.packe

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

AWS News Blog Amazon Machine Learning – Make Data-Driven Decisions at Scale Today, it is relatively straightforward and inexpensive to observe and collect vast amounts of operational data about a system, product, or process. Not surprisingly, there can be tremendous amounts of information buried within gigabytes of customer purchase data, web site navigation trails, or responses to email campaigns

情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり

どうも私です。久しぶりにやらかしてしまいました。 AWSの請求額、普段は子供のお小遣いレベルだったのですが。4万円という高額の請求がやってきました。 冗長な構成を試しに試したあと、インスタンスを消去せずに放置したらこのザマです。 しかしながら世の中には不正アクセスで何百万も請求されている方もいるようですので、4万円なんてカワイイ物なのでしょうけど。 というわけで今回はAWSの請求金額の監視とアラームをやってみたいと思います。 AWS Billing and Cost Management アラートをオンにするには AWS Management Console にサインインして、Billing and Cost Management コンソールを開きます（https://console.aws.amazon.com/billing/home#/）。 左ナビゲーションペインで [Prefere

AWSでは新規にアカウントを取得してから1年間、サービスごとに無料枠が用意されています。 私のような貧乏エンジニアはその枠を大いに利用させてもらって勉強したいと思うのですが、 AWSは従量課金のサービスなので、気づかぬ間に無料枠を超えてしまわないか心配です。 そんな人のためにAWSでは請求金額が一定金額に達した際にメールで通知される仕組みが用意されています。 AWSのアカウントをとった人はまず最初にこの設定をしておくことをオススメします。 設定手順 まずAWSにログインし、メニューバーの右の方にある自分のアカウント名をクリックし、 『Billing & Cost Management』を選択します。 画像の赤丸で囲った『Enable Now』をクリックします。 左メニューの『Preferences』でも大丈夫です。 画像にあるように下記順に実行 『Receive Billing Alert

Vagrant 1.1 がリリースされました。 Vagrant は仮想サーバーのフロントエンドのツール、詳しくは Vagrant - naoyaのはてなダイアリー あたりを。 で、この 1.1 が 1.0 → 1.1 という割に結構大きなアップデートで新しく VM に VirtualBox 以外のものが選択できるようになった。すなわち「VirtualBox のフロントエンド = Vagrant」から「各種仮想マシンのフロントエンド = Vagrant」という風にアップデートされた。 今回の 1.1 からVMを操作するproviderがプラグイン構造となり、VirtualBoxだけならず、公式で操作できる対象が増えました。 VirtualBox VMware Fusion Amazon EC2 + VPC Rackspace Cloud VMware Fusion以外はオープンソースで公開さ

こんにちは。ランチコンダクターです。 先日、第8回若手Webエンジニア交流会 #wakatewebにて 「vagrant-awsにプルリしたらマージされた話」をさせていただきました。 今回は、vagrant-awsの具体的な使い方をまとめてみます。 vagrant-awsとは 通常、VagrantはVirtualBoxのコントローラーとして使われていると思いますが、バージョン1.1からプラグインを使用することにより、様々な仮想化技術に対応した仮想マシンのコントローラーとなりました。 vagrant-awsは、VagrantでAWSを操作することができるようになるプラグインです。図で表すと以下のような感じになります。 AWSにて準備事項 事前準備としてAWS側での準備が必要なのですが、ここでは省略します。 とりあえず、以下を行っておけば最低限は大丈夫だと思います。 access_ke

ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の

インフラストラクチャー部 星野(@con_mame)です。 クックパッドでは、AWSを活用してサービスを行っています。 現在クックパッドでは、各種キャッシュにMemcachedやRedisを使用しています。 しかし、用途の多様化やアクセス数の増加などでこれらのサーバのインスタンス数が増加し管理コストが増加してきています。 特にRedisサーバのインスタンス数が増加しており、AWSのサービスの中でもキャッシュのサービスを提供しているElastiCache for Redisへの置換えを検討しています。 ElastiCache for Redisは、一部管理系のコマンドがrenameされており使用出来ませんが、通常のRedisと同じ物で、現在Version 2.6.13と2.8.6が使用出来ます。 SlaveにあたるものはReplication Groupという形で指定でき、Replicati