二年前に取得した「AWS認定 ソリューションアーキテクト - アソシエイト（AWS Certified Solutions Architect - Associate）」（SAA）が失効しそうになっていたため、急遽、先月末の「AWS Summit Tokyo 2017」で再認定試験を受けてきました。 結果は合格だっ…

前々回の記事 および 前回の記事 で、Scrapy で Webスクレイピングしたデータを CSVファイルとして S3 に格納し、Amazon Athena のテーブルを作成して CSV のデータを流し込むところまでを実施しました。今回は、作成した Amazon Athena のテーブルをデータ…

前回の記事 で、Scrapy で Webスクレイピングしたデータを CSV形式で S3 に格納しました。今回は、S3 に格納した CSVファイルに対して、Amazon Athena を使ってデータ分析用のテーブルに取り込みたいと思います。 ＜過去記事＞ akiyoko.hatenablog.jp Amazon…

Python で Web クローリング・スクレイピングするためのツールといえば、 今や Scrapy が真っ先に候補に上がりますよね。 Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor 「Pythonクローリング&スクレイピング」という…

こんにちは、akiyoko です。Mezzanine は、まだまだ日本での認知度はイマイチですが、知る人ぞ知る Python製の WordPress風フルスタックCMSフレームワークです。akiyoko.hatenablog.jp 今年の 7月に、Mezzanine を使った某ブログサイト（将来的に ECサイトを…

こんにちは、akiyoko です。Mezzanine は Python製の WordPress風フルスタックCMSフレームワークですが、個人的にブログサイト（将来的には ECサイトを増設予定）を本番運用するために、昨年12月頃から調査をしてきました。akiyoko.hatenablog.jp それ以来い…

12/17 に AWS Webinar があったので、聴講してみました。 aws.typepad.com 主催： アマゾン ウェブ サービス ジャパン株式会社 対象： 技術者向け セミナー概要： Amazon Web Services（AWS）は、お客様が資産とデータを安全に管理、運用して いくための様々…

12/10 のランチタイムに AWS Webinar があったので、聴講してみました。 aws.typepad.com なぜ今 Big Data なのか？なぜ AWS なのか？について、Big Data on AWS の事例と関連サービスを紹介するということでした。 AWS初心者向けWebinar AWSでBig Data活用 …

この投稿は 「今年もやるよ！AWS Lambda縛り Advent Calendar 2015 - Qiita」 の 3日目の記事です。 1、2、3、ラムダーーーーーーー！！ 12/3 の記事ということではしゃいでしまいました。 とっとと始めます。。 はじめに これまで、「Boto3 で Elastic Tran…

この投稿は 「今年もやるよ！AWS Lambda縛り Advent Calendar 2015 - Qiita」 の 2日目の記事です。 はじめに 10月の re:Invent 2015 にて AWS Lambda の大幅アップデートが発表され、Node.js と Java のみが対応していた Lambda Function が Python に対応…

はじめに AWS で、ある決まったメールアドレスに何らかの通知をおこなう際には、Amazon SNS (Simple Notification Service) を使うのが簡単です。 何かを常にチェックして、ある条件が発生したらメールを送る、というのをやりたいというのはよくあること。し…

はじめに re:Invent 2015 で発表された「Python for Lambda」(Python Functions) により、Pythonコードが Lambda 上で実行できるようになりました。＜参考＞ AWS Lambda Update – Python, VPC, Increased Function Duration, Scheduling, and More | AWS Off…

タイトル ライブ配信サービス作ってみた Takusuta TechConf #1 - connpass （2015.10.26） 主催 株式会社タクスタ 会場 株式会社サイバーエージェント 渋谷区道玄坂1丁目12番1号（渋谷マークシティウエスト 13階） Twitter #TakusutaTechConf のツイート !fu…

久々に、Black Belt Tech Webinar に参加しました。10/6〜9 にラスベガスで開催された「re:Invent 2015」で新サービスがいろいろ発表された直後ということで、情報整理のためにも聴いてみることにしました。今回は特別に、複数のソリューションアーキテクト…

1. はじめに Aamazon Web Services（AWS）でプライベート動画のオンデマンド配信をするには、Amazon CloudFront の「署名付きURL（Signed URL）」という機能を使い、一定期間のみ有効となるワンタイムの URL を発行することで実現可能です。 プライベートオ…

1. はじめに Python のプログラムコードから（S3 や CloudFront などの）AWS のサービスを利用する場合には、Boto（あるいは次期バージョンの Boto3）を使います。 Boto boto: A Python interface to Amazon Web Services — boto v2.38.0Boto3 AWS SDK for P…

AWS から Eメールを送信する際のベストプラクティスという内容で、初心者向けの Webinar が開催されました。 概要は、以下の通りです。 8月11日(火) セミナー概要: Eメール送信は、ニュースレターやアカウント関連の通知等、さまざまな用途で使われています…

1. はじめに HLS (HTTP Live Streaming) 形式の動画は、Safari (on Mac) であれば、HTML5 の videoタグですんなり再生することができるのですが、それ以外のブラウザ、例えば Chrome (on Mac) や Chrome (on Windows) でも再生できるようにしたい場合にどう…

今回は、Amazon Elastic Transcoder を使って、AWSクラウド上で mp4動画を HLS形式に変換してみたいと思います。 1. はじめに 1.1. Amazon Elastic Transcoder とは Amazon Elastic Transcoder とは、様々なデバイスに対応した動画ファイルをトランスコード…

Black Belt Tech Webinar、3度目の参加です。AWS Summits 2015 | New York で発表された新サービス「Amazon API Gateway」の緊急特番が、7/15（水）のランチタイムに開催されました。 【Black Belt 緊急開催のお知らせ】AWS Black Belt Tech Webinar 2015 - …

前回に続いて、Black Belt Tech Webinar に二度目の参加です。 東京リージョンでも AWS Lambda が利用可能になったのを記念して（？）、緊急特番としてランチタイムに開催されました。【7/1(水)12時より緊急開催】AWS Black Belt Tech Webinar 2015 - AWS La…

参加してきました、と言っても、オンラインセミナー（Webinar）でしたが。 内容は、 6月17日(水) セミナー内容: AWSサービス及びリソースへのアクセスを安全にコントロールするためのAWS Identity and Access Management(IAM)はAWSにおけるセキュリティを考…

タイトルの通りですが、「AWS認定 ソリューションアーキテクト - アソシエイト試験（ASA）」に合格することができました。 そもそも、AWS の認定試験には現在、以下の 5種類が用意されています。 AWS 認定ソリューション DevOps エンジニア - プロフェッショ…

AWS Summit Tokyo 2015 の Day 2（2日目）に参加してきました。 今年は（今年も）業務の都合で一日だけの参加です。 AWS Summit Tokyo 2015 - クラウドで、未来を「今」に。- 2015年6月2～3日 グランドプリンスホテル新高輪にて開催 昨年に続いて、2回目の参…

先月19日に、AWS体験ハンズオンに初めて参加してきました。 5月19日 AWS体験ハンズオン ～セキュア&スケーラブルウェブサービス構築～(東京都) AWS Summit Tokyo 2015 で、「AWS 認定ソリューションアーキテクト – アソシエイト」を受験予定だったこともあり…

AWS で自己署名証明書（通称、オレオレ証明書）を使ってみようと思います。 自己署名証明書については、 オレオレ証明書をopensslで作る（詳細版） - ろば電子が詰まっているに全部書いてあります。 お急ぎの方は、以下3つだけやれば良い。これで10年間(3650…

AWS Summit Tokyo 2014 の1日目に参加してきました。 「AWS Summit Tokyo 2014」（2014.7.17） #awssummit 参加したセッションは、こんな感じです。 朝からずっと固いイスに座りっぱなしで、ケツが痛くて大変でした。。(ToT) 10:30 - 11:50 Day1 基調講演 〜…

先月行ってきた教育（＋AWS）関連のセミナーをもう一本。 備忘録です。 「Education on AWS 教育×クラウドの潮流」（2014.5.29） Education on AWS 教育 × クラウドの潮流 Mark Korver (Amazon Web Services, Inc.) アメリカ教育関係事業の担当（スタンフォ…

前回「「第21回 AWS User Group - Japan 東京勉強会」に参加してきました」からちょうど一ヶ月、今回も半蔵門直結のSAPビルで開催された AWS User Group の勉強会に参加してきました。 「第22回 AWS User Group - Japan 東京勉強会」（2014.6.20） #jawsug …

WordPress の「StaticPress」というプラグインを使って、WordPressのページを静的ファイルに変換して S3 にアップロードし、WordPress サイトを激安で運用しよう、というのが今回の主旨です。 きっかけは、@masuidrive さんの、 WordPressをStaticPress+Amaz…