Kaggle Advent Calendar 13日目の投稿です。 初めまして、Lain（@lain_m21）と申します。Qiita初投稿です！ 今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。 先に結論からまとめておくと、 ローカルPCよりクラウドの計算資源をうまく使おう AWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ 今後のクラウドの環境構築をスムーズにするためにdockerを使おう といった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう！というのが趣旨になります。 一応順を追って説明しま

「サーバレスコンピューティング」や「サーバレスアーキテクチャ」といった言葉は、2014年にAWS Lambdaが発表され、その後広く普及したことで一気に注目を浴びるようになりました。 現在ではAWS Lambdaだけでなく、Microsoft AzureのAzure Functions、Google Cloud PlatformのGoogle Cloud Functions、IBM CloudのIBM Cloud Functionsなど、主要なクラウドサービスの多くでサーバレスコンピューティング環境が提供されています。 サーバがない、のではない。サーバ管理が不要ということ AWS Lambdaに代表されるサーバレスコンピューティング環境は、一般にユーザーがあらかじめ用意しておいた関数を、イベントをトリガーとして実行することで何らかの処理を行うFunction as a Service的なア

ファーストサーバのZenlogic、ストレージ障害の原因は想定以上の負荷、対策したはずの設定にミスがあったため長期化 ファーストサーバが提供しているホスティングサービス「Zenlogic」は、6月下旬から断続的に生じていたストレージ障害に対応するためのメンテナンスが終了の見通しも立たないほど難航し、結局、メンテナンス開始から3日後の夜にようやくサービスが再開されるという事象を起こしました。 参考：ファーストサーバのレンタルサーバ「Zenlogic」、金曜夜からの全面サービス停止が解けず、いまだ停止中。ストレージ障害のためのメンテナンスで（追記あり） － Publickey サービス再開から約1週間が経過した7月17日、同社はストレージ障害に関する原因およびメンテナンスによるサービス停止が長期化してしまった原因、再発防止策についての報告書を明らかにしました。 報告によると、ストレージ障害の直

1時間6.5ドルでAIを開発できる時代へ――TPUをクラウドで提供したGoogleの真意：画像認識や音声認識にすぐ使える「リファレンスモデル」も公開（1/2 ページ） Googleは2018年6月27日、「Cloud TPU」の本番公開に踏み切った。これは、同社の機械学習用ライブラリ「TensorFlow」の処理を高速化するプロセッサ「TPU」のクラウド版だ。「TPUは外販しない。あくまでクラウドで提供する」と同社が強調する理由とは一体何か。 「従来あった『大規模な投資ができる企業でないと、AIは使えない』というイメージを変えたい。だからこそ、TPUの外部向け販売はせず、顧客にとってメリットの大きいクラウドの形式で提供する」――グーグルでGoogle Cloudのデベロッパーアドボケイトを務める佐藤一憲氏は、2018年7月6日に同社が開いたメディアセミナーに登壇し、そう語った。 Googl

GoogleがフルマネージドなRedis、「Cloud Memorystore」をGoogle Cloud Platformで提供 RedisはNoSQLのインメモリデータベースもしくは分散インメモリキャッシュなどとして利用されるオープンソースのソフトウェアです。 その名の通り基本的にすべてのデータがメモリ上に保持されるため、データの書き込み、読み出しなどの処理が非常に高速に実行できるだけでなく、複数のインスタンスを組み合わせて分散処理させることができるため、処理するデータの大きさや負荷に合わせてスケールさせることもができることも大きな特徴です。 そのため、リアルタイムに近い高速な反応が要求されるアプリケーションのバックエンドやキャッシュなどとして利用されています。 インスタンスは最大300GB、12Gbpsのスループットまでサポート 今回Googleが発表したCloud Memoryst

「ほんまに運用できるの？」毎秒6000イベントをミリsec対応するウェブサービスを、マルチクラウドで構築した話を聞いてきた #devsumi 最近、結構な頻度で聞くようになってきた「マルチクラウド」という単語。 いろんなクラウドの良いとこ取りができるのでメリットしかなさそうだけれど、運用・保守面含めて、「そんな簡単じゃないやろ〜」と一歩引いた視点で自分はみていました。 恐らく、Developers Summit 2018において、マルチクラウドというテーマで話されていたのは、このセッションだけじゃないでしょうか。 結論から言うとすっごい面白かったです。マルチクラウドで構成組む時に必ず出てきそうな問題点の解説もあり、非常に貴重なノウハウが満載なセッションでした。 __ （祭） ∧ ∧ Y　 ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉     ﾏﾙﾁｸﾗｳﾄﾞﾀﾞ ﾜｯｼｮｲ |_|＿| し'´Ｊ 講

日本からre:Inventを眺めていた雑感です。速報で2つほど新サービスに対しての感想をまとめていますが、今回は全体的なトレンドに対して今考えている事です。今回は1行じゃないですよ。 サービス展開の方向は、全方位的 サービスの展開方向としては、去年と変わらないような気がします。他のクラウド（Google, Azure）に対して弱かった部分をきっちりキャッチアップし、伸びている分野（AI・機械学習）のラインナップを増やしていく。そして、サードパーティが提供している機能に対して、一定以上の規模が出てくると（買収 or 自社開発で）サービス化する。いわゆるサードパーティ殺し。 そんな中で提供されているサービスの作り方／インフラ的な部分を見てみると、コンテナとサーバレス（lambda）を使った物が多いです。AWS自身がコンテナとサーバレスを活用することで、開発を加速しサービスをスケールしやすくして

もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対

2017/4/22 Japan Azure User Group (JAZUG) Global Azure Bootcamp 2017 @ Tokyo https://jazug.connpass.com/event/52917/Read less

遅めですが明けましておめでとうございます。そんな感じで。 基本的に社内向け。あとは特定のお客さん向け。 自分の意見を詳記しとく。あとこれは日本の話で、海外の状況は知りません。 ■「パブリック」クラウド ここでは、大規模メガクラウドを指す。よって、AWS・Azureあたりを考えている。国内クラウドとは明確に規模・技術力で差がついており、はっきり分けるべきと思っているので、ここではAWS・Azureとしている。多分SalesforceとかIBMのやつも入るとは思う。Googleのクラウドについては技術はぶっちぎりだけど、一般民間人には意図していること天才すぎて理解できる気がしないので範囲外とする。 基本的に「所有より利用を」コンセプトにし、使いやすさと低コストを全面に打ち出し、トレードオフとして共有故の仕組み/運用の「ある種の不透明性」を要求する仕組み。なお、不透明性ってのは、これは提供者の企

こんにちは、はるかさんです。 今日からはじまるピクシブ株式会社Advent Calendar 2015、1日目を担当することになりました。 先日娘に本物のアドベントカレンダーを買ってあげた訳ですが、意外と高いので来年は使い回せるように丁寧に使わせようと思っています。 さて、ピクシブ株式会社では現在10を越えるサービスが運用されており、それらを支える様々な社内ツールが存在します。 アドベントカレンダー初日の今日はこれらのシステムがどういったところで動いているか、簡単に紹介しようと思います。 クラウドサービスの利用 面接の際によく聞かれる質問の1つが「ピクシブはなぜクラウドを使ってないんですか？」という質問です。 今年だけでも10回くらいは回答しましたが、結論から言えばピクシブでは所謂クラウドサービスをいくつも利用しています。 いくつかの例を見てみましょう。 Google Analyticsと

AWSを使い始めて約一年が経過したので、この一年を振り返ってみて、最初から知ってた方が良かったな〜と思ったポイントをピックアップしてみました。 IAMロールはName変えられないし付け替えもできない件勢いだけで作ったIAMロールを付与して意気揚々と運用開始！数ヶ月後に付け替えできない事に気付いて、ec2ctrlとかいかにもEC2インスタンスをコントロールするためのロールなのに、なぜかS3の全権限付与してたり、もはや名前から予測できない事態になってしまったという話。 まぁ、別にオオゴトでは無いんですけどね。インスタンス作り直せば付け替えできるし、新しいロール作ってインスタンス作り直せばいいだけの話です。やるかやらないか。 やりませんけど！ VPCでVPN接続はリージョン毎に１つしか設定できなかった件IDC側のグローバルIPが複数用意できない前提ですが、IDCとAWS(VPC)間でのVPN接続

ソニー銀行は金融機関としてAmazonクラウドをどう評価し導入したのか？ AWS Summit Tokyo 2014 7月17日と18日の2日間にわたって都内で開催された「AWS Summit Tokyo 2014」での大きなトピックは、金融機関がクラウドの採用を明らかにしたことでした。1日目の基調講演ではマネックスグループ代表執行役社長CEOの松本大氏が登壇し、クラウドの採用を表明。 そして2日目のセッションでは、ソニー銀行のシステム企画部 マネージャー 基盤統括担当 大久保光伸氏が、同社によるAmazonクラウドの評価と導入について詳しい説明を行いました。 1年前のAWS Summit Tokyo 2013は、企業の基幹業務をクラウドへ移行する事例が相次いで発表されたイベントでした。それから1年がたち、金融機関もついにクラウドを基盤として採用し始めたことになります。 本記事では、ソニー

2013年の夏・秋の状況の整理として記録しておきます。数年したら変わっているか、そもそも自分の仮説が違うかわかるのでそのポイントとしても記述しておきます。 4月以降、「業務系システムのクラウド化」ということで、顧客各社やマーケットへのヒアリングを行ってきています。対象はいわゆるWeb系は除いてあります。曖昧な言い方になりますが一般に「IT業界でエンタープライズ」と言われるセグメントにフォーカスしています。結果としてわかったのは、企業のクラウド利用についての意識は、言われているほどには高くはない、というのが現状です。ただし、これは一様に低い、ということではなく、かなり業界やセグメントや企業規模によって違いがあります。この違いの要因と今後どのようなところに影響するのか、というのが興味の焦点です。尚、これは自分個人の印象や某社でのヒアリングの整理のみをよりどころにしているので、たかだか200社弱

Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデプロイとはどういうものか？ AWS re:Invent基調講演（Day2 AM） クラウドによってリソースの制約から解放され、サーバやネットワークを含む冗長性までプログラミング可能になった新しい世界では、どのような考えによってソフトウェアを構築すべきなのか。 Amazon.com CTOのWerner Vogels氏は、Amazon Web Servicesが先週ラスベガスで開催したイベント「AWS re:Invent」2日目午前中の基調講演で、新しい時代のアーキテクチャとはどういうものなのか、聴衆に向けてたっぷりと解説しました。 （本記事は「AmazonクラウドのCTO「クラウドネイティブなアーキテクチャには4つの戒律がある」。AWS re:Invent基調講演（Day2 AM）」の続きです。 戒律その2「リジリエ

Amazonクラウドで国内金融機関の安全基準は満たせる。SCSK、ISID、NRIの3社が調査結果を公開 しかしSCSK、電通国際情報サービス（ISID）、野村総合研究所（NRI）の3社は、金融庁の外郭団体である金融情報システムセンター（FISC）が策定したセキュリティに関する自主基準「金融機関等コンピュータシステムの安全対策基準」について、Amazonクラウドで対応するためのガイドライン「金融機関向け『Amazon Web Services』対応セキュリティリファレンス」（以下、セキュリティリファレンス）を公開しました。 セキュリティリファレンスは、全部で295305項目あるFISCの安全対策基準の項目それぞれについて、クラウド事業者であるAmazonクラウドの対応とSI事業者や利用者での対応を調査してまとめたもの。「ATM（自動現金預け払い機）のような、クラウドとは関係ないものは対象外

2010年9月にはてなの最高技術責任者（CTO）に就任した田中慎司です。はてなの技術全般を見ていく仕事をしています。現在の筆者が注目する技術の一つがクラウドで、はてなのサービスでも利用を始めています。クラウドの技術というと、アプリケーションの実行環境が取り上げられがちです。筆者も2010年3月にセミナーで講演したり、クラウドについてのエントリーを書いたりしました。今回は、クラウドの利用で見逃せないもう一つの部分、クラウドのストレージサービスを、クラウドの利用を検討するエンジニア向けに解説します。 ■ クラウドのストレージサービスとは はてなのようなWebサービスを実現するには、ざっくりいって2種類の環境を用意する必要があります。一つは、サービスを動かすためのアプリケーションを実行するサーバ環境で、もう一つがユーザからアップロードされる多数のコンテンツを保存するストレージ環境です。Micro

Web 2.0の特徴とされる「永遠のベータ」。その典型的サービスの1つと見られていたアマゾンのクラウドサービス「Amazon Web Services」（以下、AWS）が2008年10月23日、ついにベータの冠を取って正式サービスとなった。同時に99.95％のアップタイムを保証するSLA（サービス品質保証契約）の提供も開始した。 Amazon Web Servicesの転回点を告げる3つの発表 クラウドコンピューティングの狭義の定義として「PaaS」（Platform as a Service）を使えば、現在急速に技術・サービスの拡張を続けているビッグプレーヤーは、グーグル、アマゾン、マイクロソフト、セールスフォースの4社だろう。 PaaSとは、ハードウェアやOSとは無関係に、インターネット上のサーバ群を使ってソフトウェアを実行するプラットフォームを実現、提供するサービスのことだ。もちろん