sengiri_yamlとは？ 巨大なyamlファイルを1要素単位に分割したり、逆に分割されたyamlファイルを連結して1つの Hash や Array として扱うためのgemです。 https://github.com/sue445/sengiri_yaml https://rubygems.org/gems/sengiri_yaml キャベツの千切りみたいにyamlを細切りにすることをイメージしたgemです。1 使い方 yamlの分割 元ファイル

High Compute Queryは2017年11月に廃止になったので、この記事は過去の思い出です。 https://cloud.google.com/bigquery/docs/release-notes?hl=en#november_14_2017 今後はBillingTierが100を超えない限りは、特に料金が変わることはありません。 BillingTier100超えはかなりの無茶をしないと出てこないので、滅多に気にすることはありません。 ただ、単純なパフォーマンスチューニングとして、以下のノウハウはまだ役に立ちます。 High Compute Queryに備える！Dremelの気持ちになって考えるパフォーマンスチューニング 以下、過去の思い出話となった内容 BigQueryのQuery料金は今までどんな複雑なクエリを書いても、データを読み込んだ容量に対して料金が決定されていました

What is App Engine FE? App Engineのコンテナを、Dockerベースのものに差し替え、Compute Engineの上で動かす機能 旧 Managed VMs (Managed VMs誕生までの歴史を振り返る) App Engine Architecture App Engine Standard Environment 限定されたコンテナ runtime 縛り (Java, Python, Go, PHP) CPUはシングルコアのみ メモリの最大は1GB App Engine Standard Environment ミドルウェア利用不可 local file systemに書き込み不可 好きなportをlistenできない Compute Engine上にコンテナを立てる Dockerコンテナ 自由な世界 App EngineのAPIをそのまま使える ミド

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? [gcp ja night #28] (http://connpass.com/event/8120/) には、みんな大好きBrianが来て、MVMsについて語ってくれる予定です。 また、@ymotongpooさんもGAE/GoとManaged VMについてのSessionです。 今年のGoogle I/Oでも、Sessionがあり、徐々にリリースの足音が聞こえてきているMVMsですが、今まであまり気にしていなかった方や、普段GAEを使っていない方には、なぜMVMsが生まれたのかが、ピンと来ない方もいらっしゃるのではないでしょうか？ そ

これは、 qiita.com FUJITSU Advent Calendar2日目の記事です （はてブコメント付いて気が付きましたので追記しました。ありがとうございます） 急遽12/1の夕方に決まって始まったばかりで、どんな経緯だったかと少し 技術的内容じゃないって突っ込まれそうですが、大目に見てもらえることを期待して・・・ あと、これ書いて置かないと、社内からも何してんの？って内部から刺されるのでご理解をｗ Qiitaのadventじゃなくて、adventarで良かったんじゃないかとも思いつつ さて、始まって２日目ですが、すでに一日目がツッコミを食らっていたりしますね 富士通にアドベントカレンダー知ってる人なんていたんだな / “Fujitsu Advent Calendar 2016 - Qiita” https://t.co/z154mlNTZ3— よしなに (@hiragram)

はじめまして。リブセンスアドベントカレンダー1日目を担当させて頂きます masahixixi です。 早いもので弊社アドベントカレンダーも3年目を迎えることができ枚数も毎年1枚ずつ増えており大変順調に推移しております。それでは宜しくお願い致します。 2016年12月1日をマッスルエンジニアリング元年とする こちらの画像は、2016年11月30日にマッスルエンジニアリングで検索を行った際の結果です。 1年後どうなっているか今から非常に楽しみです。 以下より本題です。 マッスルエンジニアリングとは 私達が普段行っている、開発や運用にマッスルを用いることで開発効率を上げたり、より良い運用に貢献していくことを指します。一個体が持つ筋量を最大化することによって今まで実現できていなかった機能の実装や可用性向上に寄与していくものと考えています。 マッスルはいつもあなたのそばに あなたはこんなことを思った

この記事はリクルートライフスタイル Advent Calendar 2016の2日目の記事です。 はじめに 弊社ではログ収集にfluentd v0.12を主に使っており、システム自体はAWS上に構築しています。 fluentdのAggregatorには、ノードの追加がしやすいように負荷分散にELBを使う構成にしています。 ここ最近までは、複数のサービスからのログを1つのELBで受け、各Aggregatorノードで処理するという構成をとっていました。 ただログが増えてくると安定性に問題が出てきたため、その際に対策として行ったことについてまとめます。 やったこと 1. コネクション数とログ量のアンバランスを解消する fluentdのsecure-forward output pluginは、コネクションを切らずにログを送り続けます。 またELBは最もコネクション数が少ないノードへ接続を行う負荷

前書き このエントリーは Recruit Engineers Advent Calendar の 1日目の記事です。 www.adventar.org リクルートテクノロジーズのフロントエンド開発 リクルートテクノロジーズではいくつもの並行するタスクが走っていて、プラットフォーム基盤と呼ばれる基盤技術開発とインフラソリューションと呼ばれるインフラ開発、後はアプリケーション開発支援などのタスクが存在します。 アプリケーション開発支援の中でもウェブフロントエンド開発は目下のところ重要タスクとされており、色んなやり方をトライアルしています。 基本的には、 React Redux Node.js という組み合わせでフロントエンド開発をしています。 主には以前 ubb.jp というイベントで発表したこの資料に記載されている内容でやっていますが、諸々補足します。 リッチなウェブアプリケーションを作るた

昨日AWSウルトラクイズで優勝して浮かれている大栗です。 本日もre:Inventに参加しておりますが、Werner Vogels氏が話す2日目のKeynoteでEC2やオンプレミスサーバの管理を行う新サービスが発表されましたので、まとめてみます。 Amazon EC2 Systems Manager 機能 Amazon EC2 Systems Managerは新しいEC2やオンプレミスサーバを管理するサービスです。今まではSSM（Simple System Manager）というサービスがありましたが、SSMが持っているリモートコマンドの実行だけでなく、以下のような機能があります。 コマンド実行 EC2に対して様々なコマンドをリモートから実行できます。実行した内容はCloudTrailに記録されるため実行管理の監査も容易になります。既存のSSMの同等の機能のようです。 状態マネージャ ア

Amazon Web Services ブログ Lambda@Edge – プレビュー ちょうど先週、私が Hacker News上で書いたコメントがきっかけでAWSのお客様から興味深いメールを頂きました。 彼はS3上でホストしているシングルページのアプリケーションを動作させていて（こちらについてはAmazon S3で静的なWebサイトの運用が可能に をご覧下さい。）、Amazon CloudFrontを経由して少ないレイテンシーで提供していると教えてくれました。そのページは、AWS Elastic Beanstalk上でホストしているAPIを使って、それぞれのユーザー向けにカスタマイズして表示するいくつかの動的な要素を含みます。 彼が説明してくれた彼の課題はこちらです。 適切に検索エンジンのインデックスを取得するために、またFacebookやTwitterないで正しく表示するためのコンテ

昨日AWSウルトラクイズで優勝して浮かれている大栗です。 本日もre:Inventに参加しておりますが、Werner Vogels氏が話す2日目のKeynoteでAWS Lambda用のワークフロー管理を行う新サービスが発表されましたので、まとめてみます。 AWS Step Functions AWS Step Functions AWS Step Functionsとはビジュアライズなワークフローを使用して、分散アプリケーションとMicroservicesのコンポーネントを簡単にコーディネートできるサービスです。つまりLambdaなどを上手く連携させてステートマシンとして定義し実行させるサービスの様です。 Lambdaなどの各ファンクションを状態として考えてワークフローをステートマシンとして定義します。各ファンクションをシリアルに繋いだり、パラレルに繋いだり、条件分岐をステートマシンとし

［速報］AWS、オープンソースプロジェクトの「Blox」発表。Amazon EC2 Container Serviceのためのコンテナオーケストレーションツール。AWS re:Invent 2016 Amazon Web Servicesはラスベガスで開催中の年次イベント「AWS re:Invent 2016」において、AWS上のコンテナサービスであるAmazon EC2 Container Service（Amazon ECS）のためのコンテナオーケストレーションツール「Blox」をオープンソースで発表しました。 Bloxは現在2つのコンポーネントから構成されています。 1つは「cluster-state-service」で、イベントストリームからクラスタの状態を追跡し、状態をREST APIで取得できるもの。もう1つは「daemon-scheduler」で、コンテナに対してタスクの実行

AWS re:Invent 2016のDAY2キーノートにて、フルマネージドなデータカタログとETLサービスとなる『AWS Glue』のリリースが発表されました！ これまでの状況 AWSのデータ分析における各種サービスはこれまでに数多くリリース・展開されて来ていましたが、一連の流れで見てみると幾つかピースが欠けている部分がありました。 今回新たにリリースされた『AWS Glue』を適用する事で、その欠けたピースを全て埋める事が可能となります。 AWS Glueとは AWS Glueは、完全に管理されたETLサービスで、データストア間でデータを簡単に移動できます。 AWS Glueは、困難で時間のかかるデータの発見、変換、マッピング、およびジョブスケジューリングのタスクを簡素化し、自動化します。 AWS Glueは、使いやすいコンソールでデータを移動するプロセスをガイドし、データソースの理解

Amazon Web Services ブログ AWS CodeBuild ― フルマネージドのビルドサービス 開発者は通常、ソースコードの変更に対する継続的インテグレーションのビルドとテストを実行するために、共有のビルドサーバを構築し運用しなければいけません。継続的インテグレーションを運用するのは面倒なことなので、多くの開発者はそれを避けてローカルマシンでビルドを実行します。これによって、ある開発者の環境では動作するコードが最終的な本番環境ビルドで動作しないという状況が、しばしば引き起こされます。 多くの開発チームは、CI/CD（継続的インテグレーション / 継続的デプロイ）パイプラインの構成要素としてビルドファームを構築します。ビルドファームの構築と運用はコストが高く、また独特のスキルが求められます。普段はビルドファームはあまり使われていませんが、修羅場の時には利用率は100%に達し、

Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT