こんにちは、せーのです。今日はKinesis Firehoseになかなか強力な機能が追加されたのでご紹介します。 これを待っていた 今回ご紹介するのは「データ変換機能」です。所謂ETL(Extract、Transform、Load）処理と言われるもので、流れてくるデータを使いやすい形に加工した上で対象となるデータベースやデータレイクに書き出すものです。 例えばApacheのログデータをS3に蓄積しておいて、後ほど分析に使いたいとします。Apacheのログってこんな感じですよね。 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 この状態でS3に入っていた場合、分析に使うには一旦このデータをどこかのサーバに取り出し、分析用に加工して、もう一度データを貯め直す必要があります

VAddyとCSRFトークン VAddyは脆弱性診断を実行する際に、CSRFトークンを最新のものに更新しながら動作します。そのため「どのパラメータがCSRFトークンか？」を判断するロジックが存在しています。最近あるフレームワーク（後述）について「CSRFトークンを正しく認識できない」というバグを修正したのですが、良い機会なのでメジャーなフレームワークやCMSを中心にCSRFトークンの実装をざっと追ってみました。一覧にしても面白くないので、仮想インタビュー形式にまとめてあります。GitHub上で軽く追ったものが多いので、最新のバージョンでなかったり、解釈が間違っている箇所があるかもしれません。 それでは、どうぞ。 Ruby on Rails 金床(以下、金)「こんにちは。ようこそ。」 RoR「こんにちは」 金「相変わらずシェア高いようですね。」 RoR「はい、おかげさまで。この間はルマン24

Slackの仕様変更に追従することに心が折れたので公開停止しました。 ご迷惑をおかけして申し訳ありません。 これはSlack Advent Calendar 2016の22日目の記事です。 Slackを使っていて、こんな不便を感じたことはありませんか？ 特定のメッセージに対して返信したいのに、返信ボタンが無い… いくら補完があるとは言え、@user-nameを打ち込むのが大変 素早く引用ができない これらの問題を解決するGoogle Chromeの拡張を開発しました Chromeウェブストアに公開しているので、↓のページから誰でも簡単に導入できます Slack 返信引用ボタン(Slack Reply and Quote Button) - Chrome ウェブストア もし気に入っていただけたら、レビューお願いします 機能紹介 以下の3種類のボタンがあります。 Mentionボタンを使うと、

$ node -v v6.9.1 $ npm -v v4.0.3 $ yarn -V v0.17.9 $ rm -rf ~/.npm ~/.yarn ~/Library/Caches/Yarn # キャッシュなどを削除 $ time npm install ... npm install 34.90s user 10.77s system 103% cpu 44.206 total $ rm -rf node_modules $ time yarn install ... yarn install 12.26s user 7.28s system 71% cpu 27.494 total 今回、yarnはなぜ速いかを探ってみたいと思います。 公式の説明 速度に関する部分だけ抜き出してみます。 オフラインモード 一度ダウンロードした package はキャッシュされ二度目はダウンロードされな

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はProduct Manager Advent Calendar 2016の21日目の記事です。 SkyWayのプロダクトマネージャーをしている@mizuman_です。 ※この発言は個人の見解であr(ry ふとアドベントカレンダーを覗いたら、明日（というか今日）の枠が空いていたので先日行ったチームビルディング合宿について書いてみます。 1行にまとめると、「心理的安全性を高めて、議論が活発になるチームビルディング」です。 新しいチームをこれから作ろうとしている方 リモートワーク中心のチームの方 チーム内で意見を出す人（声の大きい人

Again, we try to avoid most established choices such as Django, Flask, etc. that are kind of standard nowadays. Also, some of these libraries date prior to 2016, but either they had an explosion in popularity this year or we think they are great enough to deserve the spot. Here we go! 1. ZappaSince the release of AWS Lambda (and others that have followed), all the rage has been about serverless ar

Slack 用の感謝管理ツール gas_karma を作りました。 gas_karma は Google Apps Script（GAS） と Slack の Slash コマンドを利用して 感謝を管理するツールです。 機能としては ruboty-karma の GAS 版という位置づけです。 ruboty-karma とは？ ruboty-karma とは感謝を送り、それを確認可能にする ruboty plugin です。 詳しくは作者である id:hkdnet さんの記事をご確認ください。 hkdnet.hatenablog.com ruboty との差 GAS＋Slack(Slashコマンド)は無料でできるのがポイントです。 ruboty も heroku に 1インスタンスであれば無料範囲で利用できますが、 複数の Slack を管理していて、それぞれにボットが欲しくなった場合はお

Note: I am a Product Manager working on the Google Assistant and am very excited to see developers Start building Actions on Google. But it is not just developers, everyone’s an expert at something and now you can share that expertise on Google Home with the Google Assistant and API.AI no coding required! Absolutely free and can take less than 1 hour. There are three steps: Design the conversation

Alongside Alexa and Siri, Google Assistant reigns as one of the most popular smart assistants on the market. It finds a home in compatible devices as diverse as smartwatches, phones, smart speakers, and beyond. In addition to the devices it's built into, Google Assistant has integrations with hundreds, if not thousands, of other smart devices and services. What follows is a list of some of our fav

こんにちは、大雪で飛行機が欠航になって自宅でブログを書いているせーのです。今日は出たばかりの新サービス「QuickSight」の新機能のご紹介です。 QuickSightとAthena QuickSightは様々なデータを簡単な操作でグラフとして表示できるBIツールです。このブログを見ている方はちょうどQuickSightのアドベントカレンダーをやっていたのでよく目にしているサービスかと思います。QuickSightを使うとこんなグラフが書けます。 カラフルでいい感じですね。 一方AthenaはS3に入っているデータを標準SQLを使って分析することができるサービスです。Athenaにテーブルを作り、S3のバケットを指定してSQLを流すと欲しいデータが引っかかります。つまり、S3にとにかく何も考えずにデータを投げ込んでおいて、後でAthenaを使って必要なデータだけを拾い上げていく、という方

Let’s make 2021… fast! An annual front-end performance checklist (available as PDF, Apple Pages, MS Word), with everything you need to know to create fast experiences on the web today, from metrics to tooling and front-end techniques. Updated since 2016. Ah, you can also get useful front-end tips in our email newsletter. This guide has been kindly supported by our friends at LogRocket, a service t

こんにちは。Relicの北嶋です。前回までは「失敗」に焦点を当てていましたので、今回は「どんな新規事業がうまく行ったか？」について、紹介したいと思います。 （写真は弊社CTOの大庭です） 一つの事例として、最近ご相談が多いのは「SIer」いわゆるシステム開発会社です。 業界を取り巻く状況としては、クラウドやWEBサービスの台頭で大型システム案件が先細り、かつシステム開発者の派遣ビジネスなど、労働集約的な業務が増えているなど、将来性から見るとあまり芳しくありません。 そのような状況ですから「なんとか労働集約的な会社から脱却したい」と、活路を「新規事業」に見出す会社も少なくありません。 このような会社の場合、技術者派遣で手堅く儲け、余剰資金で「パッケージ化/ASP化」でスケーラビリティのある事業を目指すのが王道のアプローチであり、比較的リスクも少ないのではないかと思います。 我々がご相談を頂い

〜2016年8月にデザインリニューアルを遂げた、サイボウズ社の「kintone」。そのデザイン改修プロセスに迫る〜 サイボウズ株式会社が運営する、ビジネスアプリ作成プラットフォーム「kintone」は、2016年8月にアプリ作成画面のデザインをリニューアルした。 その画面デザインをしたのが、デザイングループでマネージャーを務める、柴田 哲史さん。ユーザーヒアリング、プロトタイピング、ユーザビリティテストを重ね、1年がかりのリニューアルプロジェクトを成功させた。 その結果、海外で不評だったデザインはシンプルでわかりやすいものになり、アプリの作成時間も30%削減されるという効果も出たという。 ▼新デザインのkintone 今回は柴田さんに、リニューアルを進める上で実施した、プロトタイピングやユーザビリティテストのコツについて、詳しく伺った。 米国マイクロソフトでユーザビリティを学び、日本にも展

はじめに SIerに勤めるエンジニアです。 プロジェクトでの学びを勉強会やブログなどで発信していたことを評価してもらい、最近広報エンジニアという役割をもって働くことになりました。 ただ、広報エンジニアという役割が会社・部門にはなく、ミッションや活動内容の検討から始めました。 まだ着任して2ヶ月ですが、ある程度活動内容がかたまり、成果も見えてきたので、自分のなかの整理も含めてまとめました。 漫然と過ごすと起こること 広報エンジニアという役割になる前は、プロジェクトやシステムをより良いものにするためにはどうしたら良いだろうと考えてはいましたが、プロジェクト全体の目的を振り返ることはほとんどなく、ただ漫然と日々の業務を遂行する日々でした。 プロジェクトの計画時にプロジェクト目標を決めますが、日々の生活で忘れ去られてしまい、プロジェクト完了時のふりかえりでは以下のようなことがしばしば起こっていまし

本稿は良いDockerイメージを良い方法でビルドすることを探求した記録である。 Supership株式会社 Advent Calendar 2016の21日目にあたる。 2019年現在は@inductor氏の改訂版を見たほうが良い。 この記事で論じた望ましいコンテナイメージの姿は2019年でも変わらない。ただし、multi-stage buildのような新しい仕組みが普及したりツールの評価が定まってきたりと、実現に用いるツールの状況が2016年からやや変化している。 良いDockerイメージ 良いDockerイメージとは何だろうか。Dockerの利点は次のようなものだから、それを活かすイメージが良いものであるに違いない。 ビルドしたイメージはどこでも動く 適切にインストールされ、設定されたアプリケーションをそのままどこにでも持っていける。 コンテナ同士が干渉し合うことはないので、任意のイメ

はじめに 2016年12月現在、SlackAPIでは公式に全チャンネルの全発言をリアルタイムに取得する方法が用意されていません。 つまりこれはSlackが我々に叩きつけた挑戦状ではないでしょうか？（？） 全能感を味わうツールを作りたかった私は試行錯誤の上、検索APIを利用する方法で全チャンネルの全発言を取得することができたので、今回作ったツールを含め紹介します。 slackの検索APIについて https://api.slack.com/methods/search.all を使用します。 実は中身は… この検索APIのバックエンド実はsolrなんです！様々なクエリを投げていろいろ実験してるときに白状しました！ このリクエストは - 昨日以降の発言 - タイムスタンプでソート とだけ指定してSlackの検索APIを殴っています。 なんとこれだけで、10秒くらいの遅延はあるもののほぼリアルタ

組織内で乱立するWebサイトを狙う攻撃が増加 情シスが実践すべき「脆弱性管理」とは？ 外部IT資産の可視化における課題やASMの重要性と実行方法を、ASMに関する具体的な手法を交えて4つのステップで分かりやすく解説します。

チーム開発をやっていると特定の処理を呼び出す際にインターフェイスを明示することがとても重要になってきます。言い換えると使い方がきちんと示されていることが最低ラインということです。ドキュメントは実際の処理と乖離しますし、各人がソースコードの処理を追わなければならないというのはチームでやっている意味がありません。 ところが JavaScript にはそういった仕組みが存在しません。どういった処理をするのかを表すための関数名は指定できますが、 JavaScript では関数を任意の名前の変数に代入できるので実はあまり役に立ちません。 といった状況にあった JavaScript ですが、昨今のツールの登場によって事情が変わってきました。 JavaScript でもインターフェイスを明示しながら開発するにはどうすればいいかを要素技術と一緒に書いていきます。

2016/12/19 React LT 忘年会のLT資料です。

pepabo Advent Calendar 2016 これは pepabo Advent Calendar 2016 の12月20日の担当エントリです。今日はわたくし june29 が書きます。 きのうは @takumakume さんによる技術を共有し高め合う！ホスティング事業部でTech MTGを開催しましたでした。最近のホスティング事業部は勢いがあって素敵〜と思いつつ、本社事業部も負けていられないのでウオーという感じです。やっていきましょう。 さて今回は、2016年の社内コミュニケーションはどんなだったかな？というところに興味をもっていろいろと遊んでみたので、その一部をみなさんに紹介します。 2016年のペパボの Slack の発言データを眺めてみた 弊社ではすべてのスタッフが Slack を用いて日々のコミュニケーションを行っているので、これを見たらなにかわかるだろうということで、

はじめに こんにちは！Supershipの永田ゆにこです！「Supership株式会社 Advent Calendar 2016」の20日目を担当します（^o^）今年は会社のやつに参加するぞ〜！ これからマネジメントやらなきゃいけない人や、同じように困ってる人にぜひ読んでほしい！めちゃくちゃ長いです。 前置きと振り返り さて、これまでは二年連続でGitに関することを書いてきました。Gitが使えるデザイナーブランディングをしていたんですね〜。いまやデザイナーの人がGit使うのは普通になってきた印象です。便利すよねえ。 去年の書いたのはこれ Gitとわたしとデザイナーと 〜2015年Gitの思い出〜 その前書いたのはこれ デザイナーがこうやってGit覚えて大好きになったよ♡ てな感じで少し前はデザイナー&ディレクターをしていたのですが、最近はだんだんプロデューサー&マネージャーぽい感じに変わっ

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

ども、@kimihom です。 よくエンジニアと話していると、「~を作ろうと思ってるんだよね」とか「今 ~ を作ってるんだよね」とかそんな話をよく聞く。私はこれらの話を信じないようにしている。なぜなら、そのほとんどが情熱半ばで止まってしまったり、作ったとしても自己満のレベルで止まってしまったりするからである。 一人で作りきることができて、ユーザーに使ってもらえるレベルまで成長させるのは、当然ながら難しい。でも、そこまで行けばちゃんとそのアプリやサービスをメンテナンスしようと思うし、ユーザーからの声を聞くことになる。大変だけどもやりがいのある趣味になるし、収益化を狙うことだってできる。自己満で終わりじゃなく、みんなに使ってもらって満足させられたなら、開発者として幸せなことではないか。そこまでやって初めて、"個人プロダクト開発が成功した"と言えると考えている。 今回は、一人で色々なアプリケーシ

Shippai Night https://speee.connpass.com/event/46423/ 「クックパッドが失敗から学ぶために行っている取り組み」

Webアプリケーション開発についての知見を、自分の経験と知識をベースに整理してみようという試みです。 いわゆるサーバサイドにスコープを絞り、フロントエンドは対象外です。筆者は普段、オブジェクト指向言語で書いているので、本記事でもその前提（Ruby、PHP、Python、Java、Scalaあたりを想定）になっています。 では、本編をどうぞ。 ソフトウェア開発は複雑さとの戦い 『人月の神話』では、ソフトウェアの本質的な困難性について4つの性質をあげている。その中で最初に出てくるのが「複雑性」である。『新人プログラマに知っておいてもらいたい人類がオブジェクト指向を手に入れるまでの軌跡』なんか読んでもらえると、ソフトウェアの複雑性と戦うために、人類が生み出してきた発明の数々が説明されている。 では、複雑さとは何か？もう少し掘り下げて考えてみよう。 複雑さの正体 Webアプリケーションが複雑になる

プロダクトに関わるエンジニアは40人近くいて、弊社ではフロントエンド/サーバーサイドといった明確な線引きがないため全員がフロントエンドに触れる機会が有りえます。開発チーム・コード共にそれなりに大規模と言えるのではないでしょうか。 やったこと モジュール間の依存解決 もともとRailsのSprocketsに沿ってjsを書いていたため、classは全て一つのグローバル変数に格納され、全てのjsが結合された巨大なapplication.jsをロードしている状態で、メンテナビリティやパフォーマンスに大きな問題を抱えていました。そこで去年よりWebpackを導入し、各モジュールの依存関係を整理してjsファイルを適切な単位に分割するようにしました。ファイル数が多いため段階的に作業をつづけ、今年ようやく全てのファイルの依存解決が完了することができました。 過渡期はWebpackとSprockets両方か

2016 - 12 - 19 Slackでtimesを駆使してコミュニケーションをドライブさせるのと、霊圧重要よねっていう話 Slack プロジェクト この記事は Slack Advent Calendar 2016 の19日目の記事です。 というわけでプロジェクトでやってるSlackを使ったtimesの運用について雑に紹介します。 チームtimes チームでのtimesというのを今年の夏くらいから始めてます。ここで言うチームとは、プロジェクト内での担当領域に相当して、例えば自分のとこはざっくり言うとサーバサイドなので #times_server というチームtimesチャンネルを用意してます。 用途としては 日々の進捗共有 で、 毎朝作業開始時と終業時に各自が書く ようにしてます。日報的な役割を果たしていると思えばいいです。 第1形態（お天気マーク） 最初の頃は以下のような感じ。 単純に

Yuki Takei(noppoMan) @Tokyo-Server-Side Swift Meetup#5 Dec, 19, 2016

この記事は クラウドワークス Advent Calendar 2016 19日目の記事です。 昨年の、あるエンジニアの緩慢な死、あるいはエンジニア35歳定年説。に引き続き、エンジニアのキャリアについて書いてみます。 クラウドワークスにおけるエンジニアの3つのキャリア 当社では、エンジニアのキャリアを以下の3本の柱で考えています。 技術（アーキテクトやCTOを目指す） プロダクト（PO・PMを目指す） マネジメント（マネージャー・VP of Engineeringを目指す） 「技術」のキャリア 基本的に、多くのエンジニアはこのキャリアを望みます。エンジニアなので当たり前と言えば当たり前ですが。ただしその一方で、多くのエンジニアは、30歳前後でキャリアに悩む時期が訪れるように感じます。 一般的に、年齢が上がると「マネジメント」を求められるようになる、という環境のせいもあります。結婚（あるいは同

この記事は Git Advent Calendar 2016 の 20 日目です。git コマンドを日常的に実行するわけですが、外部スクリプトなどで個人的に日々改善しているお話についてまとめてみました。 ブランチ切り替えを手早くする git オペレーションで add,commit 並に多用すると思うのがブランチ切り替えで、特に remote にある branch の切り替えなどをショートカットしたくスクリプトを書きました。 $ git br で fzf/peco などのフィルタで切り替えてくれます。ブランチ切り替え系はよくある tips なのですが、何が便利かというと、remotes/origin/HOGE などのリモートにしかないブランチは git checkout -b HOGE remote/origin/HOGE してくれるようになっているので気にせずに checkout できます

Over the past few years, Facebook’s Open Source program has grown into one of the largest and most active portfolios in the industry. In 2016, we launched 77 new projects, and our contributors made 60,000 commits. With nearly 400 projects and more than 500,000 followers across our entire portfolio, Facebook is committed to maintaining the stability and quality of our projects, and to supporting th

<2018/03/08追記> 2018年3月、Lambda@Edgeを使った画像リサイズのソリューションがAWSの公式ブログにて紹介されました。 - Amazon CloudFront & Lambda@Edge で画像をリサイズする - Amazon Web Services ブログ 今後サーバレスな画像リサイズ処理について検討する場合は、上のブログ記事を参照されることをお勧めいたします。 </追記> 2016年11月に Amazon API Gatewayがバイナリデータに対応したので、Amazon CloudFront、AWS Lambda、Amazon S3を組み合わせて、フルマネージドな画像変換（リサイズ）APIを作ってみる。 やりたいこと URL中のパスで指定したファイルを、クエリパラメータで指定したサイズ（今回は幅のみ指定）に変換して返す。 例えば HTML中にimgタグで

さて、新しい一日の始まりだ。今日も攻めの姿勢で頑張っていきたい。朝食と出来たてのコーヒーを飲みながら朝の経済ニュース番組を熱心に見る。そうか、昨日の欧米ではこんなことがあったのね。短時間で色々なニュースを知ることができ、満足した気持ちで家を出る。できるヤツはスタートダッシュから違うぜ。 電車の中では習慣となっている日経新聞を隅々まで読む。朝刊は量が多く、１時間近くかかってしまうが、経済情報ソースとしてはこれ以上の媒体はないだろう。時間が余ったときは英語の勉強も兼ねて購読を始めたFinancial Timesにも目を通す。こうやって、国内外の様々な業界の情報を毎日インプットし続けることで、ビジネスパーソンとしての教養が身につくだろうし、いつか脳の中で何かがSparkしてレベルの高いアイディアが続々と生まれるに違いないぜ。 もちろん昼食の時間も貴重だ。１人のときは昼食をとりながら情報収集。愛用