はじめに この記事はEnigmo Advent Calendar 2018の11日目です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスのアクセスログやサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期にはApache Airflowを使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、pythonでワークフロー（DAG）を定義すると、そのとおりにタスク(オペレーター)　をスケジューリングして起動してくれるツールです。GCPでもGKE上でAirflowを動かすCloud Composerというサービスが提供されていてご存知の方も多いと思います。 データの処理の単位をオペレータで定義し、その処理の依存関係を反映したワークフ

なんかもうアレなので、前回少し触れたのですが、2018/2月現在公式なPHPのgRPCサーバーはサポートされていません。 GoでgRPCサーバー立てて、PHPでリクエストしてみる - 恥知らずのウェブエンジニア -web engineer, shameless 様々な迫害には慣れているPHPerでもそもそもサポートされないというのは辛いものがあります。 なぜPHPのgRPCサーバーがサポートされていなのか下記のMLのdiscussionを英語の勉強も兼ねてまとめてみようと思います。 ※素人意訳なので、間違いありましたらごめんなさい。 groups.google.com gRPC Servers in PHP? PHPのgRPCクライアントは作れるけど、gRPCサーバーは作れません。それの技術的ブロッカー、将来的な実装のロードマップはあります？ PHPのgRPCサーバーにはいくつかの問題があ

90年代後半から2000年代にウェブ制作を経験した者なら『とほほのWWW入門』と聞いて、ピンと来ない人はいないだろう。同サイトは、HTMLやJavaScript、Ruby、Pythonなどの基礎知識が学べる、ウェブ制作初心者にとってはバイブルのような、とてもありがたい存在だ。サイトが開設されたのは1996年。国内でインターネットが普及し始めた初期からある老舗サイトで、お世話になった人も多いはずだ。 2016年10月を最後に更新がされていないようだが、それでも20年間コンテンツを出し続けるのは、かなり大変なことだったのではないか。同サイトの管理人・杜甫々（とほほ）さんは、いったいどのような人物なのか。サイトを開設したきっかけやインターネット初期の空気感などについて、話を聞いた。 「とほほのWWW入門」管理人・杜甫々さんとは？ ――今回は取材に応じていただき、ありがとうございます。杜甫々さんは

Reactはちょっとしたコツを掴むと一気に理解が進みます。 Googleのデベロッパーであり数々のReactトレーニングを手がけてきたTyler McGinnis氏によるReact "Aha" Momentsが非常に参考になるため、本人の許可を得て意訳しました。 誤りやより良い表現などがあればご指摘頂けると助かります。 原文：https://tylermcginnis.com/react-aha-moments/ 私が技術的なコンテンツを教えたり書いたりする時の主な目標の1つは「アハ体験」を最大化することです。アハ体験は物事が突然理解できた瞬間のひらめきです。私たちは皆これを体験してきましたし、私の知る最高の教師たちは聴衆に応じて、それらの瞬間を最大化するための教えを最適化することができます。 ここ数年、私はほぼ全ての一般的なメディアでReactを教えてきました。その間、私はReact習得

トランセンドが2013年以降のMacBook Pro/AirやMac Pro/miniに対応し最大960GBまで拡張できるPCIe Gen 3.0 SSD「JetDrive 820」を本日より発売すると発表しています。詳細は以下から。 トランセンドジャパン株式会社は本日、8月に公式サイトに掲載されていたMac専用のPCIe SSD「JetDrive 820」を本日9月27日より国内でも販売を開始すると発表しています。 トランセンドジャパン株式会社 (本社：東京都台東区)は、Mac専用 PCIe SSD「JetDrive 820」を2017年9月27日より日本国内発売を開始します。定価はオープン。「JetDrive 820」は容量と速度、どちらも向上が可能なアップグレードで最大960GBの容量と最大950MB/秒の読み取りと書き込み速度を備えています。最新の3D NANDフラッシュを搭載した

Thank you for being patient. We are doing some work on the site and will be back shortly.

2017年9月7日 仮想通貨の採掘（ビットコインマイニング）事業に参入 ～ビットコインの健全な運用で“国境のない新たな経済圏”の発展を担う～ GMOインターネット株式会社 GMOインターネット株式会社（以下、GMOインターネット）は、本日2017年9月7日（木）に、「次世代型７nm(*1)」の半導体チップを活用した『仮想通貨の採掘（ビットコインマイニング）事業』を、2018年上半期を目処に開始することを決議いたしましたので、お知らせいたします。 GMOインターネットグループが創業以来携わってきたインターネットは、その発展によって世界の「情報」の境界線をなくしました。そして仮想通貨（ビットコイン）は、世界における「価値」の取引の境界線をなくし、中央機関に依存しない「世界共通の新通貨」として“国境のない新たな経済圏”を形成しつつあります。 今後、GMOインターネットは、これまで培ってきたネット

はじめまして! Mercari Summer Internship 2017 機械学習エンジニアコースに参加していました上川優太です。 現在は大学院に所属し、機械学習を学んでいます。 レベルの高い環境で成長したい！あのメルカリの社内の雰囲気を感じてみたい！と考え、メルカリのインターンに参加しました。 8月1日から8月31日まで機械学習を用いた業務を行ったので、それについて紹介します。 商品の色推定 私が取り組んだのは、商品画像から商品部分の色を推定し、自動的に色情報をタグ付けするというタスクです。 私自身、よくメルカリを利用するのですが、欲しい物を選ぶ基準として色というのは重要であると考えています。 実際に、欲しい物を検索するときに【Tシャツ 青】みたいに検索をするのですが、 明示的に色の情報が記載されている商品は少なく、欲しい商品にたどり着けないことも多々あります。 そこで、出品者が明示

8/10のNTT Tech Conference #2 にて発表の時間をもらってこのタイトルで喋ってきた ntt-developers.github.io 発表が決まるまで これはNTTグループ内のソフトウェア・ネットワーク系技術者が集まるコミュニティで、誰が発表者になれるかは投稿されたProposalに対するコミュニティ内での投票によって選考される。 何を話したいか自分の中でも固まりきっていなかった上に、主催者の話をロクに聞いていなかった自分は小さい部屋で僕のことを知る人しか集まらない不人気セッションを勝手に想像しており、abstractを書く欄に「実世界で使われている分散システムを構成する際に理解してほしい議論についてkumagiが一人で滔々と語る。」という漠然とした説明を書いた。初心者にこそ聴いて欲しいという身勝手な理由でレベル設定をBeginnerにし、自己紹介欄に至っては本当は経

京都市左京区に「駱駝」という四川料理のお店がある。ここの麻婆豆腐がとにかくうまい。 真っ黒で旨味たっぷりなひき肉・香りの良い麻味・柔らかめの豆腐ととろみの少ないタレにもうメロメロ。大学生のころからもう数え切れないくらい行ってるなあ…。 そしてそのおいしさを家でも再現すべく、5ヶ月以上に渡って試行錯誤を繰り返した。（頻度は月2回ほど。計10回ちょい？） 最終的にいい感じになったのでレシピを紹介します。甜麺醤を多めに使った、黒っぽいのが特徴の四川風麻婆豆腐です。 ※麻味とは、唐辛子のようなヒリヒリする辛さではなくて、舌が痺れるような山椒の辛さのこと。 材料（2人分） 【1】肉を炒める 豚ひき肉 160g 甜麺醤 大さじ1 焼肉のタレ 大さじ1.5 辛口もしくはニンニク強めのもの サラダ油 大さじ2 生姜 ひとかけら みじん切り にんにく ひとかけら みじん切り 【2】麻婆豆腐タレを作る 豆板醤

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

S3 から BigQuery へ簡単にデータをロードする仕組み AWS x GCP で最適なシステムを作ろう！ こんにちは。データエンジニアリンググループの川崎です。まだここにない出会いを求めて、日々コードを書いています。 この記事では、 S3 から BigQuery へデータをロードするときに使っている汎用的な仕組みについて紹介したいと思います。 なぜそんな仕組みが必要なの？ 弊社では、日時のバックアップや外部の協働者とのデータの受け渡しのために AWS の S3 をよく使っています。 一方でデータの分析には Redshift や BigQuery を使っています。 そのため受け取ったデータを分析するには適宜ロードする必要があるのですが、そのロードの方法がバラバラだったため、いくつか管理上の問題がありました。 データを取り込む手法がバラバラでメンテナンスしづらい S3 のファイルを Bi

AWS Lambda を開発する際には コードを書く ZIP で固めてアップロードする サンプルイベントをインプットに Lambda 関数をテスト実行する CloudWatch Logs でログを確認してデバッグ というフローが発生します。 今回は lambda-uploader を使い、 Step2の手順、つまり、コードのZIP化と AWS Lambda へのアップロードをコマンド一発で実行する方法について解説します。AWS Lambda では依存ライブラリも含めてZIP化しないといけないため、多くの人が一度は頭を悩まし、効率化を追求したくなるステップかと思います。 python-lambda-local と組み合わせることで python-lambda-local を使ってローカル環境で開発 lambda-uploader で AWS Lambda にデプロイ という AWS Lamb

KDDIはあらゆるモノがネットにつながる「IoT」向けの格安通信サービスに参入する。この事業を手がけるベンチャー企業、ソラコム（東京・世田谷）を約200億円で買収する。主力の携帯事業はスマートフォン（スマホ）の普及の一巡で伸び悩む。成長分野であるIoTを巡る競争が激しくなりそうだ。月内をめどにソラコムの発行済み株式を全て取得する。ソラコムは2014年11月創業で、従業員数は約40人。15年9月

総務省は２１日、９月１９日までにサーバーの設定変更などをしない企業は、各社のＬＡＮ（社内ネットワーク）から外部のインターネットに接続できなくなるおそれがあると発表した。ネット上の住所（ＩＰアドレス）を確認するために世界共通で使われている暗号鍵が変更されるためという。 暗号鍵は２５６桁の数列で、サーバー同士が正しくつながるための「合言葉」として使われている。米ロサンゼルスに本拠を置き、世界中のドメイン名（ｗｗｗで始まるホームページのアドレスなど）を管理しているＩＣＡＮＮがセキュリティー強化のため、今回初めて鍵を変更する。 一般の利用者が使うサーバーは通信事業者などが対応する予定だ。総務省データ通信課は「契約しているシステム管理業者などに確認を」と呼びかけている。（上栗崇）

1. 超実践 Cloud Spanner 設計講座 知ってることを全て紹介します！ Proprietary Samir Hammoudi aka サミール クラウドカスタマエンジニア JULY 21, 2017 2. Cloud Spanner とは？ Google のマネージド・スケーラブル・リレーショナルデータベース・サービス 完全マネージドのグローバルスケールで DB サービス1 2 3 4 ゾーン間・リージョン間の自動 synchronous レプリケーション スキーマ、ACID トランザクション、SQL Google内部では、既に５年以上の運用経験 (AdWords, Google Play…) 3. 注意事項：Cloud Spanner ≠ MySQL Cloud Spanner は MySQL の単なる置き換えではない ● スキーマは似てるが、分散データベースのため、MySQ

これが自分が使っている設定です。メインブラウザのSafariは1, エディタ系は2, ターミナルは3, 開発ツールは4, Chromeは5, 6~8は自由に使うスペース、9はSlack, iTunesは10, FinderやSkitchなど他のアプリと合わせて使うものはAll。2つのアプリケーションを並べて使いたい時は空いているスペースにアプリケーションを持って行くようにしています。これは割り当ててる対応表覚えるというよりは、1つのデスクトップに複数のアプリケーションがたくさんある状態を防ぐのと、どんなときでもctrl+1を押せばSafariが開くという安心感を得るだけでも効果があります。 まとめ 再掲: ショートカットキーでアプリをバシバシ変えれます 以上の設定を行うことでディスプレイ1枚でもアプリケーションの切り替えコストが低くなって作業しやすくなります。普段⌘+tabで遷移もよくやっ

D. M. です。レガシーの crontab が肥大化して困っています。今日はそのリプレイス候補である Digdag を使ってみた話です。 やりたいこと crontab は Linux のスケジューラの仕組みで定期バッチの実行用途でよく利用されますが低機能です。順序の依存関係やアラートは毎回独自に作りこまなければいけません。そのため近年は代替スケジューラを利用するケースが多いです。その候補のひとつである Digdag について検証したいと思いました。 Digdag を使うべき人 一般的にバッチスケジューラに求められる要件的には以下のようなものがあります。 ・スケジュール実行 ・複数バッチの順番の制御（ワークフロー） ・GUIでの管理 ・失敗時のアラート ・SLA 機能（長時間実行していたらアラートを飛ばす） ・分散実行 などなど 代替として広く知られているものですと Jenkins でのワ

ついにここまで来た。 1年と10ヶ月。 僕と代表の甲斐が出会ってから、ちょうどそのくらいだ。 出会ってから3ヶ月で共にFOLIOという会社を創業し、当時23歳の僕が、もう25歳になった。 自分でいうのもなんだけど、若者の2年は非常に貴重な時間だ。 その2年を、僕はたかが1つのサービスの開発につぎ込んだ。 リーンスタートアップだのアジャイル開発だのMVPだの、最低限のクオリティのプロダクトをだしてから実際にお客様の声をききながら改善していくことが「正」とされる近年の中で、はたから見れば愚かなスタートアップであることは間違いない。 正直僕だってキツかった。 今まで僕は、様々なハッカソンやアプリコンテストにでたり、プライベートでもとりあえず思いつきのアイデアはほぼすべてつくってきた。（参考：プロフィール＞ポートフォリオ） おかげで大学生～社会人にかけては、同じ2年間で数えると30を超える賞をもら