はじめに 環境情報 Delta Lake (デルタレイク) とは Delta Lake の実体 Delta Lake の構造 Parquet と Delta の相違点 Parquetとは何か Parquetの構造 Parquet と Delta の違い Delta Lake が生まれた経緯: データレイクと Delta Lake の違い データレイクのメリット データレイクの課題 *Parquetで構築した場合 Delta Lake の特徴 ACIDトランザクションの担保 スケーラブルなメタデータ管理 バッチとストリーミングワークロードの統合 タイムトラベル (バージョン管理) CONSTRAINT句のサポート DML (データ操作言語) のフルサポート UPDATE DELETE MERGE 柔軟なスキーマ管理 1. スキーマ エンフォースメント 2. スキーマ エボリューション ストレ

大学や大学院で論文の書き方を鍛え上げた人たちには遠く遠く及ばないが、僕の様なはぐれもの1でも最近は Amazon 社内で文書の質が高いと評価してもらえるまでにはなった。Software Engineer として、コードでのアウトプットはもちろん大事だけど、文書のアウトプット(およびそれによって得られた実際のアウトプット)は同じだけ重要である2。今回は自分が最近どういうところに気をつけて技術文書を書いているのか、ということについて数年後の自分が忘れてないことを確かめられる様にまとめておく。 そもそも文書とは？ 英語だと document。ここで指す(技術)文書とは、人間が読む文体で書かれた技術に関連する情報、といったものだ。具体的に言うと以下の様なものを想定している: 新しいプロジェクトの骨子を説明する資料 会議の叩き台となる 1 枚ペラ 本番環境に変更を加えるにあたっての包括的な情報や具体

はじめに　当記事を開いてくださりありがとうございます。私は表題の通り、私は一般にメガベンチャーと呼ばれる自社開発企業で機械学習エンジニアとして勤務しはじめてからわずか半年で、鬱を発症し退職することになったものです。この会社は待遇も良く、社風としても労働者思いのとても素晴らしい会社であったと私自身振り返って思います。 そんな会社に運よく入社することができた私ですが、わずか半年で「鬱状態」と心療内科から診断を受け休職し、会社制度により退職することになりました。「え？そんなに素晴らしい環境なのにメンタル弱すぎでは？」と思われる方もいらっしゃることでしょう。返す言葉が全くありません。おっしゃる通りです。 しかし同時に、「何故鬱になったの？」と思われる方もいらっしゃるのではないでしょうか。本記事ではこの点について鬱を発症した本人の目線から「どうしてそんなことが起きてしまったのか」という点について考察

NHKのニュースや番組をつくっている私たちが取材に込めた思いや取材手法などをお話します。一緒に「取材ノート」をつくっていきましょう。サイトはhttps://www.nhk.or.jp/d-navi/note/ 利用規約はhttps://nhk.jp/rules

イーロン・マスクが YouTube チャネルでスペース X のテキサス工場スターベースの中を歩き回りながらロケット製造や電気自動車について説明しているのを観た。ツイートしたこの件。 これがめちゃくちゃに示唆に富んでいて面白かった。この日のイーロン・マスクは饒舌で楽しそうなので、かなり魅入ってしまった。きっと彼はカンファレンスや会議室の中でインタビューを受けるよりも、工場でみんながロケット作ったり作業している場で語った方が情熱を込めていろいろ説明してくれるんだと思う。 この中で製造工程の話があって、これはロケット製造などの特定分野だけでなく、IT やその他の分野にでも当てはまる普遍的な知見だと思ったので意訳してみた。ざっとビデオを観て印象に残った部分だけを意訳した。あくまで大枠で言ってることをまとめただけなので、もし詳細に興味があればぜひビデオを観てイーロン・マスクの話を直接聞いて確認してく

この記事は、著者の許可を得て配信しています。 Why programmers don’t write documentation 最近ではずっとコードのドキュメンテーションに関連した記事を書いていたので、当然、私のMediumのおすすめ記事には「開発者がドキュメントを書かない本当の理由」という記事が表示されるようになりました。この記事では、ドキュメントを書くための優れたツールがないことが、ソフトウェアエンジニアが自分の作業や判断をドキュメンテーションする意欲を失わせる最大の原因について書いています。 私は普段、特定の記事を批判したりはしませんが、この記事には怒りを覚えました。このライターは図解ツールについていくつかメリットに関して述べてはいますが、全体的に誤解を招くような内容になっており、この重要な問題をより分かりにくくさせています。2つの図解ツールを比較して、どちらも不十分なツールである

Endless road | During our roadtrip we turned off the highway… https://www.flickr.com/photos/98063470@N00/326044514 GitHubリポジトリ Covid19Radar に対して起ったことがかなり特殊な状況だったため、開発を追い掛けていた視線からレポートをします。 この記事の著者について 代表作のない個人アプリ開発者(かなしい) Covid-19 Radar Japan の人ではない GAFAMやCode for Japan の人でもない 4/8 Covid-19 Radarを発見する Covid-19 Radarとは、この時点ではシンガポールのTraceTogetherの日本版を目指した個人開発者 廣瀬一海さんのアプリのリポジトリ 4月にContact Tracing技術について

By BrianAJackson サービスやシステムに意図的にトラブルを発生させることで、実際にトラブルが発生した際に的確な対処ができるような訓練を行うことを「カオスエンジニアリング」といいます。Googleが従業員に対して行っている4つのカオスエンジニアリングについて、Googleのエンジニアリングディレクターであるデイブ・レンジン氏が語っています。 Chaos Engineering For People Systems w/ Dave Rensin of Google - YouTube ◆チームメンバーをランダムで不在にさせる 週に1度、各チームからランダムにピックアップされたメンバーを自宅勤務とします。選ばれたメンバーは自身の仕事を遂行することはできますが、他のメンバーからの質問には一切答えてはならないというルールで自宅勤務を行います。これを行うことで、突然誰かが欠勤しても円滑に

訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では

今回はソフトウェアエンジニアじゃない人や学生にも、ソフトウェアエンジニアという職業には夢があるかもしれないと思ってもらうために書いています。そのため既に詳しい方からすると回りくどい説明も多いと思いますがご容赦下さい。 基本的に記事とかには技術的なことしか書かないスタンスでやってきましたが、今回の件はさすがに誰かに伝えておくべきだろうということで長々と垂れ流しました。 概要 GW中に趣味で開発したソフトウェアを無料で公開したところAqua Securityという海外企業（アメリカとイスラエルが本社）から買収の申し出を受け、最終的に譲渡したという話です。さらに譲渡するだけでなく、Aqua Securityの社員として雇われて自分のソフトウェア開発を続けることになっています。つまり趣味でやっていたことを仕事として続けるということになります。 少なくとも自分の知る限り一個人で開発していたソフトウェ

「グラフィックを詰めずにゲームのプロトタイプを量産する方法は現代でも通用するのか」というテキストを読んだ。 「現代においてグラフィックの伴わないプロトタイプに意味はあるのか？」という問いが書かれている。興味深い。 面白いゲームがネット上にたくさんあるのに、グラフィックがしょぼいゲームなんて誰もダウンロードしないから、“ゲームの核だけを煮詰めたプロトタイプは誰にも見向きされないまま電子の海に沈んでいきます。これではプロトタイピングの意味がありません。”と。 さらに“もはやグラフィック無しではゲームは評価の舞台にすら登れない”と述べて、先輩の意見は間違ってると解く。 ううむ。 っていう記事を過去に書いたりしてるので、応答してみる。 「グラフィックを詰めずにゲームのプロトタイプを量産する方法は現代でも通用するのか」という問いは、問いそのものが矛盾している。 システムだろうがグラフィックだろうが「

渋谷の雑居ビル。 ホワイトボード前に置かれたパイプ椅子にイヌ、ネコ、ネズミが一触即発の雰囲気で座っている。 扉が開き、慌てた様子の青年が入ってくる。 孫「お疲れ様です、すいませ――」 ネズミ「遅えよッ！！」 ネコ「！！」 イヌ「……ネズミさん、怒鳴るのはやめましょうって……」 ネズミ「……チッ」 孫「あの、本当、すいません。11時からって、皆さんにお約束してたのに……」 イヌ「ま、まぁ。とりあえず、ミーティングの報告をお願いします。もう２時間も押してるんで」 孫「は、はい！　すいません、ではこちらの資料を…… あっ」 イヌ「どうかしましたか？」 孫「印刷した資料が１部たりなくて。……じゃあ、はい！　僕のは大丈夫なんで、業務委託の皆さんで、どうぞ！」 ネズミ「ッ……！」 イヌ・ネコ「……」 孫「はい、では皆さんお手元に資料ありますかね、お疲れ様です！」 ネズミ「……」 イヌ・ネコ「……お疲れ

Developers Summit 2019 Summer での発表資料です。

シリコンバレーのプロダクトマネージャー(PM)界隈で、大御所の一人として有名なGibbson Biddleさん。元はNetflixのVP of productで現在のNetflixの成長の原動力を作った人です。彼のブログは勉強になることが多く、世界のPM達からも一目おかれています。 昨年暮れに投稿された記事は今では2000以上のLikeがつき、日本のPMの皆さんにもぜひ読んでもらいたいと思いました。ツイッター上でGibbsonさんに翻訳していいかと聞いたらあっさり「いいよ」と答えてくれたので、今日はそれについて書きます。 読了目安: 8分  5000字につき長文注意 Gibbson Biddleさん 私はNetflixを例に多くのプロダクト開発戦略について、これまでいろいろなところで書いてきました。他の会社にNetflixの成功と失敗を学んでほしいからです。よく私がお伝えするのは、Netf

● @chinshonatsuyo 中国の空港やばすぎかよ！ なにこのカート！ 航空券スキャンして行き先の情報、搭乗口へのナビ全部ある！ 映画も観れる！！！ もう歩きスマホっていう次元じゃねーぞ！！！！ pic.twitter.com/ci3ksJoclM 2017-09-21 12:31:27 ● @chinshonatsuyo 最高かよこのスマートカート....... 最高......... 世界中の空港に導入して欲しい....... 日本の偉い人....買って........ pic.twitter.com/MxIDLU9oHI 2017-09-21 12:40:17

なぜこの文章を書くか?自身が数ヶ月テックリードの役割で経験した内容を基に、テックリードがどういう役割で、毎日の仕事の中でどのような仕事をするのかについて書いていく。 テックリードはサンフランシスコのWeb系企業では一般的なようだが、日本ではまだそれほど広まっているとはいいづらいと思う。 テックリードに求められるのは一言で言えば”技術でエンジニアチームをリードすること”である。Webエンジニアのキャリアパスでたびたび二元論的に語られる、”技術一本で生きていく”職人的なトラックとも”人やプロジェクトのマネジメントをする”マネジメント系のトラックともニュアンスが異なる。 自身の技術力、そしてリーダーシップをもってエンジニアチームのアウトプットを最大化させていくのがテックリードの役割である。 多くの人にその役割を知ってもらい、エンジニアとしてのキャリア形成の助けになればと思っている。 なお、このポ

※マイナビ、リクルートなど各社のプロモーションを含みます。 ※この記事は有料職業紹介(許可番号 13-ユ-317103)の厚生労働大臣許可を受けている株式会社メルセンヌが制作しています。 入社後のパフォーマンスが良くないが転職時の面接だけは、やたらとうまい人がいる。 転職の面接を突破するだけのテクニックを教えるのはあまり本質的ではないが、面接だけ得意な人の技術は参考になるので今回は転職面接だけうまい人について話す。 今回記事作成にあたり、転職面接だけうまい人に悲惨な目にあわされ続けてきた方から多くのアドバイスをいただいた。意外と多くの企業が同じ被害にあっているようだ。 あとで詳しく述べるが読者の中で転職活動を進めている人があればまず ビズリーチに登録しよう。 本記事で取り上げるような面接のテクニックも含めて、各業界に詳しいエージェントがサポートしてくれるのとスカウトメールを受け取ることがで

こんにちは。アプリエンジニアの五味です。 2017年4月にリクルートホールディングスの新卒Web採用枠で入社した新卒社員のうち、21名がリクルートテクノロジーズに配属となりました。（いらっしゃい！） リクルートテクノロジーズでは「ブートキャンプ」と呼ばれる新卒社員向けの技術研修を3か月間実施しています。 もともと高い能力を持つ彼・彼女らですが、「これからのリクルートをリードしていく存在」になって欲しいという期待を込め、プロとしての重要な立ち上がり期を支援しています。 今年からは社外講師の既存プログラムに加え、より実践的な内容を求める経験者をターゲットに、総勢12名の現場エンジニアが担当する特別講座を開催しました。 各分野のスペシャリストがこれまで現場で培ってきた「本当に必要な生きた知識・技術」のインプットは、彼・彼女らの成長を加速させ、これからのエンジニア人生の礎になってくれるものと僕らは

勉強会とかでちらっとLTしたこととかあった気がするけど、あまりまとめたことなかったので書いてみようという魂胆のポエムです。 このブログの最初のエントリーがこれ。 自分のことを「ジンジニア」って名乗りだしたのもだいたい同じくらいな時期だと思う。 「ジンジニアとは、人事としてもエンジニアとしても中途半端な立ち位置のことである」というお話。 - ジンジニアニッキ！ このエントリーに書いてある通りで、当時は採用担当しながら会社サイトのデプロイ権限を持ち、gitをコマンドで操作してました。 当初は「非エンジニアの人が同じような状況になった時に参考になれば…」と真剣に思ってblogを始めたんだけど、今から考えると同じような状況になるってこと、なかなかないよね…。 名前の由来というかそういう感じのこと そもそも、「ジンジニア」という言葉はあまりポジティヴな状況から生まれたものではなかったです。 エージェ