あけましておめでとうございます。これは Competitive Programming (2) Advent Calendar 2019 - Adventar の 14日目の記事です。あけましておめでとうございます。 この記事では、Library Checker の宣伝をします Library Checkerって？ 競プロのライブラリを整備するために爆誕したサイトです。特徴としては、問題が全部ライブラリを整備する目的に特化していること、ケースジェネレーター、チェッカーなどが全て公開されていることが大きな特徴です 中身を全て公開することにより 誰でも問題の追加が出来る 誰でもケースの修正などが出来る CIに組み込める*1 などの、様々な利点を得ることが出来ます。理論上はO(使用人数)でケースが強くなっていくので、最強のテストケースが出来ると言う目論見です。 概要 こんな感じです こういう図を

マイクロサービスにおけるWeb APIスキーマの管理 ─ GraphQL、gRPC、OpenAPIの特徴と使いどころ マイクロサービスにおける通信方式の選択について、おおた（ota42y）さんが、GraphQL・gRPC・OpenAPIといった主なWeb APIスキーマの管理の利点と使い分けを解説します。 近年流行しているマイクロサービスアーキテクチャにおいては、「どういった通信方式を選ぶか」が開発の効率やサービスの信頼性、パフォーマンスを大きく左右します。この記事では、GraphQL・gRPC・OpenAPIそれぞれの利点と適切な使い分けについて解説します。 マイクロサービスにおけるWeb API管理の重要性 Schema First DevelopmentとWeb API 人ではなくプログラムが処理できるよう管理する Web APIのインタフェース定義手法の比較 OpenAPI ─ R

この記事は2017/11の以下のブログ記事の翻訳です。 blog.itaysk.com まずはじめに、翻訳を快く許可していただいた@itayskさんに感謝いたします。 3年前の記事ですが、デプロイ戦略についてここまで網羅的にまとめられた記事が日本語で見つけられなかったので翻訳してみようと思いました。 初めての翻訳記事であり、かつ翻訳時に多少の意訳を含んでいます。私の翻訳ミスがある可能性も十分にご了承ください。 何か間違いやわかりにくいところがあれば、コメントいただけますと幸いです。 無謀なデプロイ (Reckless Deployment) ローリングアップグレード (Rolling Upgrade) ヘルスチェックと監視 ロールバック 後方互換性 ちなみに ブルーグリーンデプロイ (Blue/Green Deployment) ドレイン スイッチバック ステージ ちなみに カナリアデプロ

君へ、 つい最近まで、南米で3ヶ月ほどデータエンジニアとして仕事していた。Tシャツで帰ってきて震えた。寒くて。 僕にとって2019年は、あんまりいろんなことが無かったくせに、いや糞ヒマだったからこそ、いろいろ考えることが多い1年だったと思う。最後の3ヶ月以外は、基本的にヒマだった。 過去に僕はベルリンで1年ほど働いていたこと*1があり、まあ結論からいうと音を上げて、日本に逃げ帰ってきた。何がそんなにしんどかったかというと、ベルリンは十分英語で生活できるとはいえ、ドイツ語関連のトラブルシューティングに付き合ってくれるドイツ人の友人を作ることができなかったというのが大きいが、そういう人間関係を構築することが出来なかったことも含めて、当時所属していた会社の上司および同僚と上手くいかなかったのが致命的だった。 とくに、エンジニアの同僚氏、つまり君は、まったく許せなかった。 あれからもう3年も経ち、

はじめに 学習済みBERTを試しに触ってみたいんだけど、日本語使えるBERTの環境整えるの面倒！っていう人向けに、お試しでBERTを使える Docker Image 作ってみました。 BERT はTransformers(旧pytorch-transformers、旧pytorch-pretrained-bert) を使用。 黒橋・河原研究室のWEBサイトに掲載されている、日本語pretrainedモデルのWhole Word Masking版を使ってます。 Transformers — transformers 2.2.0 documentation BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB Docker Image ここに置いてあります。 https://hub.docker.com/r/ishizakiyuko/japanese_be

2021/10/22追記：最新版は下記記事になります！こちらもご一読くださいませ。 tech-blog.abeja.asia どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んでいただけると嬉しいです！ 割とAIコンサルの会社と思われているらしいので、ちゃんとプロダクト作ってますよ！ということを伝えていきたい ABEJAの事業紹介 ABEJAは2012年から約7年間、機械学習・ネットワークやIoTデバイスを活用したプロダクトの研究・開発・運用を行っています。 様々な産業・業種へ機械学習の適用・運用を培ってきたナ

こんにちは。皆様、夏はいかがお過ごしでしたか。 私は毎年実家に帰省し、そして毎年体調を崩すので、絶対風水的になんか合わないんだと思っています。コネクト支援チームのsakay_yです。 先日、2018年の新人研修資料を公開し、たくさんの反響をいただきました*1。ありがとうございました。 2019年もエンジニア新人研修を行いましたので、その紹介と講義資料を公開いたします。 2019年のエンジニア新人研修について 今年の研修は、組織運営チーム*2が取りまとめ、以下のような3構成となりました。 必修講義 誰に: 開発/運用本部に配属される新入社員​ 何を: どのチームに行っても必要となる基礎的な知識/技術/ツールを学び、体験できた 選択講義 誰に: 学びたい人が​（＝新入社員に限らず） 何を: 興味があることを学べた チーム体験（2週間 * 3チーム） 誰に: 開発/運用本部に配属される新入社員

こんにちは。最近やよい軒の彩定食にハマってるじゅっぴーです。 自分の確認と最近Pythonで競技プログラミング始めたよーという人向けを兼ねたPython高速化記事です。 競技プログラミングはAtcoderを想定しています。 はじめに Pypyを使う！ みんな一度は通る道 Pypy一択なもの Pypyじゃだめなもの Python定数倍高速化のテクニック 最後に はじめに 今回の今の時点でのA問題の言語別提出コード数、 全体: 7000 C++: 3240 Python3: 2000 って感じで75%くらいがC++とPython3で提出されてる— saba (@saba_kpr) 2019年5月25日 最近PythonでAtcoderをはじめている人がどんどん増えています。 一方で『Pythonの高速化テクニック：C++で書き直す。』というネタがあるほど、Pythonは劇遅です。 競技プログラ

「AWSの勉強をしたいんだけど、まず何をすればいい？」と会社の同期や同僚から聞かれることがよくあります。ありがたいことに、先日 Amazon Web Services 業務システム設計・移行ガイド (Informatics&IDEA) を出版してからは、システムエンジニアではない知人からもこのような質問を頂くようになりました。このような質問を頂いた方には、過去に有志で開催していた社内勉強会の資料を渡したり、自分の勉強方法を共有したりするのですが、自分がどのような勉強方法をしてきたか棚卸ししきれていないなと感じたので、これを機に整理しようと思います。 私について 私は、大学時代はアプリケーション系の情報専攻で、社会人になってからも入社後最初の数年はアプリエンジニアとして仕事をしていました。そのため、当時インフラサイドの知見はほとんどありませんでした。そのような状況に危機感があり、当時の上司に

4/16に福岡で開催されたCloudNative Days Fukuoka で登壇しました。昨年12月のJapan Container Daysでの登壇でベストスピーカー賞を頂いたこともあり、CNDFのキーノートで登壇しないかとお声がけいただいたのです。 普段は特定の技術についての登壇が多い自分ですが、今回はキーノートでの発表。そこで、より全体的な『そもそもクラウドネイティブとは』という話をしました。 speakerdeck.com このテーマ、以前からどこかで話したいと思っていたんですよね。 このエントリーでは、↑の発表資料を基に、時間の都合で削った部分の補足を行っています。一度資料に目を通してからお読みください。 お前らのクラウドネイティブは間違っている いきなり石を投げられそうな見出しですが。本当にクラウドネイティブな開発を実践されている方々に喧嘩をふるつもりは全くありません。それよ

2019年2月26日、検索技術研究会が主催するイベント「Search Engineering Tech Talk」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有する本イベント。第1回となる今回は、3人のエンジニアが、現場の経験を通して学んだノウハウや、検索にまつわる知見を語ります。プレゼンテーション「UI／UXが無意識に検索行動に与える影響」に登壇したのは、株式会社メルカリDirector of Search Engineering の森山大朗氏。メルカリの検索結果を改善する上でわかった、情報検索と商品検索における違いを語ります。講演資料はこちら UI/UXが無意識に検索行動に与える影響について 森山大朗氏（以下、森山）：みなさんお疲れさまです。今日はメルカリにお越しいただきありがとうございます。お酒も冷蔵庫の中にいっぱい入っていますので、飲まれたい方は、とくにハ

やりたいこと（ユースケース）から利用パターンへ到達できるように、ユースケース主導で紹介。利用するサービスのすべての機能をを覚えなくてもやりたいこと/部分からスタートできます。実際、類似するアーキテクチャの実例が多くあることがわかります。 パターン別のテンプレートから始めてみよう!  チュートリアルで体感しよう! - いくつかのパターンはテンプレート/雛形から始めることができます。それぞれのパターンの「Template」「Sample」「Solution」のリンク先を参照ください。 - 実際に作って動かせるチュートリアルに「Tutorial」「Workshop」リンクからアクセスできます。ちょっとしたトライに費用が気にならないのもサーバーレスの良いところ。 - 各パターンの特性に合わせたエラーハンドリングの記事を拡充中。それぞれのパターンの「エラーハンドリング」リンクからご確認ください。 -

Chief Technology Officer（CTO）という言葉を聞いたとき、あなたの脳裏にはどんな像が浮かんだだろうか？ バリバリにコードを書きながらプロダクト開発を引っ張る人物だろうか。テクノロジーの方向性やビジョンを社内外に発信し、業界からも一目置かれるような存在だろうか。あるいは現場のエンジニアの思いをうまく汲み取ってビジネスに落とし込む、調整能力に優れた人物だろうか。 おそらく答えは、企業の形態や文化、個々人のキャリアプランの描き方によって千差万別だろう。時にはChief Information Officer（CIO）、あるいはテックリードやVP of Engineering（VPoE）と重複した役割を果たすこともある。むしろ「CTOはこうであらねばならぬ」と1つの公式に当てはめようとする方がナンセンスかもしれない。 このようにさまざまな側面を持つ「CTO」だが、そもそもC

いま社員エンジニアが何人かに加えてエンジニアアルバイト2人、くらいのチームで働いていて、その中でアルバイト氏のメンターもやっている。 前のチームでも何年かアルバイトの面倒を見たり、何回かインターンのメンターをやったりしていた。 手癖でいろんなことをやってしまっていて、属人性が高まってしまっていると感じたので、どんなことをやっているか書いておく。 1日に何回か口頭で会話する 実装ができててから方針がまずかった、となると時間がもったいない 方針書いたくらいでレビュー依頼に出してね、とお願いしてもやってもらうの難しいので、こちらから聞きに行くほうがうまくいきやすい レビュー依頼になったらすぐに見る 社員は明日も要るけど、アルバイト氏は週に数回しか来ないので、その日帰るまでにレビュー完了して打ち返しもしてもらえるように動けると良い レビュー依頼になってなくてもPull Request見に行く 方針

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

米アマゾン・ウェブ・サービス（AWS）が2018年11月下旬に米ラスベガスで開催した「AWS re:Invent 2018」では、大小合わせて50種類を超える新サービスが発表された。すべてを網羅するのは不可能なので、記者にとって印象的だった話題を「ランキング」形式で振り返ってみよう。 なお記者が把握している50種類の新サービスの一覧表は、本記事の最後にまとめて記載した。すべてのサービスに興味がある方は、そちらをご覧頂きたい。 10位：サービスメッシュを実現する「AWS App Mesh」 最初に紹介したいのは、マイクロサービス同士のコミュニケーションを制御する仕組み「サービスメッシュ」を実現する「AWS App Mesh」だ。数百～数千のマイクロサービスが連携する巨大な分散アプリケーションでは、マイクロサービス同士のルーティングやロードバランシングなどが課題になる。そうした問題を解決するの

この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド

レストラン事業部エンジニアの id:ninjinkun です。 一休レストランでは10年以上動いているシステムをPython 3で書かれた新システム（以下restaurant2）に順次移行する作業を進めています。現在ではPC用のレストランページ や主要な API を含め、いくつかのページがrestaurant2で提供されるようになっている状態です。本記事ではこの移行の経緯と、restaurant2システムの詳細、Pythonを選んだ理由、現在の進捗状況をお伝えします。 経緯 一休レストランはサービスローンチ時よりClassic ASP（言語はVBScript）でシステムが構築されてきました（こちらに驚かれる方も多いと思いますが、歴史的経緯という言葉で強引にまとめて話を先に進めます）。このシステムは現在も一休レストランを支えているのですが、長年の改修による複雑性の増加、言語の古さ、言語機能の

編集長の渡辺がマネーの賢者の「お金の話」に切り込んでいくインタビュー連載『マネ凸（トツ）』。 お金といえばやっぱりこの人にも話を聞いておきたい！ということで、第5回は新R25でもすっかりおなじみ（？）の堀江さんが登場です。 今回も「返り討ちに合うことを前提とした突撃スタイル」でインタビューに臨みました。 「年収1億円」って少なすぎません？

以前、この場で労働環境を整備するためにやったことを書いた。その冒頭で営業の責任者になるとサラっと書いていたが、今回はその過程について語りたい。 delete-all.hatenablog.com この４月から営業開発の責任者（部長）になった。実は、入社する際、ボスに対して自分を高く売り込んでおり、それが少々ハッタリをかましたものだったので、試用期間中はいつクビになるか、ビクビクしていたが、万事うまくいったといえる。ラッキー！のひとことで片づけるのもつまらんので、昨年８月まで無職ときどき駐車場アルバイトの僕が、そこそこの規模の企業のそれなりのポジションに就くことが出来たのか振り返ってみたい。 僕はブラック企業に勤めていた。らしい。らしい、というのは僕自身にブラック企業に勤めていたという実感があまりないからだ。１７～８年間ブログを書いてきてよかったことなどほとんどないけれど、無理にひとつあげる