こんにちは。Google CloudでオブザーバビリティやSREを担当していたエンジニアです。明日でこう名乗るのは最後になります。明日、2024年10月31日付でGoogleを退職します。 pic.twitter.com/dS3WOVCQBj— Yoshi Yamaguchi (@ymotongpoo) 2024年10月30日 かしこまった挨拶 Googleに入社してから10年目までの話は次の記事で一旦まとめているので、改めて振り返ることはしません。 ymotongpoo.hatenablog.com 上の記事を書いたのは新型コロナ禍真っ只中で、カンファレンスなどもみなオンラインばかりで、人とのつながりがなかなか難しくなったころでした。その後、ワクチン開発や発症後の処置方法の確立、新型コロナウイルスの5類感染症への移行などがあり、オンラインからオフラインへの移行が再び起こりました。Goog

はじめに こんにちは、Google CloudでオブザーバビリティやSREの関連技術の普及と製品の改善を担当しているものです。このエントリーはPySpaアドベントカレンダー 2022の1日目の記事です。 2008年4月に大学院（修士）を修了して就職し、その半年後の10月から数えて丸14年かけて高校、大学、大学院と借りていた日本学生支援機構の奨学金を2022年9月の支払いで完済し、無事全奨学金の完済証明書が揃いました。本記事はせっかく完済したので自分の記録として残すために書きました。これは知人の本間さん（@CkReal）がちょうど同じようなタイミングで完済されていたので、刺激されたものです。 blog.ckreal.net 奨学金を借りるに至った経緯 単純に家計が厳しかったからです。自分の家庭は父親が小売業の従業員（正社員）で母親が農業（準社員）で仕事をしていたものの、給与は決して良いほうで

●既存のDB技術と一線を画すデータ検索技術を生み出す ●ゼロベースで発想しOSの基本機能に着目 ●ストップウオッチ片手に高速化を追求 ソフト開発ベンチャーのHOWSが、これまでにないデータ管理・検索技術「ISSEI」を開発した。HOWSは現在、ISSEIを次世代Web基盤技術として特許を出願している。 「ユーザー企業がデータを有効活用するためには、既存のリレーショナルデータベース（RDB）と一線を画す技術を編み出すほかないと考えた」。HOWSのCTO（最高技術責任者）である庄司渉副社長は、ISSEIを開発した思いを語る。 ユーザー企業の多くは現在、社内システムを整備し、テキストや画像、音声などさまざまな種類のデータを大量に蓄積している。その一方で「データを業務に有効活用できていない」と嘆くCIO（最高情報責任者）が多いのも事実だ。 その理由について庄司副社長は、「現在主流のRDBが限界に近

マニアックなSQLに続き2回目の登場、COOの achiku です。 これは カンムでは GitHub Projects (Beta) を利用してプロダクト改善を推進している。Private Betaの時点から使い始めてから約4ヶ月、今の運用に落ち着いてから約2ヶ月程度経過したため、導入の目的、目的を鑑みた運用方法、現時点での状態をまとめる。誰かの参考になれば嬉しい。 ※以降断りのない場合はGitHub ProjectsもしくはProjectsはGitHub Projects (Beta)を指す ※同様に以降断りのない場合はprはGitHub上のPull Requestを指す 前提(2022/03時点) まずは前提の共有から。ぱっと見ても分かるように、小さくはないがとんでもないサイズでもない、という状況のチームの話であるという前提がある。 作っているもの バンドルカード カンム、Visaプ

はじめに こんにちは、Cloud Operations suite担当者です。2021年4月18日でちょうどGoogleに入社して10年が経ちました。自分は転職で入社したときのことは書いておらず、前職を退職したときの記録しか残っていませんでした。いい機会なので記録として10年間を振り返ってみようかなと思いました。自分用の振り返りで特に推敲もしておらず、読みづらいと思いますが、とりあえずそのまま出します。 Google入社のきっかけ 当時はPython関係のコミュニティ活動やアウトプットをしていて、ちょうどそのときにGoogleのPartner Solution Organization（いまの gTech という組織の前身）のTechnical Account Managerという職種で空きがあるので、受けてみませんかとメールが来たのがきっかけでした。当時はGoogleというとソフトウェア

毎年恒例、一年の振り返りのやーつです。在宅勤務を始めてから約10ヵ月経ちました。今年のメイントピックは、在宅勤務になってから意識していること、変わったことです。 健全な精神は、健全な肉体に宿る 自動昇降デスクを買った 適度な筋トレ、ウォーキングを始めた そういえば 快適な在宅環境を目指す 自作PC 音声関連 撮影機材 最後に 一年振り返り過去分 健全な精神は、健全な肉体に宿る 在宅勤務が開始する前は意識せずとも通勤やオフィス内の移動で（本当に）最低限の運動ができていました。以下の画像は2019年10月のログ。 上記画像は、Apple Watchのフィットネスのログでして一番内側から外側に向かって、スタンド、エクササイズ、ムーブの指標を表していて、リングが閉じていればいるほどきちんと運動できていることがパッと見で分かるものです。*1 今年4月の緊急事態宣言が出たあたりのログを見たのですが、こ

この記事は pyspa Advent Calendar 202013日目です。 色々あったので婚活しました。 目標 さて、まずは目標を決めましょう。 時間を共にしてお互いに居心地が良いパートナーを見つける 相手側の私に求めるパートナー像は分からないので、ここでは自分のパートナーに求める像を具体化していきます 金銭感覚 余暇の過ごし方(時間の使い方) (自分自身の)不機嫌に対する対処方法 親戚付き合い 私はこの辺を具体化しました。 出会い系サービスを探す 次にサービスを見つけて行きましょう。友人の経験を聞いたり色々サービスを探したら広告が出会い系まみれになるので適当に見ていきます。 Pairs Zexy 縁結び Omiai with 東カレデート とりあえずこの辺から始めました。(大体半年か1年契約) サービスを使う 人間、結果が見えないとやる気に繋がりません。が、男女比が非対称なので基本的

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使うことになります。 ただ、移動元も移動先にも所属していないクライアントから通常DistCpは使えません（クラスタの設定情報がないので）。 設定をどうにかして渡せば、多分出来るだろうなぁと思いつつも「まぁ移動先のクラスタクライアントにSSHしたらいいか。」で後回しにしてましたが、自分のPCからDocker使ってやりたいなぁって事で調べました。 DistCpそのものについては、以下の最高の記事があるのでそこを参照下さい。 shiumachi.hatenab

最近、こんなことを聞かれました。 「shiumachi 君、人生のロードマップとかそういうの持ってないの？」 「ありません」 と即答すると、「夢がないねぇ」と不思議そうな顔をされましたが、ないものはしょうがありません。 小学生だか中学生の頃に、「人生の計画を書いてみよう」という授業がありました。22才で就職して、27才で結婚して、……みたいなことを書いてみるという授業です。残念ながら、今の時代には全く役に立たないです。 ロードマップを書くような人生設計って自分の生活基盤が安定していることを大前提にしているのですが、残念ながら今の時代はそんなものは幻想なので、ロードマップを持つ意味は全くありませんし、それに依存するのは非常に高いリスクです。例えば、私は年金をもらえるなんて全く思ってないので、働けなくなってお金が尽きたら死ぬしかないわけです。会社どころか国だってこの先も存続するのかどうかわから

なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、

BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py

AWSで働き始めて1年以上経ち、今年の始めあたりから社内で写真を撮って欲しいと言われる機会が増えてきました。実際にどのように撮って編集しているか、2020年4月時点のログを残しておきます。 最近は人を撮ることが増えましたが、数年前までは以下のポートフォリオのように、風景やマクロがメインでした。人を撮るのは、止まっているものを撮る以上の難しさを感じます。 500pxのポートフォリオ 500px.com 昨今の状況から、最近は一切撮影をしておりません。一応念の為。 撮った写真 週間AWS aws.amazon.com 週間AWSで使われた写真 builders.flash aws.amazon.com builders.flashで使われた写真 登壇用写真等 準備 カメラはα7RⅢ、レンズはSEL35F28Zで撮っています。仕事柄ノートPC+充電器諸々を常に持ち歩いていて、それに加えてカメラを

依存モジュールが少ないソースコードを読む - スペシャリスト岡野真也に聞くPythonの読み方と使い方 現在、多くの支持を集めるPython。10年以上にわたりPythonを使い続ける岡野真也さんに、同言語の学び方、使い方を聞きました。 機械学習やデータサイエンスの隆盛に伴い、Pythonは多くの人に使われる言語になりました。GitHubの「The State of the Octoverse 2019」のレポートによると、GitHubリポジトリのコントリビューターから人気のあったプログラミング言語として、PythonはJavaScriptに次いで2位となっています。 「さまざまな課題を、楽に解決できるのがPythonの魅力」と語るのは、10年以上も前からPython・Djangoフレームワークのヘビーユーザーであり続けてきた岡野真也（おかの・しんや／ @tokibito ）さん。彼はいか

↓ この勉強会に参加したので、簡単ながらレポートします。 connpass.com 第一回開催なのか(｀・ω・´) TL;DR SA Nightとは？ SAのお仕事を紹介するイベント SAとは？ ◯ Solutions Architect（ソリューションアーキテクト） ✕ Systems Architect（システムアーキテクト） SAのお仕事とは？（※主に） お客さんと一緒にビジネスを作り上げる お客さんの課題解決にフォーカスする ◯ 顧客が本当にほしかったものを考える ✕ イケてる技術を使う お客さんをハッピーにさせる、信頼される お客様がやりたいこと != お客様にとって必要なこと AWS Loftはおしゃれ(´∀｀*) 外観 おしゃれなデバイスが置いてありますね。 ユニコーンがいる(´∀｀*) SA（Solutions Architect）Night 目的・背景 SAの魅力を知って

新機能 バウチャーによるイベント管理機能をリリースしました。協賛企業の社員や関係者のイベント参加を円滑にすることに活用いただけます。詳しくはヘルプページをご覧ください。 新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。