ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6

まずはじめに、2022/01/28のfreee Tech Nightを楽しみにお待ちいただいていた皆様、当日直前にLiveを延期してしまいまして、運営にかわりまして申し訳ございませんでした。この記事はLiveで話す予定の内容の一部を深堀りした内容になっておりますので、文字でもお楽しみいただければと思います。 Abstract 期日を決めることには様々な利点があるが、期日通りに終わらせるにはとてもじゃないが避けづらい問題が多すぎる。 特に期日を先々まで決めてしまうことで直近の期日さえ守れなくなる状態になる。 期日を決めず、優先順位を決め、短い間隔で機能や価値を出すことで、方針の柔軟さを確保し、ランダムに発生する事象に対応しやすくなる。 現在地と予測地点を確認するためにまずは「バーンダウンチャート」をつくって運用してみよう。 はじめに なにか目指したい姿があると、その姿に対して何かしらの案を考

freeeのPublc APIチームでエンジニアリングマネージャーをしているまっつーです。 この記事はfreee Developers Advent Calendar 2021の24日目の記事です。 クリスマスイブですでにウキウキしている方もいるでしょうが、落ち着いてください。我々にはまだやることがあります。 そう、有馬記念です。 有馬記念は毎年12月に中山競馬場で開催される競馬のレース名です。 年末に行われる大レースということで競馬ファンの中では年末の風物詩になっています。 やるからには当てたい、では早速有馬記念の予想をしていきましょう。 手順１ 今年のサインを探す 競馬の予想にはいろいろな方法がありますが、サイン理論とよばれるものがあります。 説明はwikipediaに任せます。 サイン理論（サインりろん）とは、競馬の勝ち馬予想の手法の一つのことである。広義的な意味でケントク買い（見得

「CEOに身代金を要求したい」 こんにちは、PSIRTマネージャのただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2021 18日目です。 freeeにjoinしてから早くも14ヶ月がすぎました。freeeでは毎年10月に全社障害訓練をしていて、昨年は入社したてで右も左もわからないままAWS上の本番環境（のレプリカ）に侵入してDBをぶっ壊す役目をさせられたのも良い思い出です*1。 で、上の「CEOに身代金を要求したい」という物騒な相談は、今年の訓練計画の話です。話を持ち掛けてきたのはCIOの土佐。昨年は主要サービスが落ちて、開発チームが対応にあたる中、ビジネスサイドも顧客対応などで訓練参加しましたが、今年はさらに、経営サイドまで巻き込もうというゴール設定がされたわけですね。腕が鳴ります。 ゴールは「CEOに4BTCを要求する」 ゴー

こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー

こんにちは。中部オフィスで開発部長をやっているmoaiと言います。これは、freee Developers Advent Calendar 2021 - Adventarの13日目の記事です。 今ではfreeeの中部オフィスで楽しく働いております。 freeeの中部オフィスの開発チームは働く環境としてはとても気に入っています。 中部オフィスでうなぎを食べている様子 でも、今日はその話ではありません。 今日話したいのは、地方で働く際に検討しておいたほうが良いことをフラットに書いてみようと思います。 コロナ禍が始まってから、もう二年近くなります。 freeeも2020年3月からフルリモート体制に移行しています。 そんな中、安い物価、豊かな住環境、子育て環境などを夢見て地方移住を検討された方も多いかと思います。 一方で東京と比較して仕事はあるのか？など不安材料もあると思います。 私も2018年に

この記事はfreee Developers Advent Calendarの3日目です。 皆様こんにちは。freeeでスクラムマスターをやってます ichy こと Takeru Ichiiです。過去にアジャイル開発関連の記事を2本ほど書かせて頂いており、去年のアドベントカレンダーでは私のスクラム開発と無関係なペペロンチーノを混ぜて書かせていただきました。 developers.freee.co.jp 今年もなにか無関係なものを混ぜつつ新作を書こうかと思ったんですが、ちょっと本業が立て込んでおり、間に合いませんでした。そこで、今回は社内Blogの転載に近い形になってしまうのですが、小噺を楽しんでいただこうかと思います。なお本来であればビーフシチューのレシピを紹介しようかと思っていましたが、そのお話はまた今度させていただこうかと思います。 今回の記事の元ネタのご紹介 今回の記事は2021/10

こんにちは、id:ymrlです。この記事はfreee Developers Advent Calendarの2日目です。 先日の記事で、全従業員向けのアクセシビリティ研修を紹介しました。 developers.freee.co.jp この研修でとても大切にしていることのひとつに 「スクリーンリーダー（画面読み上げソフトウェア）の操作を実演する」 というものがあります。多くの人にとって「視覚的に見るもの」であるWebが、視覚障害の当事者にはこういう形になっているということを見て（聞いて）もらうことが、新たな視点を持つキッカケになることを期待してのことです（もちろん、中根さん（@ma10）が研修をやっているから特に説得力があるというのもあります）。 研修では中根さんがWindowsでNVDAを、私はmacOSでVoiceOverをそれぞれ実演しています。この記事では私の手元でやっていることを紹

こんにちは、 freeeでデザインシステムを作っていたりアクセシビリティーのいろいろをやっていたりする id:ymrl です。 freeeではfreeeアクセシビリティー・ガイドラインを策定して、誰でも使えるアクセシブルな製品開発ができるよう取り組んでいます。これまでも、開発者（エンジニア、プロダクトマネージャー、デザイナー）向けには実習を含むアクセシビリティー研修を行ってきました。 そしてこのたび10月から 対象を全新入社員向けに拡大 してアクセシビリティー研修を行うようになり、あわせて開発者向けの研修も内容を整理したので、今回はその紹介をします。 なぜ全員に研修をするのか これまでのアクセシビリティーの取り組みは、プロダクト開発を中心に進めてきました。「だれもが自由に経営できる統合型経営プラットフォーム」をビジョンに掲げている以上、まずは提供しているSaaSが誰でも使えるものになってい

こんにちは、DevBrandingのellyです。10月29日に配信した「freee Tech Night 〜freee流、クレジットカードのマイクロサービス設計構築術」の様子をご紹介します。 先日freeeは、法人向けに企業成長を支援するための統合型ビジネスカード「freeeカード Unlimited」β版の提供を開始しました。 今回はfreeeカード Unlimitedのシステムをつくったエンジニア2人をゲストにクレジットカードの仕組みをどのように作っていったのかを聞きました。リリースまでの道のりをfreee Developers Blogでも全8回で連載していますのでぜひ合わせて読んでいただけると嬉しいです。 登壇者集合写真 tabachain:写真左上。決済チームのエンジニア。2016年7月入社。freee会計、freee申告のエンジニアを経てエンジニアリングマネージャーを約3年担

はじめまして、21新卒入社のtomoriと申します。 新卒研修を終え、6月からデータ基盤チームに配属されて日々エンジニアとして奮闘しています。 ですが、今回はエンジニアリングではなく、音楽を作った話をします。 一体新卒の僕が何の音楽を作ったかというと、freeeの全社員が集うミーティング「Weekly Aekyo Hour」のテーマソングを作りました。 この記事では、作ることになった経緯や全社員が集まる場のテーマソングをどのように形にしていったか、などのお話していきます。 注：所々、音楽用語が出てきます。ご了承ください。 Weekly Aekyo Hourとは Weekly Aekyo Hour (以下WAH) とは、freeeの全社員が月に2~3回集まる全社ミーティングです。 このミーティングでは、社員の小噺やイベントのお知らせ、CEOの一言など様々な人たちが話す場となっております。 昔

こんにちは、キャリアに悩めるエンジニアのichienです。先日はfreeeの巨匠制度の歴史についてこちらの記事でご紹介しましたが、今回は初代・二代目巨匠であるterashiさん、ebiさんをゲストに招いて当時の感想を聞きました。terashiさんは理系出身・生粋のスペシャリストタイプ、ebiさんは文系出身・様々な職種を経験してきたジェネラリストタイプという対照的なキャリアを歩んでおり、キャリアに対する考え方についても話してもらいました。 巨匠に選ばれて1ヶ月で何を作ったか ichien:お二人はどんな成果物を発表したんですか？ terashi:freeeの「自動で経理」という機能で、どの勘定科目でどの品目でというのを機械学習でやっている部分があるんですが、そのサジェスト結果を評価をするための基盤を作りました。サジェストを評価するために十分なログを残す、それを評価するフレームワークを作るとい

DevBrandingのellyです。freeeのエンジニアには”巨匠”という「1ヶ月間通常業務から離れ非連続的な成長をもたらす成果を考え実行する」制度がありました。現在、その巨匠制度はマジ価値DeepDiver・ワンマンNavyという2つの制度に生まれ変わっています。今回は、これらの制度が生まれた背景とその歴史についてご紹介します。 なお、3部構成の連載形式で掲載していきますので、今後公開される記事についてもぜひご覧ください。 ※ 日程、タイトルは一部変更になる可能性があります 日程 タイトル 執筆者 10/13 自分の枠を超えサービスの非連続的進化を生み出すfreeeの「巨匠制度」の歴史 elly 10/18 初代・二代目巨匠が考えるエンジニアキャリア terashi/ebi/ichien 10/25 マジ価値DeepDiverを終えて liao 巨匠とは 巨匠制度は、2015年12月