TL;DR BigQuery Emulator と fake-gcs-server を組み合わせることでbqコマンドでCSVファイルを読み込んでETLのインテグレーションテストができた。 はじめに こんにちは。先日こちらの記事を書いたCTO-Officeの藤本です。そこでは書ききれなかったETLについて書いておきたいと思います。 ビッグデータを扱うETLのテストを行いたい場合に、DBからExtractするEの部分など、ユニットテストやモックでは担保できないところが出てきます。 そのようなインテグレーションテストに、OSSのBigQuery Emulatorを活用できる場合があります。 背景 モノタロウでは、マイクロサービスで実装したGoのロジックをApache Beam Go SDKでラップして、Cloud Dataflowで定期実行することで商品の出荷目安のデータを生成して様々なチャネル

パスキーの本質はユーザー側としてはパスワード入力機会の削減、サービス側としては企業のセキュリティリスクのユーザーへの責任転嫁とコストカットである。 サービス側 企業がユーザーにパスキーを使わせようと強要するのはログイン情報の流出や流出したログイン情報による攻撃のリスクと責任とコストから企業を守るために認証に関する問題がユーザー側の責任によってしか発生しないよう責任転嫁したいからに過ぎない。このため認証情報の紛失や盗難などによる喪失リスクと復旧の困難性やその他新たに発生する問題については隠蔽または矮小化される。企業にとってパスキーとはパスワードの定期的変更の最新版なのでありユーザーがパスキーを強要されるのはパスワードの定期的変更を強要された歴史を繰り返しているに過ぎない。 ユーザー側 パスキーの適切な実装におけるユーザーの本質的利益はパスワード入力機会が減ることによりフィッシング被害を受ける

GitHub has a long history of offering free products and services to developers. Starting with free open source and public collaboration, we added free private repos, free minutes for GitHub Actions and GitHub Codespaces, and free package and release storage. Today, we are adding GitHub Copilot to the mix by launching GitHub Copilot Free. Now automatically integrated into VS Code, all of you have a

この記事は hacomono advent calendar 2024 の18日目の記事です 今年9月にhacomonoにJOINし、基盤本部というところで今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。分散システムが好きです。 hacomonoも昨今のWebサービスの例にもれず、分散システム化しています。 そしてより高い可用性と低い運用コストを目指して新たなアーキテクチャの検討をしています。 今回はその取り組みのなかで、分散システムに関わる難しさというテーマで一貫した時刻の取り扱いの話で記事を書きます。 はじめに 昨今のWebをはじめとしたサービスは一つのサーバーで完結することが少なくなりました。 一つのアプリケーションを複数のサーバーやコンテナで、そして異なるサービスのシステムを組み合わせて「分散システム」として構築されています。 それは可用性や負荷分

ホンダと日産自動車が経営統合に向けた協議に入る。持ち株会社を設立し、傘下に両社がぶら下がるかたちで調整する。将来的に三菱自動車が合流することも視野に入れる。世界の自動車産業は米テスラや中国勢など電気自動車（EV）メーカーが既存大手を脅かしつつあり、テクノロジーとプレーヤーの両面で歴史的な構造転換が進む。国内3社は技術力など経営資源を結集し、世界3位グループへの浮上を目指す。【関連記事】世界3位グループの自動車メーカー誕生へ

東京商工リサーチが全国5277社にアンケートを行ったところ、およそ5割の企業が最低賃金1500円を5年以内に実施「できない」と回答していることが分かりました。 「できない」と回答した企業のうち半数近くが、賃上げした企業の法人税を減税する「賃上げ促進税制の拡充」を求めているということです。 東京商工リサーチの分析 「企業の努力だけでは賃上げの実現が難しい部分もあります。税の免除や投資への助成など、国による支援が必要です」 政府は、2020年代に最低賃金を1500円まで引き上げる目標を掲げています。 （「グッド！モーニング」2024年12月17日放送分より） ▶住友生命　来年度営業職3万人の賃金引き上げ平均5％超へ ▶総理閣僚らの給与据え置きへ　国家公務員は平均1万1183円引き上げ

はじめに 過去の古いMySQLのバージョンでは、テーブル定義の変更を伴うようなDDLを実行する際には、元のテーブルとは別に新しいテーブルを作成し、元のテーブルデータを新テーブルにコピーした後に元のテーブルと入れ替えるといった手法で行われていました。 また、その間の対象テーブルへの更新はブロックされるといった挙動であった為、アプリケーションサービスを稼働中にDDLを実行するというのが、かなり敷居が高いものでした。 それが、MySQL5.5 より Fast Index Creation が採用され、InnoDBのセカンダリインデックスの作成、削除にはテーブルコピーを伴わないで実行できるようになり、処理の高速化が図られています。 その後、MySQL5.6 ではオンラインDDLが使用できるようになり一部のDDLでは、テーブルコピーを伴わずに、更新もブロックしないということが可能となり、更に MyS

はじめに 先日(2024/11/30)に「App Router で学ぶテスト実践会」を主催しました。 この勉強会を開催したきっかけは、筆者含め App Router のテストに関して情報が少なく、他社のエンジニアがテストをどのように行っているかを知りたいという思いがあったからです。また、この勉強会を通じて、新しいテスト手法があればそれを知りたいという思いもありました。実際にチャレンジした内容とその結果をレポートとしてまとめました。 要件・仕様 ログインページからダッシュボードページ、請求一覧、登録、編集、削除できるアプリケーション Next.js のチュートリアルで作成した管理画面に 1 からテストを導入する どこか 1 つのページにテストを書いて正常にパスがしていること 設計やライブラリ選定はチームで決めてもらう 実際のアプリケーションはこちらです。 レポート Playwright で

HonoというWebフレームワークがあります。Express.jsのような書き方でWebアプリケーションを作れるものです。 import { Hono } from "hono"; const app = new Hono(); app.get("/", (c) => c.json({ message: "Hello, Hono!" })); export default app; HonoはWeb標準準拠を謳っているフレームワークです。それを聞くとなんだか小難しく感じます。 Web標準とは Request と Response のインスタンスを扱うということです。これらは主にブラウザ上のJavaScriptのfetch関数が取り扱うオブジェクトですね。 RequestはfetchでHTTPリクエストを送信するときに、データをまとめておくオブジェクトです。例えば送信先のURLやHTTPメソ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? もう10年ぐらい前の話なので懺悔として記載します。 背景 まだ駆け出しのネットワークエンジニアだった私は、先輩から「こういうルータ作ったんだけど動作検証しといて」と資料一式を渡されました。 店舗の重要性が増してきたため、店舗のWAN回線を冗長化したいという商談でした。既存環境の設計書やコンフィグもあり、追加WANルータのコンフィグも既に先輩が作ってくれていました。私は試験仕様書を書き、検証環境を組み、冗長化試験を行いました。特にコンフィグを訂正することもなく試験は完了したため、先輩に引き渡しました。なのに・・・本番環境ではうまく動かなか

この記事は fujiwara-ware advent calendar 2024 の17日目です。 awslim とは awslim は Go で実装された AWS CLI のようなものです。といっても、AWS CLI と100%の互換機能を持っているわけではありません。 より正確な表現としては、「AWS SDK Go v2 のクライアント機能をCLI化したもの」というところでしょうか。 なぜ作ったのか AWS CLI は便利ですが、起動が遅いという大きな不満がありました。Python で実装されていることもありますが、なぜか初期化にとても時間が掛かります。具体的には特にAPI呼び出しも何もしない aws --version でも0.7秒程度掛かります。 手元で使うだけならばそこまで問題でもないのですが、例えば「あるサービスのメトリクス (CloudWatchには存在しないが AWS CL

公開日 2024/12/17更新日 2024/12/17月間2,000万人が使うメルカリ検索機能のアーキテクチャ。ElasticsearchのTiered Index設計とGatlingによる負荷検証 メルカリはお客さま同士でモノを売買できる日本最大のフリマアプリで、サービス開始から累計40億品以上の商品が出品されています（2024年9月時点）。そんな膨大な商品の中から欲しいものを見つけるために欠かせないのが検索機能です。 この記事では、今の検索チームが運用しているシステムに設計段階から関わっているメンバーの私が、主に設計時に盛り込んだ工夫を紹介しようと思います。 メルカリの検索機能の紹介検索機能は希望の商品を見つけやすくするために不可欠な機能です。例えば、“iPhone”と検索したら、“iPhone”に関連する商品がたくさん出てきます。検索機能は主に以下に説明する4つを提供しています。

この記事は、 NTT Communications Advent Calendar 2024 17日目の記事です。 みなさんこんにちは、イノベーションセンターの平木です。 Network Analytics for Security1 (以下、NA4Sec)プロジェクトのメンバーとして活動しています。 この記事では、利用終了ドメイン名観測の環境構築の知見を共有していきます。 明日の記事では観測されたログの分析結果を紹介したいと思います。 利用終了ドメイン名観測分析施策の背景と目的 工夫した点 DNSクエリのみならずWebアクセスログも取得する パブリッククラウドとマネージドサービスを利用する 構成 大量アクセスを捌くコツ コスト まとめ 利用終了ドメイン名観測分析施策の背景と目的 昨今、廃止したドメイン名がドロップキャッチ2され被害にあうケースが多発しています。 NTTドコモグループでも、

これは SMat Advent Calendar 2024 の12/17分の記事です。 弊社では「SmartMat Cloud」というIoT重量計 x SaaSでモノの流れを可視化するサービスを提供しております。最近お客様がスムーズにオンボーディングできるように、スマホのweb appのプロトタイプを作っております。当時のスプリントのゴールは商品の初回登録の時はスマートマットのシリアル番号や製品バーコードを読み取って検索するプロトタイプを狙いました。 バーコードリーダーはnpmのzxing-wasmがデファクトスタンダードでしたがスマートマットのシリアル番号はOptical Character Recognition(OCR)が必要でした。 OCR in the browser OCRはtesseract.jsでしょう？と思いましたが、ocrsというプロジェクトが気になりました。 ocrs

学生プログラマーとの関わりこれまで6人の学生プログラマーさんに仕事を手伝ってもらってきました。最初は「仕事を手伝ってくれたら嬉しいな」くらいの気持ちでしたが、最近は学生さんの成長を見るのが楽しくて、仕事が大してなくても雇っています。バイト代も払っていますが、ここで言う「弟子」みたいなものかなと思っています。 これまで4人の学生さんが卒業していきましたが、彼らはいずれもゲーム会社に就職しています。業界最大手の会社や、その子会社などです。 自分のプログラマー歴話の前に軽く自分の経歴を説明しておきます。大手でゲームプログラマーとして10年。メインはグラフィックのプログラムでした。その後、独立して8年ぐらいプログラムも書きつつゲームデザイン、ディレクションもしてゲームを作り続けています。代表作は最近だと『Godzilla Voxel Wars』です。 採用で重視していること学生さんが皆ゲームプログ

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます エルピーアイジャパン（LPI-Japan）は12月16日、無償の「Linux」教材の最新版「Linux標準教科書 バージョン4.0.0」をリリースした。演習を中心に利用者が独学をしやすい構成となった。PDF版およびePub版は無償、「Kindle」版および製本版は有料となっている。 Linux標準教科書は、Linux技術者認定「LinuC」のレベル1（Linuxサーバーの構築や運用）での101～102試験の学習範囲に含まれる基本的なコマンド、ネットワークの設定と管理、ファイル管理などLinuxの基礎知識を系統立てて解説しており、これまで20万回以上ダウンロードされている。 最新版は、ITエンジニアのコミュニティー「LinuC Open

STORES 技術基盤グループの id:atpons です。普段は STORES 全体のパブリッククラウドや開発で利用している SaaS の管理をしています。今回は STORES で管理している AWS Organizations のメンバーアカウントのルートユーザーを全部削除したので、進め方について書いていきます。 この記事は STORES Product Blog Advent Calendar 2024 11日目 の記事です。 はじめに STORES では、プロダクトの開発や運用に AWS を採用しています。その上で、AWS Organizations を導入しており、各アカウントへのログインは IAM Identity Center と Okta を経由した SSO により、IAM ユーザーを利用しない方針で運用しています。STORES における AWS Organizations