この記事は enechain Advent Calendar 2024 の12日目の記事です。 はじめに こんにちは！ enechain でデータプラットフォームデスクのEMをしている26Takafujiです。 私は2023年9月にenechainへジョインし、そこからちょうど1年強の時間が経ちました。 入社時はまだ全社横断のデータ基盤は検討中の段階で本格的な提供はこれからという状態でしたが、この1年間でデータ基盤としての1st Stepである「まずはデータを集める」を進めてきて、主要なデータソースのBigQueryへの集約を一通り仕組み化できました。 今回は進めてきた仕組み化の中で、データ界隈では数年前から巷でよく取り上げられる「データメッシュ」の概念を念頭においた時、BigQueryへ集約されたデータの管理をどういった形で考えたのかを書いてみたいと思います。 これからデータ基盤を構築し

2024/12/10に開催された3社合同フロントエンド合同勉強会で話した内容 https://prtimes.connpass.com/event/335335/

Introduction of Mercari BI team and Case Studies of Analytics for Service in US

公開日 2024/12/10更新日 2024/12/10Google BigQueryからSnowflakeへ。バクラクのデータ基盤技術移管事例 はじめにLayerXでは、「バクラク」という企業のバックオフィス業務を効率化するクラウドサービスを提供しています。稟議、経費精算、法人カード、請求書受取、請求書発行といった経理業務に加え、勤怠管理といった人事領域（HRM）の業務を効率化するサービスも展開しています。最新のAI技術を活用し、お客様の業務が、より「ラク」になる環境の実現を目指しています。導入実績は10,000社を超え、多くのお客様に選んでいただいております。 バクラク | バックオフィスから全社の生産性を高める このようなサービスを支えるためには、ビジネスニーズに迅速に応えられる拡張性の高い効率的なデータ基盤が不可欠です。バクラクでは、サービスの成長と共に増大するデータ量や複雑化する

はじめに こんにちは、株式会社iimonでフロントエンドエンジニアをしている「みよちゃん」です。 本記事はアドベントカレンダー10日目の記事になります！ 自分が参画しているプロダクトでは普段FWを使っていないのですが、せっかくのアドベントカレンダーなので普段やらないことをやりたい！ということで、少し(?)前から流行っているSvelteを触ってみることにしました！ 後半は実際にSvelteを動かしながら、その記述方法や特徴にも触れているため、ぜひ一緒に動かしてみてください！ Svelteの特徴 Svelteとは Svelteは、webアプリケーションを構築するためのツールです。他のUIFW同様「マークアップ」「スタイル」「振る舞い」を組み合わせたコンポーネントアプリを宣言的に構築することができます。これらのコンポーネントは小さくて効率的な JavaScript モジュールに コンパイル され

知らずのうちにやっていそうな危ないSSH,SFTPの使い方を平易にお知らせします。本稿は、システム設計・保守者へのセキュリティ注意喚起です。SFTP、SSH、SCPというキーワードにピンときた方は読んでみてください。 この記事は、Cyber-sec+ Advent Calendar 2024 の 9 日目の記事です。 はじめに サイバーディフェンス研究所の安井です。長年制御システムを開発してきた経験から制御システムセキュリティ向上に取り組んでいます。 制御システム業界も徐々にセキュリティ意識が高まっており、ftpやtelnet等の平文のプロトコルは減り、代替として、SFTPやSSH等の暗号化したプロトコルへの移行が進んでいる気がします。 良いことだと思いますが、暗号化したから安心と思っていませんか？ 今回は、「正しい使い方をできていなければ、逆にセキュリティを弱くしている可能性すらある。」

小咲もも @mangakakuhito 「一つ嫌なことがあると全部嫌になる」タイプの子供の話がTLに流れてきたけど、うちの娘もそうだった。 例えば、娘の好きな映画に連れて行ってお土産を買って行きたいレストランに連れて行っても、ソファ席に通されなかっただけで「今日は何も良いことがない」と言うことがあった 原因は3つある→ 2024-12-08 21:58:57 小咲もも @mangakakuhito ①適した言葉を知らない ②快よりも不快を感じやすい ③良いことに対するセンサーを鍛えられてない ①適した言葉を知らない どれだけこちらが楽しいことを用意しても、その時の気分が「最悪」なら「最悪」と言ってしまうのだ。 大人なら、その前にしてもらった色々なことを思い出して、これは失礼 2024-12-08 21:58:58 小咲もも @mangakakuhito だから黙っておこうと考えられるが、娘

こんにちは。CISO管掌の脅威情報分析対応チームでセキュリティエンジニアとして活動している首浦です。 本記事ではランサムウェアについての解説に加え、8Baseの解析結果を紹介します。 ランサムウェアとは まず初めにランサムウェアとは、感染端末から内部システムのデータを暗号化・窃取することでそのデータやコンピュータを「人質」として、身代金などを要求するマルウェアの一種です。 暗号化前のファイルは完全に端末から削除され、感染端末外部（USBメモリやクラウドストレージ等）にバックアップが存在しない場合、ファイルを復元するためには、暗号化されたファイルを復号する必要があります。 ランサムウェアを用いる攻撃者はこの復号に必要な鍵と引き換えに金銭などを要求します。ただし、身代金を支払った場合においても復号鍵の引き渡しを拒否する場合や、復号鍵での復号が失敗する場合があり、必ずしも身代金を支払えば解決する

英語を学ぶって、本当にお金と時間がかかる…！ 外国人に道を尋ねられたとき、就活などの人生の大切なターニングポイント、そしてお仕事の場など、英語力が必要とされる場面が格段に増えてきました。 まず家でできるリーズナブルなオンライン会話を始めようと思っても多忙でなかなか続かず、思い切って塾に通おうと思うと数十万の費用で手が出せないなど…お金や時間が課題で挫折しがち。そんなこんなでハードルが高いと思われがちな英語学習ですが、実はChatGPTを使えば、英会話からリーディングやライティングの対策までできちゃうんです♡ 今回は現在イギリスの大学に留学中のライターKが、ChatGPTがあれば完結する、コスパ抜群の英語学習法をお届けします。 スピーキング ①ChatGPTと英会話 「え？ ChatGPTと英会話？ どうやって？」と思った方も多いかもしれません。 実際に私がやっているのは、「シチュエーション

STEP2. アウトプットを実現するために必要なデータソースを書き出す アウトプットの整理ができたら、今度はインプットとなるデータソースの整理を行いましょう。 必要なデータソースは要件から読み解くことができます。 今回は「10代のユーザーの月間視聴数（性別 / 動画カテゴリごと）の推移をグラフで見たい」という要件です。 ここから、この分析に必要なエンティティ（実体）とその属性、集計値を抽出しましょう。 エンティティと属性 ユーザー 性別 年代 動画 カテゴリ 集計値 視聴数 これらのデータを管理するテーブルを、調査やヒアリングを実施して探します。 今回は以下のテーブルを使用することとします。 user：ユーザー登録に必須な入力項目を管理するテーブル user_profile：ユーザーが登録後に設定できる任意の入力項目を管理するテーブル video：ユーザーが投稿した動画を管理するテーブル

この記事は Commune Advent Calendar 2024シリーズ1と、dbt Advent Calendar 2024の 6日目の記事です。 dbtのincremental modelを使った、日々の集計データを追記する履歴テーブルを皆さん運用していると思います。 何かしらの理由により空振りしてしまったり、洗い替えをするときに空白の期間が発生した時にすぐに検知出来るテストが欲しいですよね。 そんな時にぴったりなものが dbt-expectations の expect_row_values_to_have_data_for_every_n_datepart です。 ネット上に記事が7件、それも利用者の記事は0件と、とても知名度が低いので今回取り上げることにしました。 きっと1年後には皆が使っている事があたりまえなテストの1つになってるはずです。 インストール方法 package

（ＣＮＮ） シリア反体制派は今週、北部アレッポに続き、政府から中部の要衝ハマも奪取した。反体制派武装勢力を率いる過激派組織「シャーム解放委員会」（ＨＴＳ、旧ヌスラ戦線）のジャウラニ指導者はその最終的な目標について、独裁的なアサド大統領を打倒することだと語った。 ジャウラニ氏はＣＮＮとの独占インタビューで、国際テロ組織「アルカイダ」の分派組織から形成されたＨＴＳの野望は、アサド政権を終わらせることに他ならないと断言。同氏は制度に基づく政府と「国民が選んだ評議会」を創設する計画について語った。 ジャウラニ氏は現政権の打倒という目標を達成するためにあらゆる手段を使うのは自分たちの権利だとしたうえで、「政権の破滅の種は常に政権内にあった。イランは政権の復活を試み、時間を稼いだ。その後ロシアも政権を支えようとした。しかし真実は変わらない。現政権は死んでいる」と述べた。 ジャウラニ氏はインタビューで、

オージス総研はオリックス向けシステムでのトラブルを巡り、開発元の両毛システムズを訴えた。裁判で焦点となったのは、データの排他制御機能の扱いである。前橋地方裁判所は一審判決で排他制御機能の具備を「技術常識」と断定。「考慮する役割はもっぱら開発者」として両毛システムズの債務不履行を認めた。両毛システムズに4億1047万円の支払いを命じたが、両社とも控訴した。 大阪ガス子会社のオージス総研はオリックスから受注したシステム開発プロジェクト（オリックス案件）におけるトラブルを巡り、同業の両毛システムズを提訴した。オージス総研の発注を受けて両毛システムズが開発したシステムに瑕疵（かし）があったとして債務不履行などに基づく損害賠償、さらにはオージス総研がプロジェクト途中で両毛システムズを支援した業務に対する報酬の支払いを求めた。その額は損害賠償が21億9561万円、報酬が12億1390万円の計34億円超

はじめに DMO（Data Management Office）でデータプラットフォームセクションを担当しています東條です。データプラットフォームセクションはOisixを中心としたデータ基盤の構築・整備を担当しています。このデータ基盤にはSnowflakeとdbtを使用しています。今回dbt-core v1.8.0で追加されたUnit testsを導入してわかったことを紹介していきます。 dbtのUnit testsとは まずは簡単にdbtのUnit testsを紹介します。dbtのUnit testsはソフトウェア開発において実施されるユニットテストをdbtでも実現できるようにしたものです。dbtの1つのmodelをソフトウェアの最小単位としてとらえて、入力データと期待されるデータを準備します。入力データをテスト対象のmodelが処理し、その出力結果と期待されるデータを比較し検証すること

Spotifyでは毎年12月に、その年にSpotifyでよく聞いた曲やアーティストをまとめた「Spotifyまとめ(Spotify Wrapped)」を自動で作成するサービスを提供しています。このSpotifyまとめにGoogleのNotebookLMを組み合わせ、「1年を通じてのユーザーの音楽履歴を、2人のAIホストが会話形式で振り返るポッドキャスト番組」を自動生成する新機能「Spotify Wrapped AI Podcasts」を追加したことを、GoogleとSpotifyが発表しました。 Google’s NotebookLM and Spotify create Wrapped AI podcasts https://blog.google/technology/google-labs/notebooklm-spotify-wrapped/ https://newsroom.sp

・コテンパン ・ハックション ・パパウパウパウ あと一つは？

React 19 is now stable! Additions since this post was originally shared with the React 19 RC in April: Pre-warming for suspended trees: see Improvements to Suspense. React DOM static APIs: see New React DOM Static APIs. The date for this post has been update to reflect the stable release date. In our React 19 Upgrade Guide, we shared step-by-step instructions for upgrading your app to React 19. In

アメリカの大手通信会社に対する中国の大規模なハッキングが続く中、アメリカの連邦捜査局(FBI)やサイバーセキュリティ・インフラストラクチャ・セキュリティ庁(CISA)らが共同で、セキュリティを強化するよう通信会社や一般市民に呼びかけました。 Guidance Urges Visibility and Device Hardening against PRC-Affiliated Threat Actor > National Security Agency/Central Security Service > Press Release View https://www.nsa.gov/Press-Room/Press-Releases-Statements/Press-Release-View/Article/3982793/guidance-urges-visibility-and-d

先月から今月にかけて、ソブリンクラウドに関するプレスリリースが相次いだ。一つはNTTデータがソブリンクラウド市場へ参入するというニュース、もう一つがNRIがソブリンクラウドのサービスを拡充するというニュースである。 これによって、現在日本でソブリンクラウドと銘打ってサービスを提供しているベンダは、NRI、富士通、NTTデータの三社となった。三社ともOracle Alloyをかついでいる。日立とNECはソブリンクラウドについてのウェブサイトは作っているが、まだ参入はしておらず様子見のようである。 Oracle Alloyのサービスモデルさて、このように最近何かと耳にする機会の増えたソブリンクラウドであるが、その実体が何で、これがあると何が嬉しいのかというのはあまり理解されていない。それもそのはずで、このコンセプトが切実に意味を持つのは欧州においてであって、日本の置かれている環境においてはいま

組織で仕事をするなら自身の専門領域や役割を越境していくスタンスでいた方がいい。 役割をきっちり隙間なく分けることはむずかしいし、できたとしても状況の変化によってすぐに隙間ができてしまう。ボールが落ちないようにするには、お互いのカバー範囲を少しずつはみ出しておくしかない。個々人にとってもメリットは大きい。できることが増えやりとりの負荷も下がり、自分の仕事もしやすくなってくる。 LayerX社の「ボールを拾う人が偉い」や、リクルートの「染みだす」といった言葉は、"越境" を奨励するということだと理解している。 自分の隣の領域にも興味をもって関わっていくだけではあるのだけれど少しだけ注意点もあると思っていて、雑にまとめておきたい。 1. 体験して観察する 一見「もっとこうしたらいいのに」と思うことがあっても、いきなり否定して変えようとしないこと 越境先へのリスペクトを持って、いったん郷に従ってみ