はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部（和）です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部（和）が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化、データ保存は下記のような流れで行います。 Rerun SDKを使ってデータをログとして保存または読み込み ビューアでリアルタイムや記録済みデータを確認 UIやSDKで視覚化のカスタマイズ クエリ機能でデータをPanda

エンジニアリングマネージャーをしています芦川です。2024年12月16日に GitHub Universe 2024 Recap in ZOZO に参加、登壇させていただきましたので、そのご報告いたします。 イベント内容としては、冒頭、GitHub 服部様によるGitHub Universe 2024のRecap（めちゃくちゃ丁寧な説明、copilot初心者の私でも分かる内容！）、続いて株式会社ZOZO 山田様によるiOS開発におけるCopilot For XcodeとCode Completion（3番勝負が非常に面白かったです！copilotの勝ち！）、同社佐藤様によるGitHub Copilot のテクニック集（すぐにでも使えるショートカットやプロンプトの書き方満載でした！）というところで、短時間ながらも非常に濃密な時間でした。 私の方からは、GitHubの活用事例として、インナーソ

はじめに LITALICO の @katzumi です。 2020 年に LITALICO へ Join して以来、ずっとレセプト業務の開発に携わってきました。 レセプト業務は複雑なドメインゆえミスが許されず、さらに３年に一度の大きな報酬改定があり、ロジックが大幅に変わります。 その改定作業は情報公開から実装完了までの期間が約 3 ヶ月と短いです。また、年々複雑化するシステムに対応する必要があります。 その複雑な業務に立ち向かった内容を過去にも以下の内容で開発業務の記事を書いていました。 今年 2024 年は法改正の年になっており、取り組みの結果、その後どうなったのか？を振り返っていきます。 今回も壮絶だった法改正 私自身の大規模法改正の経験が今回で 2 回目となります。 チーム構成としては私ともう一名を除いて前回の　2021 年度法改正を経験したメンバーがいませんでした。前回は 3 種類

ダイニーの urahiroshi です。 2023年の12月から Engineering Manager として活動しており、この1年間は特に採用活動を軸とした組織の強化を中心に行ってきました。この記事では、エンジニアリング部門の「組織」「採用・広報」「育成・評価」という項目について、2024年の変化を振り返ったうえで2025年の展望を記載します。 組織2024年の組織の変化ダイニーのエンジニア部門はミッションによって “Feature Team”, “Platform Team”, “Data Team”, “Discovery Team” の4チームに分かれています。 プロダクトの機能開発を担っているのが Feature Team ですが、2024年は「ダイニーキャッシュレス」、「ダイニーモバイル決済」、「ダイニー勤怠」といった新しいプロダクトをリリースしました。これに伴い、ダイニーキ

どーもちょびえです。余暇でUnity向けにWebAssembly Specification 2.0に準拠したWebAssemblyのRuntimeとWGSL派生言語からWasmへコンパイルする機能を開発しています。 この記事はWebAssembly / Wasm Advent Calendar 2024の４日目で、WebAssembly Validationアルゴリズムの学び方について仕様書をもとに具体的な手法を解説します。 対象の読者 本記事ではWebAssemblyのデザインゴールの確認から、平易に書かれたHTML+JavaScriptで実装された簡易WebAssemblyインタプリタで動作するサンプルを使ってValidationと制御構造の問題に取り組みます。そのため初学者は仕様を理解していないと難解な部分もあります。もし難しいと感じた場合はstep by stepで説明されている

カミナシのエンジニアリング組織では、チームメンバーの AWS アカウント環境への定常的なアクセス権限として「センシティブな情報を除いた全リソースへの ReadOnly Access」を付与しており、一方で書き込み権限については必要に応じてメンバーが一時的に権限を獲得できる仕組みとシステムを開発し、運用を行っています。 本記事では、そういった仕組みを開発するに至った経緯や仕様、そしてこれを数ヶ月ほど運用した結果と今後の展望について紹介します。 このシステムは『ハマヤン』という名前で呼ばれていますが、あまねくユーザーに愛される素敵な名称であり、Sec Eng チーム内でも大人気です。開発者が濱野さんだからハマヤンにしたのでは？と社内で言われることがありますが、真相は不明です。 ハマヤンを開発した理由 ハマヤン開発前の2022年頃、カミナシではソフトウェアエンジニア全員が Administrat

はじめに こんにちは、atama plus でデータエンジニアをしている kumewata です。 先日リリースした新機能のダッシュボードを作ることになり、初めて Streamlit で実装をしました。既存コードを読んだり、自分で実装する中で実装・運用を楽にする Tips がたまったので紹介します。 弊社では Streamlit を利用したアプリケーションを簡単にデプロイできる基盤があり、今回はそれを利用しています。詳しくはこちらの記事をご覧ください。 Streamlit とは Streamlit はデータアプリケーションを簡単に構築できるフレームワークです。Python の実装でデータの可視化やインタラクティブな UI を作れ、とても便利です。 弊社でも BigQuery と連携したダッシュボードやプロトタイプ開発などで利用しています。 Tips 紹介 コンセプト理解 Streamlit

概要 本記事では、Gemini、Claudeの各LLMでPDFを読み込ませてmarkdownへ変換し、その際、文章の欠落がないかの精度や、その処理で発生する料金について比較した結果を紹介します。 一方で、GPTは現時点でPDFを扱えないので対象外としています。 LLMによるPDFからmarkdownへの変換 Claudeの公式ドキュメントによると以下の流れでPDFを読み込み扱えるようにしているようです。 ドキュメントの内容を抽出 ドキュメントの各ページを画像に変換 各ページからテキストが抽出され、ページの画像とともに提供 文書をより深く理解するために、テキストと画像の両方を分析 ドキュメントは分析用にテキストと画像の組み合わせとして提供 これにより、ユーザーは、グラフ、図、その他の非テキストコンテンツなど、PDF の視覚要素に関する洞察を求めることができる ドキュメントをmarkdownへ

この記事は Magic Moment Advent Calendar 2024 3 日目の記事です。 Magic Moment でエンジニアをしている 栗原 です。 みなさん。マイクロサービスアーキテクチャのプロダクトの開発していると、大量に起動したサービスがローカル環境のリソースを圧迫してしまい、エディタが思ったように動いてくれないといったことはありませんか。 GCP workstationやGitHub Codespacesなどクラウドベースの開発をすると解決できますがコストが見合わないですし、使うサービスだけ立ち上げてというのも開発している機能によってはできません。PCのスペックを上げて。。。きりが無いですね。もう駄目だと思った時閃いたのです。 「そうだ、エディタを変えよう」 谷村新司さんが、昨日、今日、明日。変わり行く私と歌ったようにエディタの世界も日々変わっているはず。 そして見

SREの菅原です。 この記事はカンム Advent Calendar 2024の4日目の記事です。 最近のRedashの開発状況について、知っている範囲ですこし書いてみたいと思います。 redash.io Redashといえば様々なデータソースをSQLを使って可視化できるBIツールで、カンムでも業務のデータ分析に使われています。 ただ、一昔前にRedashがはやっていた頃に比べると、最近ではトレンドからは外れたような印象があります。 実際、SaaS Redashが終了した2021年から2023年の4月あたりのGitHubのアクティビティを見ると、活動が停滞しています。 Contributors to getredash/redash · GitHub この頃、CVE-2023-0286の対応のため、私はRedashのDockerイメージのベースをDebian busterからbullsey

この記事はCloudflare Advent Calendar 2024 4日目の記事です🎅 株式会社AbemaTVでABEMAの広告開発を担当している黒崎(@kuro_m88)です。今回はCloudflare Zero Trustの新しいSSHについて紹介します。 Cloudflare Zero Trustは2年ほど前に当時の所属部署で導入し、非常に便利だったため個人でも自宅サーバの管理等に利用しています。 ABEMAでも導入の可能性を検証しており、ちょうどその時に新しいSSHの発表を知ったため触ってみました。 Cloudflare Zero Trustを利用して開発環境への安全なアクセス方法を構築する CloudflareでSSHをするメリットとは SSHはSecure SHellの略であるようにセキュアであることは名前からして自明です。なぜCloudflareを使うのでしょうか？

はじめに この記事は CyberAgent Developers Advent Calendar 2024 4日目の記事です。 こんにちは、FANTECH本部の前田(@arabian9ts)です。 私のチームでは複数のプロダクトを数人で同時に開発・運用しています。 これまでのアウトプットは以下のスライドやブログにまとめています。 https://www.cyberagent.co.jp/way/list/detail/id=30678 https://speakerdeck.com/cyberagentdevelopers/cyberagent-inner-sourcing ※2024年12月現在、3事業を横断して7プロダクトを同時開発しており、今後も増えていく予定です。 これまでにも、Developers Blogを通して取り組みを紹介してきましたが、基本的な開発思想はプラガブルであり、

はじめに この記事はアソビュー！ Advent Calendar 2024 の４日目（裏面）です。 こんにちは、アソビューでバックエンドエンジニアをしている長友です。 アソビューでは顧客の期待により迅速に対応するエンジニア組織構築を目的として、今期から”開発生産性向上”にフォーカスしています。 そして、そのアプローチの一環としてFindy Team+の導入・活用を始めました！ この記事ではFindy Team+を導入して数ヶ月間における活用とその効果ついてチーム単位・チーム横断レベルの両面において紹介していきたいと思います。 開発生産性を向上させる体制 開発生産性向上委員会の設置 エンジニア組織として全体の開発生産性を向上させるためにはチーム個別での取り組みの他に横の繋がりの推進も重要です。 そのため弊社では開発生産性向上委員会が設置され、各チームから1人ずつ開発生産性向上委員が選任されま

この記事はANDPAD Advent Calendar 2024の 4 日目の記事です。 メリークリスマス🎄 バックエンドエンジニアの武山 (bushiyama) です。 現在はANDPAD請求管理のバックエンドを担当しています。 なんの記事 protobuf 公式の Proto Best Practices ドキュメントを、私が理解しやすいように要約したものです。 protobuf.dev なぜ読んだか・書いたか 弊社の API 定義は Protocol Buffers を利用することが多いです。 このレビューにおいてレビュアーとレビューイが共通の判断基準を持つことは、 コードの品質向上、チームの効率化、そしてプロジェクトの成功に大きく貢献します。 この判断基準として当該記事がよさそうだということをチームで話し合い、 ただ読むのでは味気ないので、この場を借りてアウトプットしようという試

この記事は CADDi プロダクトチーム Advent Calendar 2024 の4日目の記事です。 Data Management チームの森岡です。要らなくなったものをすぐに捨てられるデータ基盤を意識して日々開発しています。 今回は、クエリコストを下げるための方針を体系的に整理するのと、BigQueryのクエリコスト削減施策の中でとくに効果が大きかった事例について紹介しようと思います BigQueryのクエリコストを削減する3つの基本方針 BigQuryの課金体系には、On-demandとCapacityの2つがありますが、CADDi ではOn-demandで利用しています。そのため、以降の話はOn-demand を前提としています。 On-demandの場合、クエリ実行時にスキャンされたデータ量に対して課金されます。このスキャンデータ量を削減するための方針は、大きく3つに分類でき

はじめに Atlantis とは 背景 ディレクトリ構成 モジュールの運用 AWS IAM role の設定 おすすめの Atlantis の機能 特定の条件がパスされないと atlantis apply を実行できないようにしたい atlantis apply が実行されていない Pull Request がマージされないようにしたい まとめ はじめに platform チームの渡部です。 RevComm の platform チームでは、チームトポロジーのプラットフォームチームのように、ストリームアラインドチームの開発における負担を軽減するために、サービスやプラットフォームの提供を行っています。 今回は、その取り組みの１つである Atlantis を使用した Terraform リポジトリの提供についてご紹介します。組織の拡大とともに Terraform の管理に課題を感じている方や

はじめに こんにちは、セキュリティエンジニアの@okazu_dm です。 突然ですが、皆さんは以下のクイズに自信を持って回答できるでしょうか。これはSRE NEXT 2023で弊社が出題したクイズなのですが、それぞれのポリシーに存在するAllow, Denyのうちどれが優先されるかがポイントになります。 クイズの答えはここをクリック クイズの正解は......「④なし」でした。AWSのIAMポリシーは拒否(Deny)優先です。しかし、それは他のクラウドサービスでも果たして同じでしょうか？ 今回の記事では、各種クラウドサービスにおけるアクセス制御について焦点を当てます。具体的には「それぞれのアクセス制御は拒否優先なのかどうか」を調査しました。 リソースに対するアクセス制御は、クラウドサービス上でシステムを構築する際のセキュリティの根幹となる要素です。特に近年のクラウドサービスは、IAM(Id

こんにちは、ログラスでエンジニアをしております、田中です（@kakke18_perry）。 Webアプリケーション上にあるデータ、例えばユーザーの行動ログなどをダッシュボードで視覚的に表現したいというニーズは多いのではないでしょうか。 Webアプリケーションにグラフ機能を実装する方法は複数あります。 自前で実装する、Chart.jsなどのライブラリを使用する、BIツールを組み込むなど、様々なアプローチが考えられます。 本記事では、その選択肢の一つであるTableau Embeddedを用いた実装方法について解説します。 グラフ機能実装の選択肢 Webアプリケーションにグラフ機能を実装する際、多くの開発者はChart.jsなどのライブラリを選択します。 このアプローチでは、豊富な実装例とドキュメントが存在し、基本的なグラフであれば比較的容易に実装できることが特徴です。一方で、複雑なグラフにな

ゆるSRE勉強会 #4の登壇資料です。 https://yuru-sre.connpass.com/event/332731/

バクラク事業部 Platform Engineering 部 DevOps チームの uehara です。 LayerX Tech Advent Calendar 2024 の4日目となる本記事では、バクラクにおける可観測性向上の取り組みについて紹介します。 はじめに 2024年10月30日に行われたイベントで同じタイトルの発表をさせていただきました。 layerx.connpass.com speakerdeck.com 当日の発表では時間の関係で盛り込めなかった部分も含めて紹介します。 バクラクが抱えていた可観測性の課題 LayerX は コンパウンドスタートアップ として新しい事業やプロダクトを継続的に立ち上げており、バクラク事業部にもすでに7つのプロダクトが存在します。 フェーズや性質の異なるプロダクトが複数並行で開発されており、システム可観測性の観点で以下の課題を抱えていました。

この記事は freee Developers Advent Calendar 2024 の4日目です。 こんぺこ。IAM基盤開発部エンジニアのてららです。 最近NIST SP800-63-4を読むようになりまして、RFCとはまた違った知見が得られてふむふむと毎日を過ごしております。 好きな食べ物はにんじんです。 この子はうちの黒蜜くんです。どうぞよろしくお願いいたします。 #猫 pic.twitter.com/rXXFDz1BBh— てらら👯 (@a_terarara) October 2, 2023 直近ではOAuth Authorization ServerおよびOpenID Connect OpenID Providerにあたるfreeeの外部向け認可基盤（以降、認可サーバー）を移行するプロジェクトを担当しており、日々奮闘しております。システム移行を進めているとリファクタリングをし

📒ペアプロ・モブプロアンケート実施中 🖊️ あなたのご意見をお聞かせください。(2025/1/3 23:59まで） 回答結果は2025/1/6(月)にQiitaで公開いたします。 アンケートはこちらから（1分ほどで終わります） はじめに 巷ではペアプロ、モブプロがホットワードになっており、あたかも開発生産性を向上する特効薬のように取り上げられている印象を受けます。一方、この記事では、ペアプロ、モブプロ開発のネガティブな部分を考え、私の経験から感じたペアプロ、モブプロのアンチパターンとその改善策をご紹介します。 どんなアンチパターンを踏んでいたのか？ 勤務時間は100%ペアプロを実施（ソロプロ禁止） ソロプロは悪、ペアプロが最高というチームの雰囲気 フロー効率を過度に重視する姿勢 どうなったか？ ＋) 開発生産性およびデプロイ頻度は上がった ＋) 4keysなどの数値上の指標はすべてプラ

この記事は、Money Forward Engineering Advent Calendar 2024 12/4 の投稿です。 12/3 は VTRyo さんで SRE Kaigi 2025に 「一人から始めたSREチーム3年間の歩み -求められるスキルの変化とチームのあり方-」で登壇します でした。 adventar.org こんにちは、マネーフォワードでバックエンドエンジニアをしている @hktechno です。 現在、マネーフォワードでは、バックエンド開発においてこれまでの Ruby on Rails に加えて、サーバーサイド Kotlin の導入を推進しています。 私は現在、これからサーバーサイド Kotlin を導入するプロジェクトや、すでに導入したプロジェクトに対して、社内標準の技術スタックを定義して提案したり、社内向けの共通ライブラリ・ベストプラクティスを提供したりすること

この記事は Timee Advent Calendar 2024 シリーズ 1 の5日目の記事です。 はじめに こんにちは。タイミーの DRE チームの chanyou です。2024年の3月に DRE チームにジョインして、社内のデータ基盤を作って運用しています。 DuckDB を使ってデータ基盤で扱うデータの品質を保証し始めたので、その内容をご紹介します。 データ品質と完全性 タイミーのデータ基盤で重視しているデータ品質 タイミーでは、DMBOK を参考に以下のデータ品質を重視して設計や日々の運用を行っています。 特性 意味 完全性 データが欠損していないか 適時性 必要なときにすぐにデータを参照できるか 一意性 データが重複していないか 一貫性 型・タイムゾーン・表記揺れなど、値の書式や意味が統一されているか 今回は完全性にフォーカスします。 完全性が損なわれるタイミング 上記の通り

こんにちは。X（クロス）イノベーション本部クラウドイノベーションセンターの柴田です。この記事では Rego の Linter である Regal を紹介します。1この記事は 電通総研 Advent Calendar 2024 の 5 日目の投稿です。前日の記事は井手さんの「入社 3 年目の業務内容紹介」でした。 Open Policy Agent / Rego とは？ Regal とは？ Regal を実行する Lint を実行する ローカルで実行する インストールする 実行する CI で実行する エディタと組み合わせて実行する コードを自動修正する ルール 組み込みルール カスタムルール Regal を設定する 設定ファイル 格納場所 サンプル 設定ファイルの書き方 rules ignores capabilities project デフォルトの設定値 ルールを抑制する inline

[ { "foodId": "001", "name": "寿司", "country": "日本",  //partition key "price": "2000", "category": "米類" }, { "foodId": "002", "name": "うどん", "country": "日本",  //partition key "price": "500", "category": "麺類" }, { "foodId": "003", "name": "パスタ", "country": "イタリア",  //partition key "price": "1000", "category": "麺類" }, { "foodId": "004", "name": "餃子", "country": "中国",  //partition key "price": "300",

はじめに テストの種類 テストレベル テストタイプ テスト戦略 Reactのテストで個人的に躓いたところ UIコンポーネントのテスト Reduxを使っている場合 @mui/x-date-pickerを使用している場合 MUIのコンポーネントでテーマを使用している場合 カスタムフックのテスト まとめ 参考記事 はじめに こんにちは、株式会社iimonでエンジニアをしている遠藤です！ 本記事はiimonアドベントカレンダー5日目の記事となります。 最近、フロントエンドのコードでリファクタリングをしたい箇所があったのですが、該当箇所のテストコードがありませんでした。 また、自分自身「フロントエンドのテストコードって何をどうやって書けばいいんだ・・・？」という状態だったので、今回はテストの種類と戦略について学んだことを整理しつつ、実際にReactのテストで初心者の自分が躓いたポイントを紹介します。

前置き こんにちは、マネーフォワード名古屋拠点でエンジニアをしている @sainu です。 今回は私のプロジェクトで約2年間運用して比較的上手くいっていると自負しているGraphQLのエラー設計を紹介します。 GraphQLのエラーハンドリングや設計は、GraphQLスキーマを導入する時に必ずと言っていいほど悩むポイントだと思いますので、上手くいっている実績のある設計を紹介することで参考になればと思います。 とは言っても、私も全てをゼロから考えたわけではありません。Production Ready GraphQLというGitHubでGraphQLサーバーを作った方が執筆した書籍をベースにしています。この本はGraphQLを運用する人にとってとても実践的な内容が書かれているので、是非一度読んでいただくことをお勧めします。英語で書かれているので、私は会社で輪読会を開催して読破しました。 ではそ

こんにちは。ソフトウェアエンジニアの id:masutaka26 です。 プロダクトの OSS 化を進める過程で security.txt を知りましたので、軽くご紹介します。 security.txt の概要 security.txt のフォーマット ROUTE06, Inc. におけるテンプレート ROUTE06, Inc. における設置例 まとめ 付録: 各社の設置例 Supabase その他 security.txt の概要 security.txt はウェブサイトのセキュリティに関する情報を提供するための、標準的なテキストファイルです。2022 年 4 月に公開された RFC 9116 で定義されており、ウェブサイトの /.well-known/security.txt に設置します。 security.txt を設置することで、以下の恩恵を受けられます。 セキュリティ研究者や善

1. はじめに こちらの記事は、アソビュー！ Advent Calendar 2024の５日目（裏面）です。 みなさんこんにちは、アソビューでエンジニアをしています竹村です。 以前からユーザーに近いエッジサーバーに分散してリクエストを処理するエッジコンピューティングの仕組みに興味を持っており、高負荷時や障害発生時にも重要な機能を低レイテンシかつ安定して提供する仕組みを作れるのではないかと考えていたのですが、なかなか触る機会もなく今日まできていました。 そこで今回は、Cloudflare Workers向けのシンプルで軽量なHonoフレームワークを使用し、記事の投稿、一覧表示、詳細表示機能を持ったシンプルなミニブログを作成してみました。 この記事では、Cloudflare WorkersとD1を使ったミニブログの構築過程を順を追って説明していきます。 2. アプリケーション設計 要件定義 こ

Mercari DBRE(DataBase Reliability Engineering Team)のtaka-hです。 本エントリでは、メルカリの開発環境のデータベース移行の事例を紹介します。なお記事は、MySQL Advent Calendar 2024、およびTiDB Advent Calendar 2024とのクロスポストになります。 この記事の手法を用いて、開発環境では、MySQLからTiDBへ移行すると同時に、スキーマ統合するということを達成しています。本記事により、読者の方々がProxySQLや、TiDBのエコシステムに興味を持っていただけることを期待しています。 TL;DR TiDBのData Migration(以後、TiDB DMと呼びます)のTable Routingを用いると、TiDBにスキーマ統合したインスタンスを作成できる 2段のProxySQLを構成し、1段

DifyでナレッジAPIを活用して15MBを超えるPPTX資料を効率的に登録する方法 背景 クラウド版のDifyでは、1ファイルの登録上限が15MBという制約があります。しかし、業務で使用するPPTX資料はこれを超える大容量ファイルであることが珍しくありません。この制約を解消するためには、画像圧縮やファイル分割などの手作業が必要になり、非常に面倒です。 そこで、Difyが提供するナレッジAPIを活用し、大容量のPPTX資料を効率的に処理・登録する仕組みを使用しました。この方法では、PPTXをスライドごとに分割してテキスト化し、チャンク分けを考慮した形で自動的にDifyのナレッジへ登録できます。 Difyとは？ Dify（https://dify.ai/jp) は、ChatGPTやLLM（大規模言語モデル）を簡単に活用できるアプリケーション開発プラットフォームです。ナレッジを登録することで、

この記事は、Techouse Advent Calendar 2024 6日目です。 昨日は nozomemein さんによる Active Storageを使った画像のCORS対応で沼った話 でした。 はじめに こんにちは、2024年に新卒で入社し、クラウドハウス労務でバックエンドエンジニアをしているdaiki_fujiokaです。 本記事では、私が設計・実装を担当した2FA機能について、開発中に得られた知見や学んだことについて紹介します。 現状と課題 クラウドハウス労務では企業向けの人事労務管理サービスを提供しています。利用企業は従業員に対してアカウントを払い出し、従業員は自身のアカウントにログインして各種労務手続きを行います。 クラウドハウス労務のログイン方式には外部サービスであるAuth0を利用したOpenID Connect(以下OIDC)を利用しています。 OIDCには認証機能