こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から

クリーク&リバー、ビッグデータ分析ツール「EIセンチメント」クラウド版をリリース…人工知能を用いてTVやSNS上のデータからリアルタイムで分析・検証 クリーク・アンド・リバー社<4763>は、4月4日、グループ会社で、データ情報分析サービスを行うエコノミックインデックスが業績や販売データなどの変動要因を人工知能を用いてテレビやソーシャルネットワーキングサービス（SNS）上のデータからリアルタイムで分析・検証できるソフトウェア・ツール「EIセンチメント」クラウド版の提供を開始したと発表した。 「EIセンチメント」は、 SNSやテレビなどの各種メディアにおいて、 企業の広報宣伝活動や報道などによって話題となっている言葉＝“空気”が自社の売上高や販売数などのKPIに与える影響度を俯瞰的に可視化・検証するデータ分析サービス。このサービスを使うことで、日々企業が注目しているKPIを入力すると、 業績

ECzine Day（イーシージン・デイ）とは、ECzineが主催するカンファレンス型のイベントです。変化の激しいEC業界、この日にリアルな場にお越しいただくことで、トレンドやトピックスを効率的に短時間で網羅する機会としていただければ幸いです。

ソフトウェア開発の原点は可能性の追求であり、不可能を可能にすることです。ひとたび ソフトウェア が開発されると、エンジニアは次に 程度 という課題に向き合うことになります。企業向けのソフトウェアであれば、「速度はどれくらいか」と頻繁に問われ、「信頼性はどの程度か」という点が重視されます。 ソフトウェアのパフォーマンスに関する質問に答え、さらには正しい内容を語る上で欠かせないのが統計学です。 とはいえ、統計学について多くを語れる開発者はそうはいません。まさに数学と同じで、一般的なプロジェクトで統計学が話題に上ることなどないのです。では、新規にコーディングをしたり、古いコードのメンテナンスをしたりする合間に、手が空くのは誰でしょうか？ エンジニアの方は、ぜひ時間を作ってください。近頃は、15分でも貴重な時間と言えるでしょうから、 こちらの記事をブックマークに追加 しておいてもいいでしょう。とに

こんにちは、らくからちゃです。 以前ぶらっとインターネットをぶらぶらしていたら、こんな記事を見つけました。 『パナマ文書』の問題については、いいなー偉い人は沢山お金持っててさー、と遠い世界の話にしか感じられませんでしたが、解析手法については中々興味深いお話でした。 今回の流出事件では、2.6TBもの大量のデジタルデータが流出されたと言われています。しかし、このデータの中から、資金の流れの関連性を分析していくのは、人力では不可能に近い作業です。そこで今回力を発揮したのが『グラフ解析』という手法です。 グラフ解析とは何か グラフというと、折れ線であったり縦棒であったり、そういった数値を可視化するツールとしての印象をお持ちかもしれませんが、数学の用語としては様々な要素と要素の関係性を分析するツールという意味で用いられます。 つーても分かりづらいかもしれませんが、『人物相関図』のようなものと言えば