こんにちは、R&Dチームの齋藤（@aznhe21）です。 今回の記事で自分がPlayStationと同い年ということを知りました。 さて、本日12/3(金)にRust 1.57がリリースされました。 この記事ではRust 1.57での変更点を詳しく紹介します。 12/3は初代PlayStationの発売日 ピックアップ 定数文脈でもパニック出来るようになった コレクション型でメモリの確保エラーを捉えられるようになった Cargoのプロファイルを自作出来るようになった 安定化されたAPIのドキュメント [T; N]::as_mut_slice [T; N]::as_slice alloc::collections::TryReserveError alloc::collections::HashMap::try_reserve エラー サンプル alloc::collections::Has

概要 特定のデータが、ある集合やリストに含まれるかどうかを判定するために線形探索や二分探索などいくつかのサーチアルゴリズムが使われますが、 本稿ではメモリの使用効率、探索の際の計算量が優れているブルームフィルタを用いたアルゴリズムについてまとめます。 ブルームフィルタとは ブルームフィルタとは確率的データ構造の一種で、あるデータが集合に属するかどうかを判定する際に使われます。 特徴としては、メモリの空間消費が少なくすみ、非常に効率的にデータの存在判定ができます。 デメリットとしては、false-positive(偽陽性)によるデータの誤判定の可能性があり、集合に存在しないデータを存在すると誤判定してしまう場合があります。このような誤判定が許されないような状況においては、ブルームフィルタは使えません。 逆に、false-negative(偽陰性)による誤判定はないため、データは実際にあるのに

新機能 connpass APIに新しく、所属グループを取得できるAPIやユーザーの参加イベントAPIを追加しました。各APIの詳細な仕様や利用方法につきましては、 APIリファレンス をご確認ください。またAPI利用希望の方は connpassのAPI利用について をご覧ください。 お知らせ 2024年9月1日より、connpassではスクレイピングを禁止し、利用規約に明記しました。以降の情報取得にはconnpass APIをご利用ください。APIご利用についてはヘルプページをご確認ください。 新機能 「QRコード読み取りによる出席機能」をリリースしました。事前に入場受付が必要な場合や、受付時に参加枠などによって個別の誘導が必要な場合にご利用ください。詳しくは こちら をご覧ください。

SCDVのコードはGithubで公開されている(https://github.com/dheeraj7596/SCDV )ほか、ベンチマークとなるデータセットに対する適用方法がそのままあるので、今回のデータセットを使うにあたっては資産をほとんどそのまま使うことができました。python2だった部分をpython3に対応させるのがちょっと手間でしたが... リポジトリ全体はこちら: fufufukakaka/SCDV python3に対応させて20newsgroupを実行しているのがこちら livedoorニュースコーパスで実験しているのがこちら ノートブック、雑にやってしまったので適宜必要なところはコードを貼っていきながら解説します。 まずはword2vecを学習させる+単語ベクトル空間を可視化 まずはword2vecを学習させていきます。livedoorニュースコーパスはテキストファイル

2013/09/01 第4回データ構造と情報検索と自然言語処理勉強会(DSIRNLP, http://partake.in/events/76854228-ba38-4f6e-87b9-f79e30add75c# )での発表内容です。 同一内容の会社ブログはこちら→ http://research.preferred.jp/2013/08/sketch/Read less

2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンと各分野での取り組みについて、エンジニアたちが技術的側面から紹介します。セッション「LINEが目指す理想の広告プラットフォーム」に登壇したのはLINE株式会社開発Aチームの渡邉直樹氏。LINEの様々なサービス上で用いられる広告配信プラットフォームの裏側を紐解きます。講演資料はこちら LINEが目指す理想の広告プラットフォーム 渡邉直樹氏：みなさま、こんにちは。サーバーサイドエンジニアとして広告プラットフォームの開発をしています、渡邉直樹と申します。よろしくお願いします。 演台の

はじめまして。ピクシブで広告関連のプロダクトを開発しているeastです。今回は、社内で運用している広告配信サーバーの負荷テストを実施したので、その話をしたいと思います。 経緯 ピクシブの広告配信サーバーは、pixiv本体を中心に複数のサービスに対して広告配信を行なっています。現在私はこの広告配信サーバーの大規模改修を行なっているのですが、先日ついに広告配信サーバーの改修がほぼ完了したので、試しに負荷試験を行なってみたいと思い立ちました。 目標は毎秒1万リクエスト ピクシブの広告配信サーバーへのリクエスト数はDailyで 4〜6億req もあり、これは毎秒平均に直すと約 5,000RPS(Request Per Second) になります。さらに、ピークタイムである休日の深夜帯には 12,000RPS にも達します。つまり新しい広告配信サーバーにも、毎秒12,000のリクエストを捌く性能が必

本記事は、Spark, SQL on Hadoop etc. Advent Calendar 2014の8日目の記事だったはずの原稿です。 Movielensデータセットを使って、HivemallにおけるMatrix Factorizationの実行方法を解説します。 はじめに 以前、Hadoop Conference 2014で発表させて頂いたときに聴衆の方にアンケートをとったところレコメンデーションの需要が（クラス分類か回帰分析と比べて）非常に高いという傾向がありました。Hivemallのv0.3以前もminhashやk近傍法を用いたレコメンデーション機能をサポートしておりましたが、v0.3からはMatrix Factorizationもサポート致しました。 本記事では、HivemallにおけるMatrix Factorizationを用いた評価値の予測方法を紹介します。 Matrix

こんにちは、k_oomoriです。最近、機械学習の分野でFactorization Machines (FM)という手法があることを知りました。Matrix Factorization (MF)は知っていたのですが、共にfactorizationという単語を含んでいるため、何か関係があるのだろうか？と気になり調べてみました。 ここではサンプルデータとしてFactorization Machinesの論文で使われていたものを使用します。 タイタニック (TI)ノッティングヒルの恋人 (NH)スターウォーズ (SW)スタートレック (ST) Alice (A)531 2010-12010-22010-4 Bob (B)45 2009-52009-8 Charlie (C)15 2009-92009-12 表1. 映画に対する評価 Alice, Bob, Charlieの3人が4本の映画作品に対

原文 広告クリック(率)の予測: (Ad Click Prediction: a View from the Trenches) H. Brendan McMahan, Gary Holt, D. Sculley, Michael Young (2013) 1. 要約／背景 Googleのリスティング広告(search advertising)のビッグデータを学習させて、広告のCTRを予測した。 メイン理論はよく研究されているので、より実践的な項目(メモリ節約、パフォーマンス評価方法、校正など)について調査した。 2. 骨子の理論 / 実践Tips 入力次元に対応する広告関係のメタパラメータは残念ながら公表されない。 メインの学習手法は、NNを利用しているみたいだ。 論文では、重みと学習係数の更新の計算手法として、一般的なOGD(オンライン確率降下法)に代わってFTRL-Proximalア

はじめまして！5日間インターンとして参加させて頂いた中島です。 データ分析のインターンは初めてだったのですが、簡単に紹介させて頂きます。 今回はCTR予測を行いました。 CTR予測 5日間の流れ 1日目　事務処理と大規模データベースへのアクセス 2日目　データ整形とネガティブダウンサンプリング 3日目　特徴量の追加とグリッドサーチ 4日目　他の学習モデルを試す 5日目　特徴量選択とパラメータチューニング まとめと感想 CTR予測 CTRとは「ユーザに広告を表示しクリックされる確率」を言います。 広告配信の最適化は、限られた広告予算の中でクリック率を最大化することであり、そのためにはCTRを正しく予測することが不可欠です。 この5日間で、より精度の高いCTR予測をするモデルの設計に取り組みました。 5日間の流れ 1日目　事務処理と大規模データベースへのアクセス 午前には事務手続きをし、その後

Criteoの研究者が語る、CTR予測とCVR予測　その仕組みと論文の紹介 | インターネット広告代理店で働くデータサイエンティストのブログ はじめまして！　内定者アルバイトの小笠原(@YAMITZKY)と申します。 初めてなので、簡単に自己紹介を。今は大学の４年生で、機械学習の手法を使って「Webサイトに自動でタグ付けを行う」というのを実現するような研究をしていました。 最近は「MLaPP」という機械学習の本を読んでいるので、輪読の機会があったら呼んでいただけると嬉しいです！ ---------------- 本日の話題は、CriteoのCTR予測、CVR予測についてです。 Criteoは世界中でリターゲティング広告を提供している企業で、日本でもレコメンドバナー市場を牽引しています。 第三者配信計測などでCriteo広告の分析をしてみると、ユーザーの購買行動の最後の一撃を与える役割（刈取

Machine Learning Advent Calendar向けの記事です。 普段はGunosyという会社で社長業をしながら社長をしています。 ざっくりいうと 結論だけ知りたい人はここだけ 広告における機械学習の応用の多くはCTR予測や運用の最適化のため(クエリー予測とか)の予測問題 今後は「CVRの予測」や「アクティブなユーザーの予測」がホットな話題になる(加えてその運用をどう最適化するかといった話題も) 現在は検索エンジンの応用例が多い。今後はディスプレイ広告やタイムライン広告への応用が増えていく 個人のユーザー属性を集めることが今まで以上にメディアのビジネス的に重要になる 広告や推薦エンジンに限らずドメイン知識は非常に重要。ドメイン知識と機械学習の知識を持ったエンジニアが意思決定に携わる会社は今後大きくのびる(と思う) 広告について 最近はもっぱら広告の開発をしており、広告分野で

REST with Spring Boot The canonical reference for building a production grade API with Spring Learn Spring Security ▼▲ THE unique Spring Security education if you’re working with Java today

概要 Reactive Extensions 実装の1つである Reactor Core にはトレーニングマテリアル "Lite Rx API Hands-on" が用意されていると知りましたので、早速やってみました。 "Lite Rx API Hands-on" とは "Eclipse Collections Kata" のように、JUnit の穴開きコードが用意されていて、それをテストが通るように修正していくことでプログラミングの学習ができる、というものです。JUnit を動かせる環境であればどこでも実施できます。題材は Reactor Core ですが、インタフェイスのよく似ている RxJava の練習にもなるのではないでしょうか。 なお、Reactor Core は Java SE 8で追加されたクラス(主に関数型インタフェイス)を参照しているため、 Java SE 8以上でないと