「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/

サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開　「Git」と「テスト・設計」　今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開　Unityエンジニア向けに　サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3

日本―ドイツ戦では、ABEMA1日の視聴者数が1000万を超えた。今回のW杯が、配信と放送の考え方や楽しみを変えるきっかけになるだろう（写真／アフロ）この記事の写真をすべて見る 連日連夜、日本中を“楽しい寝不足”にさせているサッカーのワールドカップ（W杯）カタール大会。その中継で名を上げたのが、無料で楽しめるインターネットテレビ局「ABEMA」だ。「移動中もスマホで楽しめる」「試合後も見られる」「全64試合視聴できるアプリがわかりやすい」と、人気が急上昇。日本代表が1次リーグの初戦で強豪のドイツに逆転勝利した日の1日の視聴者数が「1000万を超えた」とABEMAは高らかにアナウンスした。これまでW杯のような国際大会の中継は、テレビの独壇場だった。今回ABEMAがFIFAに支払った放映権料は200億円ともいわれる。“新しい未来のテレビ”を掲げるABEMAが設立した当初から藤田晋社長に取材して

タップルで機械学習エンジニアをしている橋爪( @runnlp )と、AI Labでリサーチサイエンティストをしている冨田( @miitomi )です。9月18日から9月23日にシアトルで開催されたRecSys2022に現地参加してきましたので、その参加報告をさせていただきます。今回サイバーエージェントAI LabからはIndustryセッションでポスター発表を1件、Workshopで口頭発表を1件行いました。Industryセッションでの発表の紹介と、研究を日程順に紹介したのちに、現地の様子なども合わせてお届けします。 目次 RecSysとは サイバーエージェントからの発表 Tutorial ( 2つ紹介 ) Main Conference ( Keynoteと論文を紹介 ) Workshop ( 2つ紹介 ) 現地の様子 おわりに RecSysとは RecSysは、推薦システムのトップカ

こんにちは、AIチームの東です。 本記事はAI Shift Advent Calendar 2021の18日目の記事です。 今回は、Heartex社が提供しているアノテーションツールであるLabel StudioとGCP上でのデプロイの手順について紹介していきます。 Label Studio 近年、テキスト翻訳や対話アシスタントなど、深層学習を用いたプロダクトやサービスが多くみられるようになりました。 しかし、一般にそのような大規模なモデルを利用するには入力データ(音声、画像、テキスト等)とその正解ラベル(発話内容、画像の説明文、翻訳結果等)が大量に必要になります。モデルの学習に利用する入力データと正解ラベルの組を作成する作業をアノテーションと呼び、現在様々なアノテーションツールが開発、提供されています。 Label Studioはそんなアノテーションツールの一つで、画像やテキスト、音声な

概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす

サイバーエージェントは12月14日、小売店舗向けにAIを活用した無人店舗ソリューションを提供する子会社「株式会社CA無人店舗」を11月19日に設立したと発表した。 同社によれば、少子高齢化による労働者不足や新型コロナウイルスの感染拡大の影響により、スーパーやコンビニエンスストアなどの小売業は、マイクロマーケットと呼ばれるオフィス内や病院などの小さな商圏での出店や小型店舗の多店舗展開において、無人店舗の展開を加速させているという。 CA無人店舗は、そうした無人店舗のニーズが高まっている現状をうけ、小売業向けの無人店舗の新規出店から、有人店舗の無人化、販促や広告事業立ち上げまで一貫してサポートする。 サイバーエージェントが広告事業で培ったデータを活用した販促支援のほか、店舗レイアウトのデザインからAIカメラやサイネージ、重量センサー棚や無人決済レジなどのハード面の導入も支援する。また、独自サー

AI Labの岩崎(@chck)です、こんにちは。今回は前記事よりも実践的な、AI Labにおける実験管理システムの話をしたいと思います。ここでいう実験とは、データを収集・加工し、統計や機械学習を用い、設定したタスクや仮説を明らかにすることです。実験管理とはその評価や使ったパラメータ及び実験コードを再現できる形で保管することを指します。 対象読者 個人や大学、企業所属でJupyterLab上の実験管理に苦労している方 チームでKaggle等のデータ分析コンペに参加している方 Kubernetes、GCP、Terraformといったキーワードに興味のある方 tl;dr MLflowをGKEに載せることで、高可用でユーザ認証を持つMLflow Tracking Serverを作りました。更にTerraformによる1command構築を目指しました。中規模以上の研究室を想定し、Load Bal

AI Labの岩崎(@chck)です、こんにちは。今日は実験管理、広義ではMLOpsの話をしたいと思います。 MLOpsはもともとDevOpsの派生として生まれた言葉ですが、本稿では本番運用を見据えた機械学習ライフサイクル（実験ログやワークフロー）の管理を指します。 https://www.slideshare.net/databricks/mlflow-infrastructure-for-a-complete-machine-learning-life-cycle 参考記事のJan Teichmann氏の言葉を借りると、 エンジニアがDevOpsによって健全で継続的な開発・運用を実現している一方、 多くのデータサイエンティストは、ローカルでの作業と本番環境に大きなギャップを抱えている クラウド含む本番環境でのモデルのホスティングが考慮されないローカルでの作業 本番のデータボリュームやス

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証一部上場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究員の安井翔太、Yale大学および半熟仮想株式会社代表取締役の成田悠輔氏、Yale大学の矢田紘平氏による共著論文「Debiased Off-Policy Evaluation for Recommendation Systems」が、推薦システム分野の国際会議「RecSys2021」（The ACM Recommender Systems conference）※1 に採択されたことをお知らせいたします。 「RecSys」は推薦システムに関わる世界中の研究者・データサイエンティスト・エンジニアが集う国際会議で、機械学習やデータサイエンスの応用に関して「KDD」「SIGIR」※2 などと並び権威のある国際会議です。このたび「AI L

こんにちは、Development Teamの三宅です。 先日、社内（AI事業本部内）でSQL研修の講師を担当したので、今回はその内容について簡単に共有したいと思います。 はじめに 例年、AI事業本部では、新卒エンジニアの育成のためにソフトウェアエンジニア研修を行っております。今年はフルリモートでの実施となりました。研修期間は2週間ほどで、内容は前半が講義、後半が実践（チーム開発）でした。私が担当したのは、講義パートの一部であるSQL研修です。SQLやRDBにあまり慣れていない人でも、できるだけ体系的な学びが得られるようにすることを目標に、様々な資料をまとめて提供する方針で準備しました。結果的には、ハンズオン込みで4時間ほどのやや長い講義となりましたが、勉強になったという声も頂けたのでやって良かったと思っています。 研修資料 研修内容 SQL研修の内容は、基本的には大学のデータベース講義で

PyData.Tokyo Meetup #23 MLOps〜AIを社会に届ける技術での発表資料 https://pydatatokyo.connpass.com/event/210654/Read less

AIで顔や広告を自動生成――サイバーエージェントは学習データをどのように集めたか？：“おいしいデータ”で、成果が出るAIモデルを育てる（3）（2/2 ページ） クラウドソーシング活用、アノテーションツールに作業効率を向上させる工夫を追加 しかし、社内にあるデータがつながっても「学習データが足りない」という課題もあった。サイバーエージェントでは、AIモデル開発に必要な教師データを、クラウドソーシングを活用して収集している。毛利氏は、クラウドソーシングサービスを活用した理由について「効率性」「単価」を挙げて説明する。 「当初は社内で人を抱えて学習データの作成に取り組んでいたが、属人化した結果、『アノテーション作業を10万件やっといて』と頼んでも、他タスクが終わるまで順番待ちになり、AI開発が思うように進まないという課題があった。そこでクラウドソーシングサービスを活用することにした。『（人件費＋

最終更新日： 2021年12月13日 株式会社サイバーエージェントは、企業やブランドごとのターゲティングに適した 人物モデルをAIでオリジナル生成し、さらに「広告効果の出せる人物モデル」へと育成する「極予測AI人間」を11月より提供すると発表しました。 【極予測AI人間の特徴】 企業ブランディングに適した、多種多様な髪型・ボーズ・シチュエーション・国籍の人物モデルの生成が可能で、場所や時間、契約の条件にとらわれない 企業ブランドごとに、配信メディアの特性やターゲット属性に合わせた服装や髪型を生成し分け、高い広告効果を実現 広告配信後の実績を学習させることで、さらに効果の高い人物モデルを生成可能に 「極予測AI人間」は、サイバーエージェントが取り組むAIを活用して広告クリエイティブを制作する「極予測AI」の効果予測技術と、株式会社CyberHumanProductionsのデジタルヒューマン

広告において、バナー画像や映像、コピー文言などの制作物はクリエイティブと呼ばれます。近年のデジタル広告市場の拡大に伴い、品質の高いクリエイティブをより効率的に作ることが広告制作側の課題となってきました。広告クリエイティブは広告主、プランナー、デザイナーなど複数の人が関わって作り上げられます。サイバーエージェントAI Labではクリエイティブ制作をスケールアップさせるために、機械学習を用いて制作を支援したり、自動で生成するような技術を研究開発しています。 機械学習データとして見た広告クリエイティブの特徴 例としてバナー広告を考えてみましょう。バナーは画像や動画として捉えられることがありますが、自然な写真などと比較すると、写真、イラスト、タイポグラフィなどの視覚要素を空間的・時間的に複雑に配置したプレゼンテーションフォーマットであると言えます。（図１）昨今の画像認識や自然言語処理の技術で使われ

はじめに AI Labの大谷と山口(@kotymg)です。10月に韓国ソウルにて開催されたコンピュータビジョンの国際会議ICCV 2019に参加してきました。こちらの記事で簡単に参加報告させていただきます。 ICCVについて ICCVはコンピュータビジョン研究の3大トップカンファレンスの一つに位置付けられる権威のあるカンファレンスで、隔年開催となっています。AI Labからは2017年に続いての参加となります。2019年のICCVは4303件の投稿、1075件の採択と、ここ数年の分野の人気に伴って過去最大規模になりました。規模こそ同分野トップカンファレンスのCVPRよりも若干小さいものの、会場となった巨大なCOEX展示場には7000人を超える参加者が集まりました。発表件数の増加に伴い、今回のICCVではCVPR 2019同様にショートオーラル形式による発表方式となり、その他は全てポスター発

株主・投資家向け動画コンテンツ「CyberAgent IRチャンネル」第23弾は、「効果を出すAI  - サイバーエージェントのAI研究とビジネス実装力」です。 AIの発展によりビジネスでの活用が求められていますが、研究が進む一方で、その実用化は難しく、研究や技術を事業成果に結びつけるのは容易ではありません。 サイバーエージェントでは2016年に研究開発組織「AI Lab」を設立。また、最先端のAI研究を進める大学とも連携し、新規AI事業の機会創出をはじめ、社会実装とアカデミックへの貢献に、積極的に取り組んできました。 このような背景のもと、幅広い事業においてAI技術の活用およびビジネスの現場での実装が進んでいます。その中でも、当社の広告事業では、広告効果最大化のためのAIで「勝てる広告クリエイティブ」を高確率でつくり出すことに成功しています。 今回はその代表事例となる、事前に広告配信効果

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役社長：藤田晋、東証一部上場：証券コード4751）は、人工知能技術の研究開発組織「AI Lab」に所属する研究員の富樫陸及び大谷まゆ並びにアドバイザーであり、画像・映像検索研究における第一人者の佐藤真一氏らによる共著論文が、Web分野の国際会議「WSDM 2021」(※1)にて本採択されたことをお知らせいたします。 「WSDM」は世界中の研究者によって毎年開催される国際会議で、「The Web Conference」「KDD」(※2)などと並び、Web・データマイニングの分野で権威あるトップカンファレンスの一つです。2021年度は採択率がおよそ18%と難易度の高い年となり、この度「AI Lab」から採択された論文は、2021年3月にオンラインで開催される「WSDM 2021」で発表を行います。 ■研究背景 「AI Lab」ではマーケ