データセットを分割するときに scikit-learn の train_test_split() をよく使う．今回は train_test_split() に設定できる stratify パラメータを試す．stratify は「層化」という意味で「データセットの特性を考慮した分割」とも言える．特に「不均衡データセット」を使うときに重要になる． scikit-learn.org train_test_split() をデフォルト設定で使う train_test_split() のデフォルト設定を抜粋すると以下のようになる．stratify はデフォルトで None になる． train_size = 0.75（トレーニングデータ 75 %） test_size = 0.25（テストデータ 25 %） shuffle = True（ランダムに分割する） stratify = None（層化なし

Amazonがeコマース検索を Lucene により、どうスケールさせているか at Berlin Buzzwords 2019 2021-11-26 情報検索・検索技術 Advent Calendar 2021 1 日目の記事です。 早めに書き終えたので、カレンダー登録日の 2021/12/01 よりもはやめですが、記事を公開してしまいます。 Berlin Buzzwords はドイツで毎年開催されている OSS を利用した検索、データ処理、データベースに焦点をあてたカンファレンスです。 検索関係のシステムに携わっている場合、毎年面白い内容が目白押しなのでぜひとも見てほしい。 今回は Berlin Buzzwords 2019 で発表された「Amazon では Lucene をどう活用して e コマース検索をスケールさせているか」の講演動画を社内勉強会で紹介するために視聴したので、そのメ

こちらはAWS Analytics Advent Calendar 2021の1日目のエントリーです。 こんにちは！今年からアナリティクスエンジニア（自称）を名乗ろうと思っている@mashiikeです。 Amazon Web Serviceには様々な分析向けのサービスがありますが、個人的に愛してやまないサービスとしてAmazon Redshiftというクラウドデータウェアサービスがあります。 この記事では、Redshiftの機能として連携方法が提供されていない他のAWSサービス、特にAmazon ComprehendやAmazon RekognitionなどのAIサービスにアクセスする方法についてお話します。 その方法を使うことで、SQL(もしくは、PartiQL)からAWSが提供する構築済みのモデルにアクセスできるようになり、少ない工数である程度のテキスト分析や画像分析が実現できます。

この記事ははてなエンジニアのカレンダー | Advent Calendar 2021 - Qiita 2日目の記事です。 最近、データパイプラインの整備や営業チームの人力混じりの運用フローを機械化するなどの業務改善に取り組んでいます。 その過程で、運用ドキュメントを読んだりヒアリングして図を描くことがよくあります。 描いた図をもとに「この流れであってますか?」と確認したり「ここ手間結構かかってそうですが困ってませんか?」とコミュニケーションをします。暗黙的な業務の流れが明確になるだけでなく、改善点の発見にも繋がります。 ひととおり改善タスクが終わった後にも図を最新にします。ドキュメントと併せて成果物とします。 どんなデータがあってどのようにビジネスに使われているか、データがどのように取得&保存されているかを残しておくのは今後のデータ活用や改善のためにも必要です。 俺はそんな個々の業務のデー

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

SAIGアルバイトの後藤です。業務では、アルゴリズムの知識を用いた既存処理の高速化やスケジュールの自動作成による業務の効率化を行っています。 配送計画問題など、最適化問題に属する社会課題は、部分問題に巡回セールスマン問題(TSP: Travelling Salesman Problem)を含むことが少なくありません。したがってTSPの基本的なアプローチを知っていることは重要です。TSPは組合せ最適化の代表的な問題として古くから様々なアプローチが試みられており、本記事は専門家の方にとっては既知の内容だと思いますが改めて紹介します。この記事では、2/3-optの焼きなまし法(SA: Simulated Annealing)より良い解法として2/3-optの反復局所探索法(ILS: Iterated Local Search)を紹介します(競技プログラマへ: TSPは焼きなましより山登り + K

こんにちは。情報検索分野の勉強をしている @KoheiShinden です。 最近、「教科書読んだ後の最新の情報検索について知りたいんだけど何かいい記事とか媒体知ってる？」という質問を受けて自分が勉強する時に役立ったコンテンツをまとめて紹介するという機会が数回ありました。 そこで、そんな時にサッと紹介できるようにまとめてみようと思いこの記事を書くに至りました。 0. はじめに ここでは簡単にこの記事がどんな内容かを書きます。 この記事で書いてること 2021年11月現在の情報検索に関連する書籍・論文・記事・動画・コミュニティなどのコンテンツのリンクと簡単な説明を行っています。完全に主観です。 特に、書籍で得られる基礎的な知識から BERT などの機械学習手法を適用した最新の手法までにはなかなかのギャップがあるのでそこを埋めるための手助けができたらなと思います。 この記事で書いていないこと

この記事はエムスリー Advent Calendar 2021 1日目の記事です。 明日からも面白い記事が続々投稿されるので、ぜひ購読・拡散お願いします！ qiita.com エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。好きな言語はGo。情報検索系の話が好物です。 最近検索エンジンの改善やアルゴリズムの変更などの効果を分析する機会が多くなってきたのですが、ABテストの効果検証でやらかしてしまい、改めてABテストについて復習しています。そこで「A/Bテスト実践ガイド」という本を読みました。 A/Bテスト実践ガイド　真のデータドリブンへ至る信用できる実験とは (アスキードワンゴ) 作者:Ron Kohavi,Diane Tang,Ya Xu,大杉 直也ドワンゴAmazon この本で、私が陥った大量にクリックするユーザー

これは、なにをしたくて書いたもの？ Linuxにおけるリソース制御といえば、ulimitです。 limits.conf(5) - Linux manual page /etc/security/limits.confファイルや/etc/security/limits.dディレクトリ内に[任意の名前].confファイルを作成して nofileなどの値を設定すればOKです。 ですが、systemd制御下で動作するプロセスはこの事情が違います。前々からなんとなく知ってはいましたが、 自分で設定したことがなかったので試しておくことにしました。 環境 今回の環境は、こちら。Ubuntu Linux 20.04 LTSです。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu

こんにちは、Gunosy Tech LabのMedia MLチームでマネージャーをしている id:skozawa です。 もう年末、早いですね。 こちらの記事は Gunosy Advent Calendar 2021の2日目の記事です。昨日の記事は加藤さんのチーム再編とCompany Betsでした。 今日はMedia MLチームで施策の優先順位付けのために分析Dayを実施した話です。Gunosyでは6月から期が始まり、12月からは下期となります。そこで下期にやることの案出しと、出てきた施策案に対して優先順位の見積もりをするために分析Dayを実施しました。 分析Day 分析Dayは2日間行いました。今は在宅勤務中なので1日目はリモートで行い、2日目だけオフィスに集まって実施しました。分析Dayの2日間は通常業務はせず、施策の効果などを見積もるための分析を分担しながら行いました。基本はSla

概要 個人的に気になったので、GIS、web地図関連のアドベントカレンダーを見つけられたものだけ並べてみました。 もし、他に抜けがあったらTwitterやFacebookなどで教えてください。 ベクトルタイルのカレンダー | Advent Calendar 2021 – Qiita 新しい標準的ウェブ地図技術「ベクトルタイル」についてのアドベントカレンダーです。 FOSS4Gのカレンダー | Advent Calendar 2021 – Qiita FOSS4G （オープンソースの GIS ツール、ライブラリ等）に関する Advent Calendar です。 MIERUNE Advent Calendar 2021のカレンダー | Advent Calendar 2021 – Qiita MIERUNEメンバーのAdvent Calendarです！ 様々なGISソリューションを提供されて

shishi.hatenablog.jp Advent Calenderなのにまだ続くRust学習録。 RustでのWeb開発の学習リソース探しをしていた結果、今は www.lpalmieri.com をやっています。 まだ途中ですが、今まで見たWeb開発のための学習リソースとして一番身になっているというか、実際のWeb開発ではこんな簡単な実装でごまかすわけにはいかないとか、アクセスログぐらいいちいち指定せずに出力したい…などと思っていた疑問に答えてくれる解説があり、プロダクトとしとしてRustをやっていく自信がつきはじめています。 本コンテンツは現在無料のコンテンツとして提供されていますが、 www.zero2prod.com のサンプルとして提供されている、いわゆる「ベータ版の間は無料」のようなコンテンツになる可能性があります。私はこのZero2Prodの発展と完成を応援する意味も込め

こんにちは、技術部データ基盤グループの佐藤です。この記事では最近業務として主に取り組んでいたDWHから外部へのデータ転送基盤であるQueuery（きゅうり）について、OSSとしてGitHubへの公開しましたのでこの記事でご紹介をします。 github.com Queueryというシステムは2017年の春頃にid:koba789の手により作られ、クックパッドのデータ基盤における重要な立ち位置を担っています。 背景 従来、RedshiftでSELECT文などの取得系クエリを実行するためにはRedshiftに直接接続してクエリを発行していました。この方法ではクエリ結果が巨大な場合にクライアント側のリソースを逼迫させることがありました。 しかし、それを避けるためにカーソルを使おうものなら今度はたちまちRedshiftのリーダーノードの具合が悪くなってしまいます。Redshiftから巨大な結果を得る

みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job

この記事でやること ワークフローエンジンであるAirflowの使い方のポイントを書きます 私はGCPのCloud Composerで使っています ※ワークフローエンジンについては以前こちらに書きました https://qiita.com/elyunim26/items/15db924e4c9833e5050a MWAA来ましたね ちょうど、AWSのフルマネージドAirflow(MWAA)も来ましたね 使い始めるかたもいらっしゃるのではないでしょうか https://dev.classmethod.jp/articles/amazon-managed-workflows-for-apache-airflow-mwaa-ga/ AWS MWAAの利用料としてはGCPのCloud Composerと似たようなレンジで400-600$/月くらいはかかってしまいそうです https://aws.am

はじめに Gunosy Tech Lab - Media ML のsuchidaです。 最近はPythonの型アノテーションがないとあたふたする人生です。 こちらの記事は Gunosy Advent Calendar 2021の3日目の記事です。 前回の記事はid:skozawa さんの施策の優先順位付けのために分析Dayを実施しましたでした。 さて皆さん、Pythonを利用する際に静的解析ツールを利用していますか？これは、コードを綺麗に保ち、保守運用を行いやすくするために非常に重要なツールです。 本記事では、Pythonコードフォーマッターなどの静的解析ツールとその設定ファイルの管理方法について簡単に紹介します。 静的解析ツールの導入 チーム内では主に、アルゴリズムの開発・運用にPythonを利用しています。 また、コードを綺麗に保ち、保守運用を行いやすくするためにコードフォーマッターな

はじめに こんにちは。DeSCヘルスケアシステム部でインターンをしている中島です。本記事では開発に関わった2つのサービス「ハレトケ」「カラダモ」の負荷テストで得た知見について紹介したいと思います。 負荷テストをこれからやる方や、システムのパフォーマンスチューニングに興味のある方などの参考になると嬉しいです。 負荷テストの目的 まず、負荷テストをどのような目的でやるのかについて抑えておきます。一般的にクラウド環境での負荷テストの目的は以下の5つが挙げられます。（出典：Amazon Web Services負荷試験入門 ――クラウドの性能の引き出し方がわかる Software Design plusシリーズ） 各種ユースケースの応答性能を推測する 高負荷時の性能改善を行う 目的の性能を提供することができるハードウェアをあらかじめ選定する システムがスケール性を持つことを確認する システムのスケ

事業会社においてBIやレポート用の分析を担当しているが以下のような状況に該当する人に向けたデータパイプライン構築の入門のための資料です 🧑🏻‍🦱「BigQuery等のView機能を活用しているが、データの流れを追うのが困難な状態になってしまっている、クエリの実行に時間がかかりBIツールが使いづらい」 👩🏻「専任のデータエンジニアがおらず、前処理をpython等で処理したりするのがリソース調整的に大変」 👱🏻‍♂️「ロードされたデータに重複があったり、過不足があったりしてデータの品質が担保できていない」 🧑🏻‍🦰「Digdagやluigiといったデータ変換ツールの独自の仕様を理解しきれておらず使いこなせていない」 ※現時点ではBigQueryを中心に記事を構成してあります、SnowflakeやAmazon Redshift等の様々な分析基盤でもdbtは対応可能です

これは Chatwork Advent Calendar 2日目のエントリです。 また、このエントリの公開日翌日に開催される"だいくしーのスクラムBar #1" で取り扱うテーマについての詳細な解説記事も兼ねています。 chatwork.connpass.com スクラムマスターって何をする人なの？ 本項ではこれについて少し考えてみたいと思います。また、ぼく自身が普段どういうことを考えながらスクラムイベントや、その他の仕事をしているか、なども書いてみようと思います。 スクラムマスターは、ソフトウェア開発に関する他の職種と比べても、具体的な職務内容がわかりづらい役割なのかな、と思います。少し乱暴な言い方をしてしまうと、デザイナーがいなければデザインはできないし、プログラマーがいなければアプリケーションコードを書くのはとても困難です。しかし、スクラムマスターがいなくても別に開発はできます。 そ

1. はじめに こんにちは、はじめまして。東京大学 1 年生の米田優峻（E869120）と申します。私は競技プログラミングが趣味で、AtCoder や国際情報オリンピックなどの大会に出場しています1。2021 年 11 月時点で、AtCoder では赤色（レッドコーダー）です。また、2020 年以降、アルゴリズムを学べる以下のようなコンテンツや資料を作成してきました。 レッドコーダーが教える、競プロ上達ガイドライン 競プロ典型 90 問 50 分で学ぶアルゴリズム さて、このたびは技術評論社から、書籍を出版させていただくことになりました2。アルゴリズムと数学が同時に学べる新しい入門書です。 「アルゴリズム×数学」が基礎からしっかり身につく本 - amazon 発売日は今年のクリスマス、2021/12/25 です。電子書籍版も同時期に出る予定です。本記事では、この本の内容と想定読者について、