原因 INNER JOINでテーブル結合する時に、テーブル内で同じカラムがあった場合、select等でそのカラムがどのテーブルに存在するものか指定していないとエラーメッセージ「Column 'カラム名' in field list is ambiguous」が表示される。 原因は単純にカラムが重複してしまい、どのテーブルを参照すればいいのか分からないから。 select id,status, from テーブルA INNER JOIN テーブルB on テーブルA.カラム① = テーブルB.カラム① where id is not null and status = 1

ビッグデータをビジネスに応用する上で需要の高いアウトプットとして、ユーザーの興味・関心に適した商品を自動的にオススメする「レコメンド」システムが挙げられます。 DMM.comラボでも、2015年のビッグデータ部立ち上げ後、Hadoop/Sparkを用いた内製レコメンドの導入を続け、2017年3月には400を越える箇所（Webページ、メルマガ等）で利用されています。 一口にレコメンドといっても、ユーザーの行動ログを用いた相関分析や協調フィルタリング、アイテムのメタデータを用いたコンテンツベースレコメンド、機械学習/ディープラーニングを用いた類似度計算など、要素技術は多岐に渡ります。 また、実際にレコメンドシステムを運用していくためには、レコメンドのロジックだけでなく、レコメンドを表示する際の工夫や、サービスに特化した精度のチューニング、パフォーマンスやセキュリティの考慮なども必要となってきま

普段開発とかしない人達にもデータベースに簡単に触れられるようにしたお話です． 安全なデータベースを作る 本番サービスのデータベースと同等，だけど個人情報的なものは隠しておきたい，よく聞く話ですね． これについては様々なアプローチがあるようですが，できる限り安定させたい＆バッチでやるにしてもサーバの面倒を見たくない，とう方針のもと，RDSのスナップショットを利用して作成することにしました． 処理の流れ RDSが1日1回スナップショットを取っている(これはRDSの機能) RDSのスナップショットが取られると，RDSからイベント通知が投げられるので，SNS→SQSへ届くようにしておく(これもRDSの機能) CloudWatchでSQSのキュー数を監視するようにしておき，キューが1つ以上になると処理用のインスタンスを立ちあげる設定にしておく(CloudWatch，AutoScalingの機能) イ

こんにちは。トレンド調査ラボの井上寛之（@inohiro）です。 普段は法人向けサービス「たべみる」の開発を担当しています。 たべみるはクックパッドの検索ログを基にしたサービスで、任意のキーワードの検索頻度、キーワード同士の組み合わせ検索頻度、 およびそれらを地域や年代・性別で絞り込んで分析することができます。 トレンド調査ラボでは「たべみる」の開発のほか、 クックパッド上のトレンドを見つけるために日々調査を行っています。 ここでのトレンドとは、「流行っている」もしくは「流行りそう」といったものを指します。 消費者が気になっているキーワードが何かを知ることで、消費者が求めている情報を適切に提供できると考えています。 今回は、膨大な検索ログの中から「じわじわ検索頻度が上昇しているキーワード」を見つけるために 行ったことについて紹介したいと思います。 じわじわ検出 「じわじわ検索頻度が上昇して

今回掲載の内容 SQLで集計を行うには？ 「GROUP BY」句の制約 列名の指定「AS」 特定の集計行のみの表示 SQLで集計を行うには？ 今回は、SQL文での集計の方法（GROUP BY）を説明します。前回までに説明した「SELECT」文では、データを取得し表示させた場合、表示されるデータは元のデータの一部、もしくはすべてでした。今回使用する「GROUP BY」句を使用すると、特定の列をキーにした合計値や平均値などが表示される結果となります。まずは、例1のSQL文を実行してみましょう。前回説明したとおり、「Order Details」テーブルの指定に " "（ ダブル・クオーテーション）を使用していますので、注意してくださいね。

W3Schools offers a wide range of services and products for beginners and professionals, helping millions of people everyday to learn and master new skills. Free Tutorials Enjoy our free tutorials like millions of other internet users since 1999

DBにクエリを投げてテストする際、RStudioからRPostgreSQLなどのライブラリを利用すると非常に便利です。 なぜかというと、DBからの戻り値をRのデータフレーム型の変数に格納することができ、 その値をR言語の豊富な関数によって集計することができるからです。 overlap.hatenablog.jp ただ、私の場合sqlのクエリの文字列を手入力しなければならず、毎回面倒な上自由度が低く、ぐんにょりしていました。 sql <- " SELECT date, sum(sales) AS amount FROM table WHERE amount > 100 ORDER BY date " db.con <- RPostgreSQL::dbConnect( drv = dbDriver("PostgreSQL"), host = "192.********", user = "ta

2015-07-25 【R+MySQL】RとMySQLを使いカラムの平均、分散、標準偏差を求める 〜RMySQLのインストールから実践まで〜 R MySQL 序章MySQLのデータを統計的に調査したり、Excelで加工して伝票や書類を作ると言ったとき、MySQLのデータを外に持ち出す必要がある。一番考えられる方法はcsv出力だが、これが又一手間である。こんな時こそR、Excel(VBA)、C#Oracle,Microsoft SQL Server,MySQL間を行き来するようなプログラムの出番だ。余談だが求人に「VBAやC#の出来る人を募集」と書いてあるような、Microsoft製品を愛用する企業の場合、今回Rでやる事をVBAやC#でやる事が予想される。iPhone/Android全盛と言っても、日本国内でMicrosoft製品を愛用している人は多い事も見逃せない。ここで各言語とも MyS

この記事は abicky.net の R と SQL を対応付けてみた 〜data.table 編〜 に移行しました

かつてこんな記事を書きました。 http://d.hatena.ne.jp/dichika/20140422/p2 RMySQLはバイナリが配布されていなかったのでインストールが面倒だったのです。 実際Rjpwikiにも以下のような書き込みがあります。 http://www.okada.jp.org/RWiki/?RMySQL#o9e1224d でも今はバイナリが配布されているのでWindowsにも簡単にインストールできるようです。 install.packages("RMySQL")でOKです。 これにはRstudioの面々の努力があるようです。素敵。 詳しくは下記をどうぞ。 http://blog.rstudio.org/2015/01/09/rmysql-0-1-0/ サンプルコード 下記でRStudioがホストしているデータセットを試せます。 install.packages("R