検索対象

並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 44件

新着順 人気順

ビッグデータの検索結果1 - 40 件 / 44件

ビッグデータに関するエントリは44件あります。 データ、 google、 統計 などが関連タグです。 人気エントリには 『1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary』などがあります。

ビッグデータの関連エントリー

  • 1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

    自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

      1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

    • 全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル

      人身事故が起きた全国130万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。

        全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル

      • 17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION

        息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義

          17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION

        • Google、脱「クッキー」加速　4月から広告主と試験運用 - 日本経済新聞

          【シリコンバレー=奥平和行】米グーグルがインターネットの閲覧履歴などを保存する「クッキー」の利用制限に向けた取り組みを加速する。広告主と協力し、代替技術の試験的な運用を4月に始める方針だ。消費者のプライバシーに対する意識が高まるなか、ネット広告の効率維持との両立を目指す。プライバシーなどを担当するグループプロダクトマネジャーのチェトナ・ビンドラ氏が25日、ブログを通じて代替技術の開発状況につい

            Google、脱「クッキー」加速　4月から広告主と試験運用 - 日本経済新聞

            • ビッグデータの関連エントリー

          • GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）

            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

              GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック（構造化データ加工編）

            • ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」

              「西側諸国を支援するために立ち上げた」 2019年秋のある晴れた火曜日の午後、パリのリュクサンブール公園でアレックス・カープ（53）が太極拳をしていた。青のナイキのスウェットパンツに、青のポロシャツ。靴下はオレンジで、スニーカーはチャコールグレー。赤のアクセントが入った白縁のサングラスが、彼の最大の特徴である天に向かって逆立つゴマ塩の髪を引き立てていた。 栗の木の木陰でカープは太極拳と気功の一連の優雅な動きをする。体をひねったり、向きを変えたりするたびに足元の小石や土がわずかに動いた。その姿を、近くにいた10代の若者たちが面白そうに眺める。 10分ほど、そうやって体を動かした後、カープは近くのベンチに行った。そのベンチにはボディーガードの一人が置いた楽器ケースのようなクーラーボックスがある。 ケースにはカープが愛飲するドイツのノンアルコールビールの瓶も数本入っているが、いま中から取り出した

                ピーター・ティールが立ち上げた謎のデータ分析企業「パランティア」の実態に迫る | 「これまでに数件のテロを未然に防いだ」

              • 「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典”　専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン

                9日、JR東日本が参入したのは銀行。新たにスタートしたインターネット銀行サービス「JRE BANK」が、豪華な特典を得られると話題を呼んでいる。 特典１「片道料金４割引き」 「JRE BANK」の注目の特典の1つ目は、50万円以上預金するなどの条件を満たせば、JR東日本の路線内で「片道料金が4割引」となるというもの。 この記事の画像（16枚） 例えば、東京駅から新青森駅まで新幹線で旅行した場合、指定席の片道運賃は一人約1万7500円。これが4割引きとなると、運賃は約1万500円と、約7000円の割引となる。 この割引について街の人からは、「かなり（割引が）大きい！」「ねぶた祭とか見てみたい」「“ちりつも”で、いつか年に1回の旅行とか使うチャンスがあれば使いたい」といった声が聞かれた。 特典2「グリーン車無料」 特典の2つ目は、「グリーン車の無料」だ。 こちらも預金残高が50万円以上あるのが

                  「運賃4割引き」「グリーン車無料」JR東日本が銀行参入で“豪華特典”　専門家「太っ腹だが…いつまで特典続くか」｜FNNプライムオンライン

                • 3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース

                  11日までの3連休の人出について、2回目の緊急事態宣言が出ている1都3県の各地で分析したところ、いずれも先月の土日・祝日より減少したものの、去年の1回目の宣言時を大幅に上回ったことがビッグデータの分析から分かりました。 NHKは、IT関連企業の「Agoop」が利用者の許可を得て個人が特定されない形で集めた携帯電話の位置情報のデータを使って、1都3県の主要な駅周辺や繁華街の3連休中の人の数を分析しました。 分析した時間は ▽駅周辺が日中時間帯の午前6時から午後6時 ▽繁華街は夜間帯の午後6時から翌午前0時です。 主要駅周辺の人出 その結果、主要な駅周辺の人出は、いずれも先月の土日・祝日の平均より5％から40％近く減少していたものの、去年の緊急事態宣言時の土日・祝日の平均と比べると2倍以上に増えていました。 このうち東京駅は、先月と比べて38％減少しましたが、去年の宣言時と比べるとおよそ2.4

                    3連休 1都3県の人出 前回の緊急事態宣言時を大幅に上回る | NHKニュース

                  • Google アカウントのストレージポリシー変更について

                    Gmail、Google ドライブ、Google フォトは、世界の数十億人のメール、ドキュメント、写真、動画などを安全に保存して管理するお手伝いをしています。そして今、かつてないほど多くのコンテンツがアップロードされており、Gmail、ドライブ、Google フォト全体で、1 日 にアップロードされるデータの容量は 430 万 GB 以上にのぼります。 今後増え続ける需要に対応し優れたストレージの利用体験を継続して提供するためストレージポリシーの変更を行います。本変更は、Google フォトと Google ドライブ（Google ドキュメント、スプレッドシート、スライド、図形描画、フォーム、Jamboard ファイル）に適用されます。さらに 2 年以上使用されていないアカウント 及び、2 年以上ストレージ制限を超えた状態が続いているファイルについても、新しいポリシーを本日公開します。これ

                      Google アカウントのストレージポリシー変更について

                    • COVID-19 Community Mobility Report

                      As global communities responded to COVID-19, we heard from public health officials that the same type of aggregated, anonymized insights we use in products such as Google Maps would be helpful as they made critical decisions to combat COVID-19. These Community Mobility Reports aimed to provide insights into what changed in response to policies aimed at combating COVID-19. The reports charted movem

                        COVID-19 Community Mobility Report

                      • BigQuery と Snowflake を徹底比較

                        最初にBigQueryとSnowflakeの概要と、登場の背景を説明します。 その後、ユーザにとっての使い勝手と、管理者にとっての使い勝手を、ベンダーフリーな立場でそれぞれします。 最後に、BigQueryとSnowflakeどっちが速いのか？といった疑問に対して、アーキテクチャをもとに考察します。

                          BigQuery と Snowflake を徹底比較

                        • Big Data is Dead

                          For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t

                            Big Data is Dead

                          • コロナ濃厚接触をスマホで通知　AppleとGoogle - 日本経済新聞

                            【シリコンバレー=白石武志】米アップルとグーグルは10日、スマートフォンを使って新型コロナウイルスの濃厚接触の可能性を検出・通知する技術を共同開発すると発表した。5月に第1弾となる機能を各国の公衆衛生当局向けに提供を始める。日本でも展開する。スマホを使って感染経路を追跡する技術はすでに中国などで導入されているが、プライバシー上の課題もあり、対策が急務になっている。両社が開発する新技術は、スマホ

                              コロナ濃厚接触をスマホで通知　AppleとGoogle - 日本経済新聞

                            • トヨタ「215万人分のクルマの位置情報、漏えいの可能性」公表　クラウド環境誤設定、約10年にわたり

                              トヨタ自動車は5月12日、同社のテレマティクスサービスに契約したユーザーのうち、215万人分の車両の位置情報・時刻が外部から閲覧された可能性があると発表した。 データ管理を委託した子会社・トヨタコネクテッドがクラウド環境を誤って設定し、約10年間にわたり、データが公開状態になっていたという。 また、トヨタコネクテッドは同日、法人向けサービスで収集した、ドライブレコーダーで車外を撮影した映像も閲覧された可能性があると発表した。 対象は、2012年1月2日から2023年4月17日に、トヨタのテレマティクスサービス「T-Connect」「G-Link」「G-Link Lite」「G-BOOK」を契約したユーザー約215万人分の、ナビごとの識別番号（車載端末ID）、車両1台ずつに割り当てられた識別番号（車台番号）、車両の位置情報、時刻。2013年11月6日から2023年4月17日の約10年間にわた

                                トヨタ「215万人分のクルマの位置情報、漏えいの可能性」公表　クラウド環境誤設定、約10年にわたり

                              • 機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選

                                日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無

                                  機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選

                                • DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"

                                  After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO

                                    DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"

                                  • 社内でAI人材を発掘するJR西日本、物体認識コンペ優勝の裏側 | Ledge.ai

                                    4月27日から6月30日に開催されたデータサイエンスコンペティション「AIエッジコンテスト（外部サイト）」で、JR西日本の若手社員二人が優勝を勝ち取った。JR西日本は、2017年から本格的にデータサイエンスの取り組みを開始。2020年には「データソリューション室」を設立し、データ分析やAIを用いた業務変革を進めている。 なぜ、JR西日本は優勝できたのか？優勝を勝ち取ったJR西日本データソリューション室の松田篤史さん、兒玉庸平さんのお二人に話を聞いた。 元新幹線の運転士、駅機械設備のエンジニアだった二人兒玉さんと松田さんは、ともに事業部の出身だ。 兒玉さんが新卒で最初に配属された先は、総合車両所という車両検査を行う部署。その後、山陽・北陸新幹線の運転士を務めた後、指令所と呼ばれる、新幹線の運行管理を行う部署に異動した。

                                      社内でAI人材を発掘するJR西日本、物体認識コンペ優勝の裏側 | Ledge.ai

                                    • 「感染症の専門家だからといってビッグデータとＡＩを扱えるわけではない」三浦瑠麗氏が感染者数のピーク予測を提供する理由 | 国内 | ABEMA TIMES | アベマタイムズ

                                      7日のABEMA『NewsBAR橋下』にゲスト出演した国際政治学者の三浦瑠麗氏が、政治と専門家の役割について橋下徹氏と議論した。三浦氏は先月から、自身の参加する民間有志チーム「CATs」（Collective Analysis Teams）による、東京都での新型コロナウイルス感染症の第6波ピーク予測を連日公開してきた。 橋下：尾身さんたち専門家の皆さんが日々努力をされていることには敬意を表するんだけど、ちょっと“同族グループ”すぎたんじゃないか。尾身さんっていう権威がいて、同じような考え方の、いわば弟子というか、知り合いを引っ張ってきちゃったから。違う考え方の専門家もいっぱいいるわけだし、そういう人たちも含めてどういう会議体にするか、そこは、最後は政治の責任だが、日本のコロナ対応で混乱が起きたことの一番の問題点は、専門家が“同族”すぎるからというところにあると思う。

                                        「感染症の専門家だからといってビッグデータとＡＩを扱えるわけではない」三浦瑠麗氏が感染者数のピーク予測を提供する理由 | 国内 | ABEMA TIMES | アベマタイムズ

                                      • Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（PHILE WEB） - Yahoo!ニュース

                                        GoogleはBard改めGeminiのプライバシーの取り扱いについて、ヘルプページの「Gemini アプリのプライバシー ハブ」で、AIアプリの使用時に注意すべきリスクを説明している。 Google Bardが「Gemini」に名称変更。高性能AIモデル「Ultra 1.0」も提供開始へ Googleは、Gemini アプリケーションが会話、位置情報、フィードバック、利用状況情報といった情報を収集すると説明。それらの情報を製品、サービス、機械学習技術の提供や向上、開発に利用すると述べている。 ただ、ZDNetは懸念すべき事項として、Geminiがユーザーの会話内容にアクセスする点を指摘している。Googleはこのページの「どのような種類のデータが収集され、どのように使用されますか？」という項目において、ユーザーの個人情報を他人に販売することはないとしているが、自動ツールを用いて会話のサブ

                                          Googleが警告、AI「Gemini」に“機密情報を入力しないで”。会話は従業員も閲覧（PHILE WEB） - Yahoo!ニュース

                                        • 【データ分析入門】データ分析の現状と課題 - シー・エス・エス イノベーションラボ（ブログ）

                                          DXへの取り組みの加速により、企業は保有しているデータを分析・活用する必要性が高まってきました。「データドリブン経営」という言葉が一般的になってきたように、ビジネスでより良い判断をするために保有しているデータを活用することは最優先事項となっています。 前回はなぜ今データ分析を行うべきなのか、目的とメリットをご紹介いたしました。 ※前回の記事はこちら blog.css-net.co.jp 今回は、そのデータ分析における現状と課題点について詳しくご説明いたします。ぜひご自身の会社に当てはめてお考え下さい。 １．データ活用の現状 1-1.    データが散在しており、現状を把握出来ていない 1-2.    データを見てもビジネスの発想が出てこない 1-3.    顧客や成果のデータを可視化したい 1-4.    施策に有効なデータを選定できない ２．    効果的にデータを活用するために 2-1

                                            【データ分析入門】データ分析の現状と課題 - シー・エス・エス イノベーションラボ（ブログ）

                                          • データカタログ横断システム

                                            データカタログ横断システムはSIP NIIコンソーシアムが開発したオープンデータに係る情報検索サイトです。

                                            • 【禁断の比較？】SnowflakeとTreasure Dataを比べてみました

                                              ここ最近「SnowflakeとTreasure Dataの違いを教えてほしい」 といった質問を頂くことが増えています。 どちらもクラウドDWH(データウェアハウス)や、 クラウドデータプラットフォームと呼ばれるように、競合するプロダクトですね。 クラウドのスケールメリットを活かしている点、 ユーザビリティの高いGUIが用意されている点など、共通点が多いです。 2011年に米国で日本人が創業し、 2013年から今日に至るまで日本国内での普及を着実に進めていったTreasure Data。 2012年に米国で元Oracle出身者が創業し、 グローバルでの評価を確固たるものとし、 満を持して2019年に日本法人を設立したSnowflake。 グローバルでの知名度は圧倒的にSnowflakeの方が高いのですが 日本国内での歴史はまだ浅く、 国内においてはTreasure Dataの方が知名度が高く

                                                【禁断の比較？】SnowflakeとTreasure Dataを比べてみました

                                              • Apache Beam (Dataflow) 実践入門【Python】 - Qiita

                                                はじめに この記事は、Apache Beam Documentation の内容をベースとしています。 Apache Beam Python SDK でバッチ処理が可能なプログラムを実装し、Cloud Dataflow で実行する手順や方法をまとめています。また、Apache Beam の基本概念、テストや設計などについても少し触れています。 Apache Beam SDK 入門 Apache Beam SDK は、Java, Python, Go の中から選択することができ、以下のような分散処理の仕組みを単純化する機能を提供しています。 Pipeline：処理タスク全体（パイプライン）をカプセル化します。処理タスクには、入力データの読み取り、変換処理、および出力データの書き込み等が含まれます。 PCollection：分散処理対象のデータセットを表すオブジェクトです。通常は、外部のデータ

                                                  Apache Beam (Dataflow) 実践入門【Python】 - Qiita

                                                • データレイク解説シリーズ 第 1 回 : データレイクってなに ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

                                                  こんにちは。今回から 4 回の予定でデータレイクについての連載をスタートします。現在データレイクの書籍を 4 名で執筆中なのですが、そこからエッセンスとなるポイントを抜き出し、builders.flash を読んでいただいている皆様にコンパクトにお届けします。第一回は「データレイクってなに？」です。 データレイクを一言で表すならば、多様なデータを一元的に、大量に保存して置ける場所です。データベースに入っているような構造化されたデータも、ソーシャルメディアのメッセージも、画像や音声ファイルも一箇所に集めたデータ置き場という意味です。 これを読んでいる皆様は「データベースでは駄目なの ?」と思われるかもしれませんね。巨大なデータを扱うという意味ではデータウェアハウスもありますが、これとはどう違うのでしょうか？ 今回はデータレイク理解の最初の一歩として、データレイクは、データベースやデータウェア

                                                    データレイク解説シリーズ 第 1 回 : データレイクってなに ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS

                                                  • Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］

                                                    概要 COVID-19の影響でキャンセルとなったEmbulk & Digdag Meetupですが、オンラインで実施することとなりました！ Arm Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO TechnologiesとprimeNumber社の「troccoⓇ」開発チームの２社にも登壇いただき、EmbulkとDigdagの運用やプラグイン開発についてのディープなナレッジを共有します。 Youtube Live経由で配信します。https:

                                                      Embulk & Digdag Online Meetup 2020｜IT勉強会・イベントならTECH PLAY［テックプレイ］

                                                    • https://pages.awscloud.com/rs/112-TZM-766/images/20200604_data.pdf

                                                      • BigQuery とは 概要から料金体系を5分で入門 | クラウドエース株式会社

                                                        (*1) 過去 90 日間で変更されたテーブルまたはテーブル パーティションが含まれます。 (*2) 90 日間連続して変更されていないテーブルまたはテーブル パーティションが含まれます。 そのテーブルのストレージの料金は自動的に約 30% 値引きされます。 AWS の RedShift、Microsoft Azure の SQL Data Warehouse との比較 Amazon の RedShift も、Microsoft Azure の SQL Data Warehouse も Google Cloud の BigQuery もそれぞれ各社の クラウドプラットフォーム上で提供されるマネージドサービスである点は共通していますが、RedShift と SQL Data Warehouse はインスタンスの概念があり、使用時にリソースを占有することから、時間あたりの課金やインスタンスの種

                                                          BigQuery とは 概要から料金体系を5分で入門 | クラウドエース株式会社

                                                        • 【SAS勉強会-第4回-】ODSステートメントを使用したHTML出力 - シー・エス・エス イノベーションラボ（ブログ）

                                                          皆さま。こんにちは、marshmallow_bijouです。 今年も終わりに近づいてきましたね。私はクリスマスケーキを食べるのを指折り数えて楽しみにしているこの頃です。 さて今回は、ODSステートメントを使用して、HTML出力を作成し表示する方法についてお話していこうと思います。 前回の記事はこちら👇 blog.css-net.co.jp １．ODSの動き ２．ODS出力先のオープン・クローズ 2-1.ODS出力先のオープン・クローズの仕方 2-2.複数の出力先を一度に閉じたい場合 ３．オプションを使用したHTML出力 ４．最後に １．ODSの動き まず、HTML出力のお話の前に、ODSステートメントとは何かについて、軽く触れておきます。 *1 ODSでは、書式設定のオプションを与えることによって、出力の幅を広げることが出来るので、指定した形式で出力ファイルを作成したいときに使えるかと思

                                                            【SAS勉強会-第4回-】ODSステートメントを使用したHTML出力 - シー・エス・エス イノベーションラボ（ブログ）

                                                          • 【SAS勉強会-第3回-】DATAステップ処理の裏側 - シー・エス・エス イノベーションラボ（ブログ）

                                                            お久しぶりです。shimesaba_oishiです。 最近急に寒くなりましたね。。秋を返してほしいと思う今日この頃です。 最近SASの勉強をしているのですが、業務ではあまり意識していない「DATAステップ処理の裏側」についてご紹介しようと思います。 前回の記事はこちら👇 blog.css-net.co.jp １．各フェーズについて ２．コンパイル・フェーズ 入力バッファ プログラム・データベクトル 構文チェック 変数の追加 ディスクリプタ部の作成 ３．実行フェーズ 変数の初期化 INFILEステートメント INPUTステートメント DATAステップの最後 DATAステップの繰り返し ４．おわりに １．各フェーズについて まずSAS DATAステップは2つのフェーズで処理されています。まずは各フェーズの名前とざっくりとした処理をみていきましょう。 コンパイル・フェーズ 入力バッファとプログ

                                                              【SAS勉強会-第3回-】DATAステップ処理の裏側 - シー・エス・エス イノベーションラボ（ブログ）

                                                            • 三菱地所、全社員にデータ分析教育　役員含め1万人対象 - 日本経済新聞

                                                              三菱地所がグループ全社員1万人を対象に新たなデジタル教育に乗り出す。データ分析の手法などを学ぶ約15時間の講座受講を必修とし、優秀な人材を選抜してマーケティングに生かせるデジタル技術を教える。経験に頼らず、データを生かした顧客への提案で効率的な営業に転換する。外資との競争が激しくなる中、デジタルトランスフォーメーション（DX）が遅れる不動産業界でも人材育成が本格化する。三菱地所がグループ全社員

                                                                三菱地所、全社員にデータ分析教育　役員含め1万人対象 - 日本経済新聞

                                                              • 一休.com代表が説く、データ活用の3つの利点　競合との比較から見出す“好機”

                                                                コロナの影響が大きい、観光地・宿泊施設・レストラン 倉橋健太氏（以下、倉橋）：よろしくお願いいたします。簡単に、みなさんの自己紹介から入っていきたいなと思います。榊さんからお願いしてもよろしいですか？ 榊淳氏（以下、榊）：一休の榊です。事業は主に、宿泊の予約事業とレストランの予約事業をやっていまして。ご存じのとおりインターネットの会社なので、対お客さん向けのサービスだとか、ホテルさんとかレストランさん向けのサービスに、データ活用などをやっております。よろしくお願いします。 倉橋：お願いします。では次、山本さんお願いします。 山本博士氏（以下、山本）：スマレジの山本と申します。飲食店さんとか小売店さん向けのレジのアプリを作って販売している、ソフトウェア会社になります。今年2月の中旬ぐらいに、観光地で商売されているお客さま・店舗さまから「売り上げが一気に落ちている」とご連絡をいただいて。 「ス

                                                                  一休.com代表が説く、データ活用の3つの利点　競合との比較から見出す“好機”

                                                                • 【データ分析入門】データ分析って？目的・メリットはなに？なぜ重要とされている？ - シー・エス・エス イノベーションラボ（ブログ）

                                                                  DXへの取り組みの加速により、企業は保有しているデータを分析・活用する必要性が高まってきました。「データドリブン経営*1」という言葉が一般的になってきたように、ビジネスでより良い判断をするために保有しているデータを活用することは最優先事項となっています。 一方で、 ・    データ分析の概要が分からない ・    データを活用するメリットが分からない ・    データ分析を行うことでどのような成果につながるのか分からない といった悩みを抱えている方も多くいらっしゃることかと思います。 今回はなぜ今データ分析を行うべきなのか、目的とメリットをご紹介します。データの活用をご検討されている方はぜひご一読ください。 １．データ分析とは？ ２．データ分析の目的とは？ ３．データ分析のメリット 3-1．迅速な意思決定ができる 3-2．これまで見落としていた問題点や可能性を抽出できる 3-3．確度の高い

                                                                    【データ分析入門】データ分析って？目的・メリットはなに？なぜ重要とされている？ - シー・エス・エス イノベーションラボ（ブログ）

                                                                  • 「Redash v10.1.0」で気になった新機能と機能改善 - kakakakakku blog

                                                                    2021年10月に Redash の最新バージョン「Redash v10.0.0」がリリースされた．そして現在は「Redash v10.1.0」まで出ている．また Redash 界隈ではよく知られた「正式リリースまで到達しなかった v9.0.0」という話もあり，実に2年振りの正式リリースとなる．Redash を使っている会社だとでは「v8 → v10」にアップデートする機会が多いと思う． バージョン リリース日 v9.0.0-beta 2020-06-11 リリース v10.0.0-beta 2021-06-16 リリース v10.0.0 2021-10-01 リリース v10.1.0 2021-11-23 リリース 今回は Change Log を確認しつつ，「個人的に気になった Redash v10.1.0 新機能と機能改善」を「計5点」紹介する．全ての変更点は以下に載っている． gi

                                                                      「Redash v10.1.0」で気になった新機能と機能改善 - kakakakakku blog

                                                                    • Amazon.co.jp: [増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus): 西田圭介: 本

                                                                        Amazon.co.jp: [増補改訂]ビッグデータを支える技術 ——ラップトップ1台で学ぶデータ基盤のしくみ (WEB+DB PRESS plus): 西田圭介: 本

                                                                      • Embulk & Digdag Meetup 2020｜IT勉強会ならTECH PLAY［テックプレイ］

                                                                        お知らせ 誠に残念ですが、Embulk & Digdag Meetup 2020の開催の延期をご報告いたします。 新型コロナウイルス感染症(COVID-19)の被害拡の状況下において、今回のミートアップ開催は望ましくないと判断し、延期させていただくこととなりました。 4月以降に状況を鑑み、再度ミートアップの企画させていただきますので、楽しみにお待ちください。 概要 Treasure Dataが中心となって開発・提供をしているOSSプロダクトであるEmbulkとDigdagのMeetupを2020年初開催します！ Embulk/Digdagのオリジナル開発者である古橋(@frsyuki)や現在のコア開発チームも参加して、EmbulkとDigdagそれぞれの今後のロードマップについて発表します。 さらに、EmbulkとDigdagをプロダクション環境で利用しているZOZO Technologi

                                                                          Embulk & Digdag Meetup 2020｜IT勉強会ならTECH PLAY［テックプレイ］

                                                                        • 中国、ビッグデータで感染経路を割り出し　行動を詳細把握

                                                                          【北京＝西見由章】国民のプライバシーが含まれるビッグデータや顔認証などの人工知能（ＡＩ）を利用して国民を統制・監視している中国当局が、これまで蓄積した技術を新型コロナウイルスの感染経路割り出しに活用している。 南京市当局は１月下旬、新型肺炎の感染者３人が過去に外出した際の詳細な移動経路を公表し、接触した可能性がある人に連絡を呼び掛けた。地下鉄の乗換駅も含めた詳細な経路やバスの乗降駅、スーパーや病院に滞在した時間も分単位でつきとめた。市当局は「ビッグデータを運用した」と説明する。 中国当局は治安維持のためにデジタル技術を活用。街中に設置された監視カメラと顔認証技術の情報に加えて、携帯電話の通話・位置情報、ライドシェアなど各種サービスの利用記録といったビッグデータを企業から収集し、個人の詳細な行動履歴を把握することが可能となっている。 国家衛生健康委員会の専門家チームメンバー、李蘭娟（り・らん

                                                                            中国、ビッグデータで感染経路を割り出し　行動を詳細把握

                                                                          • PowerPoint Presentation

                                                                            © 2020, Amazon Web Services, Inc. or its Affiliates. Noritaka Sekiyama Big Data Architect, AWS Glue & Lake Formation 2020/6/11 データレイクの活用に 欠かせない運用のポイント © 2020, Amazon Web Services, Inc. or its Affiliates. AWSオンラインセミナーへようこそ お気軽にご質問ください！ • 書き込んだ質問は主催者にしか見 えません • 最後のQ&A時間で、いただいたご 質問からピックアップしてご回答 をさせていただきます ① 吹き出しをクリック ② 質問を入力 ③ Sendをクリック © 2020, Amazon Web Services, Inc. or its Affiliates. 「AWSではじめるデー

                                                                            • データマイニング基礎講座 ービッグデータを業務に活かすためのポイントとは

                                                                              この記事では、膨大なデータの中から有用な情報を見つけ出すデータマイニングの基礎や代表的な分析手法、実際の流れ、データマイニング成功のポイントについて解説します。 はじめに この記事では、データマイニングの基礎や代表的な分析手法、実際の流れ、データマイニング成功のポイントについて解説します。データマイニングの基礎を学び、業務に生かすための知識と実践力を身に着けておきましょう。 データマイニングとは インターネットの普及とIT化が進んだ現代は、膨大な量のデータがあふれ返っている時代です。その中でも注目されているのが、量が多いだけでなく複雑さを備えた「ビッグデータ」であり、これをいかに効率的に利用できるかがビジネスを成功させるカギと言っても過言ではありません。では、ビッグデータを活用するためには何をどのように進めていけば良いのでしょうか。そのための手段として注目されているのが、データマイニングで

                                                                                データマイニング基礎講座 ービッグデータを業務に活かすためのポイントとは

                                                                              • Icebergテーブルの内部構造について - やっさんメモ

                                                                                この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました🎄 今回は、ここ数年でデータ界隈で盛り上がっているOpen Table FormatのIcebergテーブルについて書いていきます。 Hiveテーブルとの比較とか、Icebergテーブルの特徴（Time Travel や Rollback、Hidden Partitioning、Full Schema Evolution等）については、あっちこっちで大分こすられてます。 そこで、Icebergテーブルの特徴がなぜ実現できているのかについて知るために、内部構造がどうな

                                                                                  Icebergテーブルの内部構造について - やっさんメモ

                                                                                • イベント資料｜Embulk & Digdag Online Meetup 2020 - TECH PLAY［テックプレイ］

                                                                                  グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか？

                                                                                    イベント資料｜Embulk & Digdag Online Meetup 2020 - TECH PLAY［テックプレイ］
                                                                                  1 2 次のページ

                                                                                  新着記事

                                                                                  はてなブックマーク

                                                                                  公式Twitter

                                                                                  はてなのサービス

                                                                                  • App Storeからダウンロード
                                                                                  • Google Playで手に入れよう
                                                                                  Copyright © 2005-2024 Hatena. All Rights Reserved.