TechCrunch | Startup and Technology NewsAnterior, a company that uses AI to expedite health insurance approval for medical procedures, has raised a $20 million Series A round at a $95 million post-money valuation led by…
BigQueryã«Twitterã®ã‚¿ã‚¤ãƒ ラインを入れる [Ruby]
Twitter ã®ã‚¿ã‚¤ãƒ ラインをä¿å˜ã—ã¦ãŠãã¨ãªã«ã‹ã¨ä¾¿åˆ©ãªã®ã§ã€è‰²ã€…ã¨ä¿å˜å½¢å¼ã‚’変ãˆãªãŒã‚‰ 4 å¹´ãらã„記録ã—続ã‘ã¦ã„る。ツイートã®ä¿å˜ãŒä¾¿åˆ©ã™ãŽã‚‹ã®ã§ã€ãƒ„イセーブã¨ã„ã†ã‚µãƒ¼ãƒ“ス化ã¾ã§ã—ãŸã€‚ã‹ã¤ã¦ã¯ãƒ†ã‚ストã§ã€MongoDB ã‚„ MySQL ã¨ã‹ Groonga ã¨ã‹ã„ã‚ã„ã‚ã‚„ã£ã¦ããŸã€‚ã©ã‚Œã‚‚å•é¡Œãªã„ã‚“ã ã‘ã©ã€å¢—ãˆç¶šã‘ã‚‹ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã™ã‚‹å ´æ‰€ã¨ã—ã¦è€ƒãˆã‚‹ã¨ BigQuery ãŒç¾ä»£ã«ãƒžãƒƒãƒã—ã¦ã‚‹ã‚ˆã†ãªã®ã§ãã¡ã‚‰ã«ç§»è¡Œã—ãŸã€‚ BigQuery ã« TL ã‚’ä¿å˜ã™ã‚‹ã¨ã§ãã‚‹ã“㨠TL ã®å…¨ã¦ã®ãƒ‡ãƒ¼ã‚¿ã‚’フルスã‚ャンã§ãる。ã“ã‚Œã¯ã‹ãªã‚Šä¾¿åˆ©ã§ã€ä»Šå›žã“ã®ãƒ–ãƒã‚°è¨˜äº‹ã‚’書ãã«ã‚ãŸã£ã¦ã‚‚ ‘BigQuery’ ã‚’ TL ã‹ã‚‰æ¤œç´¢ã™ã‚Œã°ã€ä¿¡é ¼ã§ãるフォãƒãƒ¼ã‚¤ãƒ³ã‚°ã®äººã€…ã®å£°ã‚’見るã“ã¨ãŒã§ããŸã€‚ã“ã‚Œã«ã‚ˆã‚Šã€ŒæŸ CA 社ã§ã¯ 5000 å°ã® MongoDB クラスタ㧠BigQuery ã«å¯¾æŠ—ã—ã¦ã„ã‚‹ã€ã¨ã„ã†
![BigQueryã«Twitterã®ã‚¿ã‚¤ãƒ ラインを入れる [Ruby]](https://cdn-ak-scissors.b.st-hatena.com/image/square/eb99bf7e3074ef0fe5df0ca25a644e696c62ad78/height=288;version=1;width=512/https%3A%2F%2Fs3-ap-northeast-1.amazonaws.com%2Fkksg%2Fblog%2F53b4ac19c38aa5513f47ea75.png)
利用目的ã®å¤‰æ›´ã«ã€Œå®ŸåŠ¹çš„ãªè¦å¾‹ã€ã€ãƒ‘ーソナルデータ法改æ£å¤§ç¶±æ¡ˆã‚’了承
政府ã®ITç·åˆæˆ¦ç•¥æœ¬éƒ¨ã¯2014å¹´6月19æ—¥ã€ã€Œãƒ‘ーソナルデータã«é–¢ã™ã‚‹æ¤œè¨Žä¼šã€ã®ç¬¬12回会åˆã‚’開催ã—ã€å€‹äººæƒ…å ±ä¿è·æ³•æ”¹æ£ã«å‘ã‘ãŸæ¤œè¨Žä¼šã®å¤§ç¶±æ¡ˆã‚’了承ã—ãŸã€‚7月ã«1カ月間ã®ãƒ‘ブリックコメントを実施ã—ã€2015å¹´1月ã®é€šå¸¸å›½ä¼šã‚’目指ã—ã¦æ³•æ¡ˆã®ç–定を進ã‚る。 検討会案ã§ã¯ã€ä¼æ¥ãªã©ãŒå€‹äººæƒ…å ±ã‚’å–å¾—ã™ã‚‹éš›ã«ç¤ºã—ãŸåˆ©ç”¨ç›®çš„ã‚’ã‚ã¨ã«ãªã£ã¦å¤‰æ›´ã™ã‚‹æ‰‹ç¶šãã«ã¤ã„ã¦ã€ç›®çš„変更を「本人ãŒå分ã«èªçŸ¥ã§ãる手続ãを工夫ã€ã™ã‚‹ã¨ã—ãŸã€‚ã¾ãŸã€å–得時ã‹ã‚‰å¤§ããç•°ãªã‚‹åˆ©ç”¨ç›®çš„ã«å¤‰æ›´ã™ã‚‹ã“ã¨ã«ãªã‚‰ãªã„よã†ã€Œå®ŸåŠ¹çš„ãªè¦å¾‹ã‚’å°Žå…¥ã™ã‚‹ã€ã¨ã„ã†è¨˜è¿°ãŒåŠ ãˆã‚‰ã‚ŒãŸã€‚ 個人データを第三者æä¾›ã™ã‚‹å ´åˆã«ã¤ã„ã¦ã‚‚「ç¾è¡Œæ³•ã®è¶£æ—¨ã‚’è¸ã¾ãˆãŸé‹ç”¨ã‚’図るã€ã¨ã—ãŸã€‚ã“れらã¯ã€Œãƒ—ライãƒã‚·ãƒ¼ãƒãƒªã‚·ãƒ¼ã‚’一方的ã«å¤‰æ›´ã—ã¦ã€ã‚ªãƒ—トアウト方å¼ã§å±¥æ´æƒ…å ±ã‚’ç¬¬ä¸‰è€…æä¾›ã—よã†ã¨ã„ã†è¡Œå‹•ã‚’ã™ã‚‹è€…ã€ãŒç¾ã‚Œã¦ã„ã‚‹ã¨ã„ã†æ„見ã«å¯¾å¿œã—ãŸã‚‚ã®ã¨ã¿ã‚‰ã‚Œã‚‹ã€‚ 本人åŒæ„ã‚’å¾—ãªãã¦ã‚‚第
第9回 パーソナルデータã«é–¢ã™ã‚‹æ¤œè¨Žä¼šã€€è°äº‹æ¬¡ç¬¬ãƒ»è³‡æ–™
第９回 パーソナルデータã«é–¢ã™ã‚‹æ¤œè¨Žä¼šã€€è°äº‹æ¬¡ç¬¬ 日　時　　平æˆï¼’６年５月２ï¼æ—¥ï¼ˆç«ï¼‰ï¼‘７：３ï¼ï½žï¼’ï¼ï¼šï¼ï¼ å ´ã€€æ‰€ã€€ã€€ä¸å¤®åˆåŒåºèˆŽï¼”å·é¤¨ã€€ï¼‘２階　１２ï¼ï¼˜ä¼šè°å®¤ è°ã€€äº‹ （１）開会 （２）山本IT政ç–担当大臣ã‚ã„ã•ã¤ （３）データ活用団体ã‹ã‚‰ã®ãƒ’アリングç‰ã«ã¤ã„㦠（４）技術検討WGã‹ã‚‰ã®ä¸é–“å ±å‘Š （５）定義ã¨å€‹äººæƒ…å ±å–扱事æ¥è€…ç‰ã®ç¾©å‹™ç‰ã®è«–点ã«ã¤ã„㦠（６）閉会
Overview
BeakerX is a collection of kernels and extensions to the Jupyter interactive computing environment. It provides JVM support, Spark cluster support, polyglot programming, interactive plots, tables, forms, publishing, and more. BeakerX supports: Groovy, Scala, Clojure, Kotlin, Java, and SQL, including many magics; Widgets for time-series plotting, tables, forms, and more (there are Python and JavaSc
Googleã®è™Žã®å「BigQueryã€ã‚’FluentdユーザーãŒä½¿ã‚ãªã„ç†ç”±ãŒãªããªã£ãŸç†ç”± #gcpja - Qiita
From Fluentd Meetupã«è¡Œã£ã¦ãã¾ã—㟠ã“れをèªã‚“ã 時ã€BigQueryã®æ¤œç´¢ã‚¹ãƒ”ードã«ã¤ã„ã¦ã¡ã‚‡ã£ã¨è£œè¶³ã—ãŸããªã£ãŸã€‚確ã‹ã«Fluentd Meetupã®ãƒ‡ãƒ¢ã§ã¯9億件を7秒程度ã§æ¤œç´¢ã—ã¦ã„ãŸãŒã€BigQueryã®çœŸã®å®ŸåŠ›ã¯ã“れより1〜2ケタ上ã ã‹ã‚‰ã 。ã¡ã‚‡ã£ã¨æ‰‹å…ƒã§å°‘ã—大ãã‚ã®ãƒ†ãƒ¼ãƒ–ルã§è©¦ã—ã¦ã¿ãŸã‚‰ã€120å„„è¡Œã®æ£è¦è¡¨ç¾ãƒžãƒƒãƒä»˜ã集計ãŒ5秒ã§å®Œäº†ã—ãŸã€‚è«–ã‚ˆã‚Šè¨¼æ‹ ã§ã€ãƒ‡ãƒ¢ãƒ“デオ（1分16秒）を作ã£ã¦ã¿ãŸï¼š From The Speed of Google BigQuery ã“ã‚Œã¯é€Ÿã™ãŽã‚‹ã€‚何ã‹ã®ã‚¤ãƒ³ãƒã‚ã§ã‚る（最åˆã«ãƒ‡ãƒ¢ã‚’見ãŸæ™‚ãã†æ€ã£ãŸï¼‰ã€‚æ£è¦è¡¨ç¾ã‚’ã„ã‚ã„ã‚変ãˆã¦ã¿ã¦ã‚‚スピードã¯å¤‰ã‚らãªã„。ã¤ã¾ã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’事å‰æ§‹ç¯‰ã§ããªã„クエリã«å¯¾ã—ã¦ã“ã®ã‚¹ãƒ”ードãªã®ã§ã‚る。 ä¾¡æ ¼ã‚‚å®‰ã„。ã•ã™ãŒã«120å„„è¡Œã®ã‚¯ã‚¨ãƒªã¯1回ã§200円もã‹ã‹ã£ã¦æ°—軽ã«å®Ÿè¡Œã§ããªã•ãã†ã§ã‚ã‚‹ãŒã€1.2å„„
高次元データã®å¤–れ値検出 - sfchaos's blog
高次元データã®å¤–れ値検出ã«ã¤ã„ã¦ã®ãƒ¡ãƒ¢ï¼Ž 高次元データã¨æ¬¡å…ƒã®å‘ªã„ 次元ãŒå¤§ãããªã‚‹ã»ã©ï¼Œç‚¹ã®é–“ã®è·é›¢ã¯å‡ä¸€ã«ãªã£ã¦ã„ã． 例ã¨ã—ã¦ï¼Œ2000個ã®ç‚¹ã®å„座標を一様乱数ã§ç™ºç”Ÿã•ã›ã¦ï¼Œæ¬¡å…ƒã‚’変ãˆãªãŒã‚‰ç‚¹ã®é–“ã®è·é›¢ã®å¹³å‡å€¤ï¼Œæœ€å¤§å€¤ï¼Œæœ€å°å€¤ï¼Œå¹³å‡å€¤Â±1σ，平å‡å€¤Â±2σをã¿ã¦ã¿ã‚ˆã†ï¼Ž library(ggplot2) set.seed(123) # 次元ã®ãƒªã‚¹ãƒˆ dims <- c(1:9, 10*(1:9), 100*(1:10)) # 算出ã™ã‚‹çµ±è¨ˆé‡ stats <- c("min", "mean-sd", "mean", "mean+sd", "max") # 発生ã•ã›ã‚‹ç‚¹ã®å€‹æ•° N <- 2000 # å„次元ã«å¯¾ã—ã¦ç®—出ã—ãŸçµ±è¨ˆé‡ã‚’æ ¼ç´ã™ã‚‹è¡Œåˆ— ans <- matrix(NA, length(dims), length(stats), dimnames=list(dims, stats))
Treasure Data Service ã¯ã©ã®ã‚ˆã†ãªã‚±ãƒ¼ã‚¹ã«å‘ã„ã¦ã„ã‚‹ã‹ï¼Ÿ - トレジャーデータ（Treasure Data）ブãƒã‚°
*トレジャーデータã¯ãƒ‡ãƒ¼ã‚¿åŽé›†ã€ä¿å˜ã€åˆ†æžã®ãŸã‚ã®ã‚¨ãƒ³ãƒ‰ãƒ„ーエンドã§ã‚µãƒãƒ¼ãƒˆã•ã‚ŒãŸã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スã§ã™ã€‚ å‰å›žã¯ Treasure Data Service ãŒç”Ÿãƒ‡ãƒ¼ã‚¿ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã«ã‚ã’られã¦ã„ã‚‹ã¨ã„ã†å‰æ（ã¤ã¾ã‚ŠTreasure Data Service を利用ã—ã¦ã„ã‚‹å‰æ）ã§ï¼Œãã‚Œã¨BIãªã©ã®ãƒ•ãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã‚’シームレスã«ç¹‹ããŸã‚ã®ä¸é–“データベースã¯ã©ã‚ŒãŒè‰¯ã„ã‹ï¼Œã¨ã„ã†è¦³ç‚¹ã§ãŠè©±ã—ã¾ã—ãŸã€‚ãã—ã¦Â TQAãŒã©ã®ã‚ˆã†ãªã‚‚ã®ã‹ã‚’ç†è§£ã—，Redshiftã¨ã¯ç«‹ã¤ãƒ¬ã‚¤ãƒ¤ãƒ¼ãŒé•ã†ã“ã¨ã‚’ã‚ã‹ã£ã¦é ‚ã事ãŒç›®çš„ã§ã—ãŸã€‚ Treasure Data Service ã¯ã©ã®ã‚ˆã†ãªã‚±ãƒ¼ã‚¹ã«å‘ã„ã¦ã„ã‚‹ã‹ï¼Ÿ ã“ã“ã§ã¯è¦–点を変ãˆã¦ï¼Œç¾åœ¨ä¿æŒã—ã¦ã„るデータã®æ€§è³ªã‚’考慮ã—ãŸä¸Šã§ï¼Œã©ã®ã‚µãƒ¼ãƒ“ス（データベース）を活用ã—ãŸã‚‰ã‚ˆã„ã‹ã‚’考ãˆã¾ã™ã€‚ 上図ã¯ç¾åœ¨ãã‚Œãžã‚Œã®ä¼æ¥ãŒæŒã£ã¦ã„るデータã«å¯¾ã—ã¦ï¼Œ データサイズ スã‚ーマ変更å¯èƒ½æ€§
「個人を特定ã™ã‚‹æƒ…å ±ãŒå€‹äººæƒ…å ±ã§ã‚ã‚‹ã€ã¨ä¿¡ã˜ã¦ã„ã‚‹ã™ã¹ã¦ã®æ–¹ã¸â€•ç¬¬1回プライãƒã‚·ãƒ¼ãƒ•ãƒªãƒ¼ã‚¯ãƒ»ã‚«ãƒ•ã‚§ï¼ˆå‰ç·¨ï¼‰
EnterpriseZine（エンタープライズジン）編集部ã§ã¯ã€æƒ…å ±ã‚·ã‚¹ãƒ†ãƒ æ‹…å½“ã€ã‚»ã‚ュリティ担当ã®æ–¹ã€…å‘ã‘ã«ã€EnterpriseZine Dayã€Security Online Dayã€DataTechã¨ã„ã†ã€3ã¤ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’開催ã—ã¦ãŠã‚Šã¾ã™ã€‚ãã‚Œãžã‚Œç·¨é›†éƒ¨ç‹¬è‡ªã®åˆ‡ã‚Šå£ã§ã€æ¥ç•Œãƒˆãƒ¬ãƒ³ãƒ‰ã‚„最新事例を網羅。最新ã®å‹•å‘を知るã“ã¨ãŒã§ãã‚‹å ´ã¨ã—ã¦ã€å¥½è©•ã‚’å¾—ã¦ã„ã¾ã™ã€‚
「コンビニãƒã‚ンNo.1ã€ã®æ „å† ã¯ã©ã‚Œã«ï¼Ÿã€€è³¼è²·ãƒ‡ãƒ¼ã‚¿ã§èªã¿è§£ã“レジå‰ã®æ”»é˜²æˆ¦â€
「コンビニãƒã‚ンNo.1ã€ã®æ „å† ã¯ã©ã‚Œã«ï¼Ÿã€€è³¼è²·ãƒ‡ãƒ¼ã‚¿ã§èªã¿è§£ã“レジå‰ã®æ”»é˜²æˆ¦â€ï¼šé€£è¼‰ãƒ»ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚¨ãƒ³ãƒ†ã‚£ã‚¹ãƒˆã®è¦–点 「ã”一緒ã«ãƒã‚ンã¯ã„ã‹ãŒã§ã™ã‹ï¼Ÿã€ 皆ã•ã‚“ã¯ã€ã‚³ãƒ³ãƒ“ニエンスストアã§ãƒã‚ンã®å£²ã‚Šè¾¼ã¿ã‚’耳ã«ã—ãŸã“ã¨ã¯ã‚ã‚Šã¾ã›ã‚“ã‹ï¼Ÿã€€ç§ã¯æ·±å¤œã®å°è…¹ã®ç©ºã„ãŸæ™‚ãªã‚“ã‹ã«ã“れを耳ã«ã™ã‚‹ã¨ã€ã¤ã„ã¤ã„ショーケースã«ç›®ã‚’奪ã‚ã‚Œã¦ã—ã¾ã„ã¾ã™ã€‚ コンビニãƒã‚ンã®ã‚·ãƒ§ãƒ¼ã‚±ãƒ¼ã‚¹ã‚’眺ã‚ã¦ã¿ã‚‹ã¨ã€ãƒ™ãƒ¼ã‚¹ã®å‘³ã®å‘上ã‹ã‚‰ã•ã¾ã–ã¾ãªãƒãƒªã‚¨ãƒ¼ã‚·ãƒ§ãƒ³ã®æä¾›ã¾ã§ã€å„社ã®ä¼æ¥åŠªåŠ›ã¨åˆ‡ç£‹ç¢ç£¨ã‚’æ„Ÿã˜ã¾ã™ã€‚ãã“ã§ä»Šå›žã¯ãã‚“ãªâ€œãƒ¬ã‚¸å‰ã®æœ€çµ‚攻防戦â€ã“ã¨ã‚³ãƒ³ãƒ“ニãƒã‚ンã«ã¤ã„ã¦ã€ç„¡æ–™å®¶è¨ˆç°¿ã‚¢ãƒ—リ「ReceRecoã€ï¼ˆãƒ¬ã‚·ãƒ¬ã‚³ï¼‰ã®è³¼è²·ãƒ‡ãƒ¼ã‚¿åˆ†æžã‚’通ã˜ã¦è€ƒå¯Ÿã—ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ スマートフォンã§ãƒ¬ã‚·ãƒ¼ãƒˆå†™çœŸã‚’撮るã ã‘ã§å®¶è¨ˆç°¿ã‚’作れる無料iPhoneï¼Androidアプリ。リリース後1å¹´é–“ã§ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰æ•°ã¯130万ã€ç™»éŒ²ãƒ¬ã‚·ãƒ¼ãƒˆæžšæ•°ã¯220
テーマ1：パーソナルデータã«é–¢ã™ã‚‹æ¤œè¨Žä¼šã®ç”申をã©ã†èªã‚€ã‹ã€€ï¼å®Œç’§ãªåŒ¿å化ã¯å˜åœ¨ã—ãªã„（1） - WirelessWire News（ワイヤレスワイヤーニュース）
å„種会員カードやクレジットカードã€SNSã€ã‚¹ãƒžãƒ¼ãƒˆãƒ•ã‚©ãƒ³ã‚¢ãƒ—リやwebサービスã«ã‚ˆã£ã¦ã€ã„ã¤ã„ã‹ãªã‚‹æ™‚も常ã«æ–°ãŸãªãƒ‘ーソナルデータãŒç”Ÿæˆã•ã‚Œã¦ã„る。消費者ã¨ã—ã¦ã¯ã€åˆ©ä¾¿æ€§ã‚’享å—ã—ã¤ã¤ã‚‚ã€ä¸å®‰ã‚’æ„Ÿã˜ã‚‹ã“ã¨ã‚‚ã‚ã‚‹ã®ãŒã€æ£ç›´ãªã¨ã“ã‚ã ã‚ã†ã€‚ 一方ã€äº‹æ¥è€…ã®å´ã‚‚ã€ç¾è¡Œã®å€‹äººæƒ…å ±ä¿è·æ³•ã¨ä¸»å‹™å¤§è‡£åˆ¶ã«ã‚ˆã‚‹ç¸¦å‰²ã‚Šã®ã‚¬ã‚¤ãƒ‰ãƒ©ã‚¤ãƒ³ã®ç¾è¡Œåˆ¶åº¦ã«ã€ãƒªã‚¹ã‚¯åˆ¤æ–ã®å›°é›£ã•ã‚’æ„Ÿã˜ã‚‹æ–¹ã‚‚多ã„ã®ã§ã¯ãªã„ã ã‚ã†ã‹ã€‚ 米調査会社IDCãŒ1月27日（ç¾åœ°ï¼‰ã«ç™ºè¡¨ã—ãŸãƒ¬ãƒãƒ¼ãƒˆã«ã‚ˆã‚‹ã¨ã€2013å¹´ã«ã¯ä¸–ç•Œã®ã‚¹ãƒžãƒ¼ãƒˆãƒ•ã‚©ãƒ³å‡ºè·å°æ•°ãŒåˆã‚ã¦10å„„å°ã‚’çªç ´ã—ãŸã¨ã„ã†ã€‚今後ã¯ã‚¹ãƒžãƒ¼ãƒˆãƒ‡ãƒã‚¤ã‚¹ã®å°é ã¯ã‚‚ã¨ã‚ˆã‚Šã€ã‚¦ã‚§ã‚¢ãƒ©ãƒ–ルやセンサーãƒãƒƒãƒˆç‰ã‹ã‚‰ã‚‚ã€è†¨å¤§ãªã‚»ãƒ³ã‚µãƒ¼ãƒ‡ãƒ¼ã‚¿ãŒç”Ÿã¾ã‚Œã¦ãる。今後ã—ã°ã‚‰ãã€ãƒ—ライãƒã‚·ãƒ¼ã®å•é¡Œã¯é¿ã‘ã¦é€šã‚Œãªã„課題ã§ã‚る。 2013年末ã€å†…閣官房ã®ã€Œãƒ‘ーソナルデータã«é–¢ã™ã‚‹æ¤œè¨Žä¼šã€ã¯ã€å€‹äººæƒ…å ±ã‚„ãƒ—ãƒ©ã‚¤ãƒã‚·ãƒ¼ã«é–¢é€£ã™ã‚‹æ³•åˆ¶åº¦
OSC 2013 Tokyo/Fallã€Œæƒ…å ±å‡¦ç†å¦ä¼š ビッグデータ活用実務フォーラムã®ç´¹ä»‹ã¨ã€ä»Šå¾Œã®æ´»å‹•ã«ã¤ã„ã¦ã€é–‹å‚¬å ±å‘Š #osc13tk #bigdata｜CodeIQ MAGAZINE
OSC 2013 Tokyo/Fallã€Œæƒ…å ±å‡¦ç†å¦ä¼š ビッグデータ活用実務フォーラムã®ç´¹ä»‹ã¨ã€ä»Šå¾Œã®æ´»å‹•ã«ã¤ã„ã¦ã€é–‹å‚¬å ±å‘Š #osc13tk #bigdata 2013.10.24 Category：勉強会・イベント Tag：OSC ,データサイエンス ,ビッグデータ 2013å¹´10月20æ—¥(æ—¥)åˆå‰10時～åˆå‰11時ã«ã‚ªãƒ¼ãƒ—ンソースカンファレンス2013 Tokyo/Fallã«ã¦ã€æƒ…å ±å‡¦ç†å¦ä¼šãƒ»ãƒ“ッグデータ活用実務フォーラム代表石井一夫先生らã«ã‚ˆã‚‹ãƒ“ッグデータã«ã¤ã„ã¦ã®ã‚»ãƒŸãƒŠãƒ¼ãŒé–‹å‚¬ã•ã‚Œã¾ã—ãŸã€‚ãã®å ±å‘Šã§ã™ï¼ by CodeIQé‹å–¶äº‹å‹™å±€ ã‚»ãƒŸãƒŠãƒ¼æ¦‚è¦ ã“ã®ã‚»ãƒŸãƒŠãƒ¼ã¯ã€æƒ…å ±å‡¦ç†å¦ä¼šãƒ»ãƒ“ッグデータ活用実務フォーラム主催ã§è¡Œã‚ã‚Œã¾ã—ãŸã€‚å‰åŠã¯ãƒ“ッグデータを巡る最近ã®çŠ¶æ³ã‚„ビッグデータ活用実務フォーラムã®ç‹™ã„ã«ã¤ã„ã¦ã®è©±ã€å¾ŒåŠã¯ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚¨ãƒ³ã‚¹ã«é–¢ã‚ã£ã¦ã„る方々ã«ã‚ˆã‚‹ãƒ‘ãƒãƒ«ãƒ‡ã‚£ã‚¹ã‚«ãƒƒã‚·ãƒ§ãƒ³ã‚’è¡Œ
ãƒãƒƒãƒ‰ãƒ‡ãƒ¼ã‚¿ãƒãƒ³ãƒ‰ãƒ–ック
TOPICS Data Science , Database 発行年月日 2013å¹´09月 PRINT LENGTH 310 ISBN 978-4-87311-640-2 原書 Bad Data Handbook FORMAT PDF 値ã®æ¬ è½ã€å½¢å¼ã‹ã‚‰å¤–ã‚ŒãŸãƒ¬ã‚³ãƒ¼ãƒ‰ã€ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‡ã‚£ãƒ³ã‚°å½¢å¼ãŒä¸æ˜Žãªæ–‡å—列。「ãƒãƒƒãƒ‰ãƒ‡ãƒ¼ã‚¿ã€ã¨èžã„ãŸæ™‚ã«æ€ã„æµ®ã¹ã‚‹å…¸åž‹ä¾‹ã§ã™ã€‚ã—ã‹ã—ã€ã“れら以外ã«ã‚‚「ãã‚‚ãもデータã«ã‚¢ã‚¯ã‚»ã‚¹ã§ããªã„ã€ã€Œæ¶ˆãˆã¦ã—ã¾ã£ãŸã€ã€Œæ˜¨æ—¥ã¨é•ã£ã¦ã„ã‚‹ã€ã€Œãƒ‡ãƒ¼ã‚¿ã¯ã‚ã‚‹ãŒå½¢å¼ãŒå‡¦ç†ã«é©ã—ã¦ã„ãªã„ã€ãªã©ã€ãƒ‡ãƒ¼ã‚¿ã‚’åŽé›†ãƒ»åˆ†æžã™ã‚‹ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã¯ã€ã“れらã®ã€Œãƒãƒƒãƒ‰ãƒ‡ãƒ¼ã‚¿ã€ã¨æ£é¢ã‹ã‚‰å‘ãã‚ã‚ãªã‘ã‚Œã°ãªã‚‰ãªã„ã“ã¨ãŒå¤šã€…ã‚ã‚Šã¾ã™ã€‚本書ã§ã¯ã€ã“れらã®å•é¡Œã®ã‚るデータã®ãƒ‘ターンを紹介ã—ã€ãã®å¯¾å‡¦æ³•ã‚’解説ã—ã¦ã„ã¾ã™ã€‚ 19人ã®ãƒ‡ãƒ¼ã‚¿åˆ†æžã®å°‚門家ãŒã€è‡ªã‚‰ã®çµŒé¨“を通ã—ã¦å¾—ãŸã€ã•ã¾ã–ã¾ãªæ•™è¨“ã€å®Ÿè·µçš„ãªæ–¹æ³•è«–ç‰ã‚’詳述ã—ãŸæœ¬æ›¸ã¯
パイオニアãŒã€Œã‚¹ãƒžãƒ¼ãƒˆãƒ«ãƒ¼ãƒ—ã€ã§ç›®æŒ‡ã™æ¸‹æ»žã‚¼ãƒã®ä¸–ç•Œ--データサイエンティストã«èžã
パイオニアãŒç‹¬è‡ªã®æ¸‹æ»žæƒ…å ±ã€Œã‚¹ãƒžãƒ¼ãƒˆãƒ«ãƒ¼ãƒ—ã€ã®æ供を開始ã—ãŸã®ãŒ2006年。ãã‚Œã‹ã‚‰ç´„7å¹´ã‚’ã‹ã‘ã¦è“„ç©ã—ãŸæ¸‹æ»žæƒ…å ±ã¯ã€2013年「スマートループアイã€ã¨ã„ã†æ–°ãƒ‡ãƒ¼ã‚¿ã‚’åŠ ãˆã€ã‚ˆã‚Šç²¾åº¦ã®é«˜ã„æ¸‹æ»žæƒ…å ±ã¸ã¨é€²åŒ–ã—ãŸã€‚渋滞ã®ãƒ‡ãƒ¼ã‚¿ã‚’集ã‚ã€åˆ†æžã—ã€æä¾›ã™ã‚‹ã€‚ãã®è£ã«ã¯ã©ã‚“ãªä»•çµ„ã¿ãŒã‚ã‚Šã€ã©ã†ãƒ‡ãƒ¼ã‚¿ã¯æ´»ç”¨ã•ã‚Œã¦ã„ã‚‹ã®ã‹ã€‚カーエレクトãƒãƒ‹ã‚¯ã‚¹äº‹æ¥çµ±æ‹¬éƒ¨ã‚«ãƒ¼äº‹æ¥æˆ¦ç•¥éƒ¨æƒ…å ±ã‚µãƒ¼ãƒ“ã‚¹ãƒ—ãƒ©ãƒƒãƒˆãƒ•ã‚©ãƒ¼ãƒ ã‚»ãƒ³ã‚¿ãƒ¼ãƒ—ãƒ©ãƒƒãƒˆãƒ•ã‚©ãƒ¼ãƒ é–‹ç™ºéƒ¨ç ”ç©¶é–‹ç™ºèª²ãƒ‡ãƒ¼ã‚¿ã‚µã‚¤ã‚¨ãƒ³ãƒ†ã‚£ã‚¹ãƒˆã®éŽŒç”°å–¬æµ©æ°ã«è©±ã—ã‚’èžã„ãŸã€‚ èµ°è¡Œå¯èƒ½ãªé“è·¯æƒ…å ±ã¯ã™ã¹ã¦ã‚«ãƒãƒ¼ã™ã‚‹ã€Œã‚¹ãƒžãƒ¼ãƒˆãƒ«ãƒ¼ãƒ—〠--最åˆã«ã‚¹ãƒžãƒ¼ãƒˆãƒ«ãƒ¼ãƒ—ã«ã¤ã„ã¦æ•™ãˆã¦ã„ãŸã ã‘ã¾ã™ã‹ã€‚ パイオニアãŒç‹¬è‡ªã«æä¾›ã™ã‚‹æ¸‹æ»žæƒ…å ±ãŒã‚¹ãƒžãƒ¼ãƒˆãƒ«ãƒ¼ãƒ—ã§ã™ã€‚ベースã¯ã€Œã‚«ãƒãƒƒãƒ„ェリアã€ã®å¯¾å¿œã‚«ãƒ¼ãƒŠãƒ“ゲーションユーザーãŒèµ°ã£ãŸè»Œè·¡ã‹ã‚‰æ¸‹æ»žæƒ…å ±ã‚’ç”Ÿæˆã—ã¦ãŠã‚Šã€ä¸€èˆ¬è²¡å›£æ³•äººé“è·¯äº¤é€šæƒ…å ±é€šä¿¡ã‚·ã‚¹ãƒ†ãƒ ã‚»ãƒ³ã‚¿ãƒ¼ãŒæä¾›ã™ã‚‹æ¸‹æ»žæƒ…å ±
ã€é€²æ’ƒã®å·¨å¤§ãƒ‡ãƒ¼ã‚¿ã€‘RealTimeLog集計を目的ã¨ã—ãŸRedisã®æ´»ç”¨ - Y's note
Log集計ã®è¨è¨ˆã‚’å†è€ƒ ã€é€²æ’ƒã®å·¨å¤§ãƒ‡ãƒ¼ã‚¿ã€‘Log集計用DBã¨ã‚·ã‚¹ãƒ†ãƒ 構æˆã®ç¾Žã—ã„è¨è¨ˆã‚’考ãˆã‚‹ - Yuta.Kikuchiã®æ—¥è¨˜ 人生をå‰å‘ãã«æ¥½ã—ã‚€ã“ã¨ã‚’心ã«èª“ã£ãŸ@yutakikuchi_ã§ã™ã€‚最近ã¯ã“ã®ãƒ–ãƒã‚°ã§ã€é€²æ’ƒã®å·¨å¤§ãƒ‡ãƒ¼ã‚¿ã€‘ã¨ã„ã†ã‚¿ã‚¤ãƒˆãƒ«ã§ä½•å›žã‹BigDataã«é–¢ã™ã‚‹è¨˜äº‹ã‚’書ã„ã¦ã„ã¾ã™ã€‚å‰å›žã¯Log集計用DBã¨ã‚·ã‚¹ãƒ†ãƒ 構æˆã®ç¾Žã—ã„è¨è¨ˆã‚’考ãˆã‚‹ã¨ã„ã†é¡Œã§InnoDBã€InfiniDBを使ã£ãŸLog集計ã®merit/demeritã€SystemPerformanceã«ã¤ã„ã¦è¨˜è¿°ã—ã¾ã—ãŸã€‚ãã‚Œã‹ã‚‰æ™‚é–“ã‚’ãŠã„ã¦å†è€ƒã—ã€InnoDBを使ã†å ´åˆã®ãƒ¡ãƒªãƒƒãƒˆ/デメリットã¨æ³¨æ„äº‹é …ãŒä¸è¶³ã—ã¦ã„る事ã«æ°—ã¥ã„ãŸã®ã§ã“ã“ã§è¿½è¨˜ã—ã¾ã™ã€‚æ›´ã«é›†è¨ˆã®ç·Šæ€¥åº¦ã«åˆã‚ã›ã¦ä½¿ç”¨ã™ã‚‹DBを変ãˆã¾ã™ã€‚リアルタイムã§ã¯Redisã€å®šæœŸå‡¦ç†ã§ã¯Mysqlを使ã£ã¦é›†è¨ˆã™ã‚‹ã“ã¨ã‚’試ã—ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Log集計方法ã®me
ã‚„ãŒã¦è¨ªã‚Œã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ»ã‚¨ã‚³ãƒŽãƒŸãƒ¼ç¤¾ä¼šã®å°†æ¥åƒã€œãƒ“ッグデータã ã‘ã§ã¯è¦‹ãˆãªã„æƒ…å ±ç¤¾ä¼šã®çœŸå®Ÿã€œï¼»ç¬¬5回］鈴木雄介æ°ã€Œãƒ“ジãƒã‚¹ã«ã¯ãƒ‡ãƒ¼ã‚¿ã«è¡¨ç¾ã§ããªã„å¼·ã•ãŒã‚ã‚‹ã€ï¼ˆ1） - WirelessWire New
次ã®è¨˜äº‹ ã‚„ãŒã¦è¨ªã‚Œã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ»ã‚¨ã‚³ãƒŽãƒŸãƒ¼ç¤¾ä¼šã®å°†æ¥åƒã€œãƒ“ッグデータã ã‘ã§ã¯è¦‹ãˆãªã„æƒ…å ±ç¤¾ä¼šã®çœŸå®Ÿã€œï¼»ç¬¬5回］鈴木雄介æ°ã€Œãƒ“ジãƒã‚¹ã«ã¯ãƒ‡ãƒ¼ã‚¿ã«è¡¨ç¾ã§ããªã„å¼·ã•ãŒã‚ã‚‹ã€ï¼ˆ1） 2013.03.21 多ãã®æ¥ç•Œã§ITãŒæ´»ç”¨ã•ã‚Œã€ãƒ“ジãƒã‚¹ã®åŠ¹çŽ‡åŒ–ãŒæŽ¨é€²ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã‚Šã€ã¾ãŸã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆã‚’使ã£ãŸæ–°ãŸãªè²©å£²ãƒãƒ£ãƒãƒ«ã®æ§‹ç¯‰ã‚‚ã•ã¾ã–ã¾ãªåˆ†é‡Žã§è¡Œã‚ã‚Œã¦ã„ã¾ã™ã€‚ã“ã†ã—ãŸã€ŒITã®æ´»ç”¨ã€ãŒé€²ã‚られる一方ã§ã€Œæœ¬å½“ã«ITを活用ã§ãã¦ã„ã‚‹ã®ã‹ï¼Ÿã€ã¾ãŸã¯ã€Œã“ã“ã§ITを活用ã™ã¹ããªã®ã‹ï¼Ÿã€ã¨ã„ã†ç–‘å•ã«ç›´é¢ã™ã‚‹ã‚±ãƒ¼ã‚¹ã‚‚出ã¦ãã¾ã—ãŸã€‚ 例ãˆã°ã€ç™¾è²¨åº—ãŒãã®ã²ã¨ã¤ã§ã™ã€‚ã“ã®10〜20å¹´ã§ç†±å¿ƒã«ç¤¾å†…システムã®ãƒªãƒ—レイスを進ã‚ã€Eコマースã¸ã®é€²å‡ºã‚’進ã‚ã¦ãã¾ã—ãŸã€‚ã—ã‹ã—ã€åŠ¹çŽ‡æ€§ã‚’目指ã—ãŒã¡ãªECã®ãƒ¢ãƒ‡ãƒ«ã¨ã€ãŠã‚‚ã¦ãªã—を大事ã«ã™ã‚‹ç™¾è²¨åº—ã®ãƒ“ジãƒã‚¹ã‚’ã©ã†èª¿å’Œã•ã›ã‚‹ã®ã‹ã¯å®Ÿã¯ç°¡å˜ãªå•ã„ã§ã¯ã‚ã‚Šã¾ã›ã‚“。åŒæ§˜ã«ã€æƒ…å ±ã‚„ãƒ‡ãƒ¼ã‚¿ã¯ã©ã†ã„ã†ä½ç½®ä»˜
LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog
Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://bdm.change-jp.com/?p=1214
{{#tags}}- {{label}}
{{/tags}}