Norikra vs InfluxDB : sonots:blog
LINE DEVELOPER DAY 2016 開催ã®ãŠçŸ¥ã‚‰ã› « LINE Engineers' Blog
LINEæ ªå¼ä¼šç¤¾ã¯ã€2023å¹´10月1æ—¥ã«LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã«ãªã‚Šã¾ã—ãŸã€‚LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã®æ–°ã—ã„ブãƒã‚°ã¯ã“ã¡ã‚‰ã§ã™ã€‚ LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. ã“ã‚“ã«ã¡ã¯ã€‚LINEã§ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚„データセンターを担当ã—ã¦ã„る三æžã§ã™ã€‚2017å¹´1月ã«JANOG39ã§ç™»å£‡ã™ã‚‹æ©Ÿä¼šã‚’é ‚ãã¾ã—ãŸã®ã§ã€ä»Šå›ž
Cloudera Managerã§æ‰‹è»½ã«Norikraを試㙠| nagaseyasuhito Daily works.
Norikraã‚’Cloudera Managerã®ç®¡ç†ä¸‹ã«ç½®ã手軽ã«è©¦ã™ãŸã‚ã®CSD/Parcelを作りã¾ã—ãŸã€‚Norikraã¨ã¯SQLã§ã‚¹ãƒˆãƒªãƒ¼ãƒ 処ç†ã‚’è¡Œãˆã‚‹OSSã§ã€ã„ãã¤ã‹ã®åˆ¶ç´„ã¯ã‚ã‚Šã¾ã™ãŒã€å¤§é‡ã®ãƒã‚°ã‚’低レイテンシã§å‡¦ç†ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ Norikraã¯JRubyã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ã®ã§gemコマンドã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã™ã‚Œã°ã™ã使ã†ã“ã¨ãŒå‡ºæ¥ã‚‹åé¢ã€ãã‚‚ãも標準パッケージã«JRubyãŒãªã„ã®ã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ãŒé¢å€’ã ã£ãŸã‚Šã€ä»–ã®Hadoopã®ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã¯ãã‚‚ãã‚‚Cloudera Managerã§ç®¡ç†ã—ã¦ã„ã‚‹ã®ã§ã€Norikraã ã‘管ç†ãŒé•ã†ã®ãªã‚“ã‹ã‚„ã ãªã‚ã€ã¨ã„ã†ã“ã¨ã§Cloudera Managerã§ç®¡ç†ã§ãるよã†ã«ã—ã¦ã¿ã¾ã—ãŸã€‚ Cloudera Managerã¨ã¯ï¼Ÿ Cloudera社ãŒé–‹ç™ºã—ã¦ã„ã‚‹CDHã¨ã„ã†Hadoopディストリビュージョン用ã®ç®¡ç†ãƒ„ールã§ã™ã€‚Webコンソール
Hadoop Conference Japan 2014ã„ã£ã¦ããŸï¼†ã—ゃã¹ã£ã¦ã㟠- ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
Hadoop Conference Japan 2014- Eventbrite 今年も開催ã•ã‚ŒãŸã®ã§ã„ã£ã¦ããŸã€‚主催者ã®æ–¹ã¯æœ¬å½“ã«ãŠã¤ã‹ã‚Œã•ã¾ã§ã—ãŸã€‚毎回è¦æ¨¡ãŒã§ã‹ãã¦ã€ã“れやるã®ã¯æœ¬å½“大変ã ã‚ã†ãªã¨æ€ã†ã€‚å‚åŠ ç™»éŒ²è€…ã¯1299åã ãã†ãªã€‚ 全体的ãªç©ºæ°—ã¨ã—ã¦ã¯ã„よã„よYARN移行ãŒé¿ã‘られãšã€ãã®ä¸Šã«ä¹—ã£ã‹ã‚‹ãƒ‡ãƒ¼ã‚¿å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークã¨ã—ã¦MapReduceも今後å˜åœ¨ã—ã¤ã¥ã‘ã‚‹ã‚‚ã®ã®Sparkã‚„Tez*1ãŒç™»å ´ã—ã€å‡¦ç†è¨˜è¿°è¨€èªžã¨ã—ã¦ã¯ã‚‚ã†å˜ç´”ãªå‡¦ç†ã«ã¤ã„ã¦ã¯SQL一択ã§ã™ã‹ãã€ã¨ã„ã†æ„Ÿã˜ã€‚機械å¦ç¿’系やãã®ã»ã‹ã®ãƒ¯ãƒ¼ã‚¯ãƒãƒ¼ãƒ‰ã¯ã¾ãŸé•ã†ã ã‚ã†ã‘ã©ã€‚ã‚ã¨ã¯MPPç³»ã®ã‚¨ãƒ³ã‚¸ãƒ³ãŒãã®è„‡ã«ã‚ã‚‹ã€ã¨ã„ã†ã€‚ 今回ã¯äº‹ä¾‹ã®è©±ãŒæ¥µç«¯ã«å°‘ãªããªã£ã¦ã€ã¿ã‚“ãªå„コンãƒãƒ¼ãƒãƒ³ãƒˆã«ã¤ã„ã¦ã®è©±ã‚’ã—ã¦ãŸæ°—ãŒã™ã‚‹ã€‚技術的ã«ã¯éŽæ¸¡æœŸã ã¨ã„ã†ã“ã¨ã‹ãªã€‚ã„ã„ã“ã¨ã 。 å‚åŠ è€…ã‚¢ãƒ³ã‚±ãƒ¼ãƒˆã§Fluentdを使ã£ã¦ã„ã‚‹ã¨ç”ãˆãŸäººãŒ200人
éŽåŽ»ã«è“„ç©ã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ã®é›†è¨ˆã«Norikraを使ㆠ- yunazuno.log
最近Norikraを触ã£ã¦ã„ã¦ï¼Œã‚る程度使ã„æ–¹ãŒåˆ†ã‹ã£ã¦ããŸã®ã¨ï¼Œä¸åº¦v1.0.0もリリースã•ã‚ŒãŸã®ã§ï¼Œå¿˜ã‚Œãªã„ã†ã¡ã«ã“ã®ã‚¿ã‚¤ãƒŸãƒ³ã‚°ã§ãƒ¡ãƒ¢ã—ã¦ãŠã． 本æ¥Norikraã¯ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãªãƒã‚°ç‰ã«å¯¾ã—ã¦å‡¦ç†ã‚’ã™ã‚‹ã‚‚ã®ã§ã‚ã‚‹ã‘ã©ã‚‚，今回ã¯éŽåŽ»ã«è“„ç©ã•ã‚ŒãŸãƒã‚°ã«å¯¾ã—ã¦é›†è¨ˆå‡¦ç†ã‚’è¡Œã£ã¦ã¿ã‚‹ã“ã¨ã«ã™ã‚‹*1． 今回ã®ã‚ーãƒã‚¤ãƒ³ãƒˆã¯ï¼Œ win:ext_timed_batchを使ã£ã¦ï¼Œãƒã‚°ã®ç™ºç”Ÿæ™‚刻を指定ã™ã‚‹ LOOPBACKを使ã£ã¦ï¼Œã‚るクエリã§ç™ºç”Ÿã—ãŸeventを別ã®targetã«ç›´æŽ¥æµã—込む ã®2点． ã‚„ã‚ŠãŸã„ã“㨠下ã®ã‚ˆã†ãªï¼Œ2å°ã®ãƒ›ã‚¹ãƒˆã§1分毎ã«ç”Ÿæˆã•ã‚ŒãŸãƒ‡ãƒ¼ã‚¿ãŒã‚ã‚‹ã¨ã™ã‚‹ï¼Ž # host1.csv timestamp, metric1, metric2, ... 1396278000, 0, 0 1396278060, 1, 2 1396278120, 2, 4 1396278180, 3, 6
Norikra v1.0.0 - ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
English article 以å‰ã‹ã‚‰ã‚¹ã‚ーマレスãªã‚¹ãƒˆãƒªãƒ¼ãƒ 処ç†ã‚’SQLã§ï¼ã¨ã„ã†ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦ä½œã£ã¦ã„ãŸNorikraã€ã“ã®ãŸã³ã‚ã¡ã“ã¡æ©Ÿèƒ½æ”¹å–„ã—ãŸã‚Šã—ãŸã®ã§ã€æ—¢ã«ãŠä»•äº‹ã§çµ¶è³›ç¨¼åƒä¸ã¨ã„ã†ã“ã¨ã‚‚ã‚ã‚‹ã—ã€åŒºåˆ‡ã‚Šã¨ã—㦠v1.0.0 ã¨ã—ã¦ãƒªãƒªãƒ¼ã‚¹ã—ãŸã€‚ ã¤ã„ã§ã«ãƒã‚´ã¨ã‹ã‚‚作ã£ãŸã®ã§ã€ãªã‚“ã¨ãªãã„ã„æ„Ÿã˜ã«ãªã‚Šã¤ã¤ã‚る。 https://rubygems.org/gems/norikra/versions/1.0.0-java http://norikra.github.io/ ä¿®æ£ç‚¹ã¯ リãƒã‚¸ãƒˆãƒª ã®Changesã«æ›¸ã„ã¦ã‚ã‚‹ãŒã€curlã ã‘ã§æ“作ã§ãるよã†HTTP JSON APIãŒåŠ ã‚ã£ã¦ãŸã‚Šã€GCã¾ã‚ã‚Šã§ãƒãƒžã‚‰ãªã„よã†ãªãƒ‡ãƒ•ã‚©ãƒ«ãƒˆã‚ªãƒ—ションãŒå…¥ã£ã¦ãŸã‚Šã€åˆ†æžç³»ã‚¯ã‚¨ãƒªã‚’書ããŸã„人ã®ãŸã‚ã« Group-by with Rollup ã‚„ Grouping sets, Cube ãªã©ã®
Norikra+Fluentdã§DoS攻撃をブãƒãƒƒã‚¯ã™ã‚‹ä»•çµ„ã¿ã‚’作ã£ã¦ã¿ãŸ ｜ Developers.IO
Norikraã¨ã¯ Norikraã¨ã¯ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 集計プãƒãƒ€ã‚¯ãƒˆã§ã™ã€‚イベントストリームã«å¯¾ã—ã¦SQLライクãªè¨€èªžã§å‡¦ç†ã‚’書ãã“ã¨ãŒå‡ºæ¥ã¾ã™ã€‚ 例ãˆã°ã€Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’Norikraã«æµã—è¾¼ã¿ã€1分ã‚ãŸã‚Šã®ã‚¢ã‚¯ã‚»ã‚¹æ•°ã‚„レスãƒãƒ³ã‚¹ã‚¿ã‚¤ãƒ ã®æœ€å¤§å€¤ã‚’リアルタイムã«é›†è¨ˆã™ã‚‹ã“ã¨ãŒå‡ºæ¥ã¾ã™ã€‚ Norikraã®åˆ©ç”¨ä¾‹ã¯ä½œè€…ã§ã‚ã‚‹tagomorisã•ã‚“ã®ãƒ–ãƒã‚°ã§ç´¹ä»‹ãŒã‚ã‚Šã¾ã™ã€‚ 今回ã¯ã€Norikraを使ã£ã¦DoS攻撃をブãƒãƒƒã‚¯ã™ã‚‹ä»•çµ„ã¿ã‚’作ã£ã¦ã¿ã¾ã—ãŸã€‚ DoS攻撃ブãƒãƒƒã‚¯ã®ä»•çµ„㿠アクセス元ã¯Apacheã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‹ã‚‰å–å¾—ã—ã€ãƒã‚°ã®å—ã‘渡ã—ã«ã¯Fluentdを利用ã—ã¾ã—ãŸã€‚ ブãƒãƒƒã‚¯ã®æ‰‹é †ã¯ä»¥ä¸‹ã®ã‚ˆã†ã«ãªã‚Šã¾ã™ã€‚ アクセスãƒã‚°ã‚’Fluentdã®in_tailプラグインã§å–得。 Fluentdã®out_norikraプラグインã§ã€ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’Norikraã«æµã—è¾¼ã¿ã€‚ Norikra
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://atnd.org/events/51508
{{#tags}}- {{label}}
{{/tags}}