NewsBlurNewsBlur is a personal news reader bringing people together to talk about the world
Apache Spark用ã®ã‚¹ã‚¿ãƒ³ãƒ‰ã‚¢ãƒãƒ³JDBCドライム- ãŸã‘ãžã†ç€•æ»ãƒ–ãƒã‚°
Sparkã«JDBCã§ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ã«ã¯Thriftserverを入れãŸã‚ŠHive MetastoreãŒå¿…è¦ã ã£ãŸã‚Šã§è‰²ã€…é¢å€’ãªã®ã§ã™ãŒã€å˜ä½“ã§åˆ©ç”¨å¯èƒ½ãªæ–¹æ³•ã¯ãªã„ã®ã‹ãªã¨æ€ã£ã¦æŽ¢ã—ã¦ã¿ãŸã¨ã“ã‚ã€ä»¥ä¸‹ã®ã‚‚ã®ã‚’見ã¤ã‘ãŸã®ã§è©¦ã—ã¦ã¿ã¾ã—ãŸã€‚ github.com ã“ã®JDBCドライãƒã¯ä»¥ä¸‹ã®ã‚ˆã†ãªURLã§JDBC経由ã§SparkSQLを使ã†ã“ã¨ãŒã§ãã¾ã™ã€‚ com.zensolution.jdbc.spark:/Users/foobar/temp/console?format=csv&csv.header=true&csv.delimiter=; SQL内ã§ã‚¢ã‚¯ã‚»ã‚¹ã•ã‚Œã¦ã„るテーブルã¯ã‚¯ã‚¨ãƒªã®å®Ÿè¡Œå‰ã«ãƒ†ãƒ³ãƒãƒ©ãƒªãƒ“ューã¨ã—ã¦è‡ªå‹•çš„ã«ç™»éŒ²ã•ã‚Œã¾ã™ã€‚ãŸã¨ãˆã°ä»¥ä¸‹ã®ã‚ˆã†ãªSQLを実行ã—ãŸã¨ã—ã¾ã™ã€‚ SELECT * FROM people ã“ã®JDBCドライãƒã¯ã¾ãšã‚¯ã‚¨ãƒªã‚’パースã—ã€ã“ã®ã‚¯ã‚¨ãƒªã®å®Ÿè¡Œã«p
colaboratoryã§ä½¿ã†datasetã‚’ã©ã“ã«ç½®ã„ã¦ãŠãã®ãŒã‚ˆã„ã‹èª¿ã¹ã‚‹ - MEMOcho-
å‰å›žã“ã‚“ãªè¨˜äº‹ã‚’書ã„ãŸãŒã€ã©ã“ã«ç½®ã„ã¦ãŠãã®ãŒåŠ¹çŽ‡ã‚ˆã„ã®ã‹æ°—ã«ãªã£ãŸã®ã§èª¿ã¹ã¦ã¿ãŸ https://blog.hatena.ne.jp/y-kamiya/jsapachehtml.hatenablog.com/edit?entry=26006613718710543 colaboratoryã¯èµ·å‹•ã®ãŸã³ã«ã¾ã£ã•ã‚‰ã®çŠ¶æ…‹ã«ãªã‚‹ãŸã‚データセットãªã©ã®ãƒªã‚½ãƒ¼ã‚¹ã¯æ°¸ç¶šåŒ–å¯èƒ½ãªåˆ¥ã®å ´æ‰€ã«ç½®ã„ã¦ãŠãå¿…è¦ãŒã‚る。publicãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã‚’使ã†å ´åˆã§ã‚ã£ã¦ã‚‚ã€ãƒ€ã‚¦ãƒ³ãƒãƒ¼ãƒ‰é€Ÿåº¦ã®å•é¡Œã§è‡ªå‰ã§ç”¨æ„ã—ãŸå ´æ‰€ã«ç½®ã„ãŸæ–¹ãŒã‚ˆã„å ´åˆã‚‚ã‚る。 よã£ã¦ä»¥ä¸‹ã®ã‚ˆã†ãªæ¡ä»¶ã‚’満ãŸã™æœ€é©ãªå ´æ‰€ã‚’探ã—ãŸã„ ダウンãƒãƒ¼ãƒ‰ãŒé€Ÿã„ ç„¡æ–™ã§ä½¿ãˆã‚‹(or ãªã‚‹ã¹ã安価ã§) ã¡ãªã¿ã«uploadã®è¨ˆæ¸¬ã§ä½¿ã£ãŸç’°å¢ƒã¯ã“ã¡ã‚‰ å ´æ‰€: æ±äº¬ アップãƒãƒ¼ãƒ‰é€Ÿåº¦: 200Mbps ã“ã¡ã‚‰ã§è¨ˆæ¸¬(https://fast.com/ja/) 試ã—ãŸãƒ‘ター
AWS ã®ãƒªã‚½ãƒ¼ã‚¹ã‚’ Terraform ファイルã«å¤‰æ›ã™ã‚‹ã€Žaws2tfã€ã‚’使ã£ã¦ã¿ã‚‹ - 継続ã¯åŠ›ãªã‚Š
タダã§ã™. AWS ã®ãƒªãƒã‚¸ãƒˆãƒªã‚’見ã¦ã„ãŸã‚‰ aws2tf ã¨ã„ã†ãƒ„ールを見ã¤ã‘ã¾ã—ãŸ. Terrafrom を使ã£ã¦ã®ãƒªã‚½ãƒ¼ã‚¹ç®¡ç†ã‚’ã—始ã‚ãŸã®ã§ã©ã‚“ãªå‹•ãã‚’ã™ã‚‹ã‹ã‚’知りãŸãã¦ã“ã®ãƒ„ールを使ã£ã¦ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸ.ã“ã®è¨˜äº‹ã§ aws2tf ã®ãƒ„ールをã•ã‚‰ã£ã¦ã„ã‘ã‚Œã°ã¨æ€ã„ã¾ã™. aws2tf ã£ã¦ï¼Ÿ 使用上ã®å‰ææ¡ä»¶ サãƒãƒ¼ãƒˆã•ã‚Œã¦ã„るリソース aws2tf ã®å®Ÿè¡Œ 所感 ã¾ã¨ã‚ aws2tf ã£ã¦ï¼Ÿ ã“ã®ãƒ„ール㯠AWS ã®ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã®è¨å®šã‚’èªã¿è¾¼ã‚“㧠tf ファイルを生æˆã™ã‚‹ã‚‚ã®ã§ã™.ツールã®ä¸ã§ã¯ terraform impot 㨠terraform plan を実行ã—㦠tf ファイルを作ã£ã¦ã„るよã†ã§ã™.記事を書ã„ã¦ã„る時点ã§ã¯é–‹ç™ºä¸ã®ã‚¹ãƒ†ãƒ¼ã‚¿ã‚¹ã§ã™. Work in progress - please report any issues you find github.com
Rust を始ã‚ã‚‹ãŸã‚ã®è³‡æ–™é›† - Don't Repeat Yourself
ã‹ã¨ã˜ã‚…ã‚“ã•ã‚“ã®ãŠèª˜ã„ã§ã€ç§å¡¾åŒ çœŸå ‚ã«ã¦ç™»å£‡ã•ã›ã¦ã„ãŸã ãã€Rust ã«é–¢ã™ã‚‹è©±ã‚’ã•ã›ã¦ã„ãŸã ãã¾ã—ãŸã€‚ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚ 今回ã®ã‚»ãƒƒã‚·ãƒ§ãƒ³ã‚’通ã˜ã¦ Rust を始ã‚ãŸããªã£ãŸæ–¹å‘ã‘ã«ã€Rust ã‚’ã¯ã˜ã‚ã‚‹ãŸã‚ã®è³‡æ–™ã‚’ã„ãã¤ã‹ãƒªã‚¹ãƒˆã‚¢ãƒƒãƒ—ã—ã¦ã¾ã™ã€‚よã‹ã£ãŸã‚‰ã©ã†ãžã€‚ プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã®å¦ç¿’方法ã«ã¤ã„㦠Rust ã«ã¤ã„ã¦ã¾ãšæ¦‚観を掴む 文法をå¦ã¶ 何ã‹ã‚¢ãƒ—リケーションを実装ã—ã¦ã¿ã‚‹ ã¡ã‚‡ã£ã¨çªã£è¾¼ã‚“ã 話を知りãŸã„ コミュニティã®åŠ›ã‚’借りる 仲間を見ã¤ã‘ã‚‹ æ›´æ–°å±¥æ´ ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã®å¦ç¿’方法ã«ã¤ã„㦠ã¿ãªã•ã‚“ã¯æ–°ã—ã„プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžã‚’å¦ã¶éš›ã€ã©ã®ã‚ˆã†ã«å¦ã³ã¾ã™ã‹ï¼Ÿ ç§ã¯ã€è»½ã制御構文やデータ型ã®ä½œã‚Šæ–¹ãªã©ã‚’å¦ã‚“ã 後ã¯ã€ã™ãã«ã‚¢ãƒ—リケーションを作ã£ã¦ã¿ã¦ã€è©°ã¾ã£ãŸã‚‰ãƒªãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã‚’å‚ç…§ã™ã‚‹ã¨ã„ã£ãŸå¦ã³æ–¹ã‚’ã—ã¦ã„ã‚‹ã“ã¨ãŒå¤šã„ã§ã™ã€‚ 逆ã«ã€ãƒªãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã‚’ã¾ãšçœºã‚ã¦ã€æ–‡æ³•ã‚’ã—ã£ã‹ã‚ŠæŠŠæ¡ã—
ECS Fargateã§VPCエンドãƒã‚¤ãƒ³ãƒˆã‚’使用ã™ã‚‹
概è¦ï¼†èƒŒæ™¯ 以下記事ã«ã¦ã€ECS Fargateã§VPCエンドãƒã‚¤ãƒ³ãƒˆãŒå¿…è¦ã¨ãªã‚‹çŠ¶æ³ã«ã¤ã„ã¦ã€èª¤ã£ãŸç†è§£ã‚’ã—ã¦ã„ãŸã“ã¨ã‚‚ã‚ã‚Šã€æ”¹ã‚ã¦ECS Fargateã¨VPCエンドãƒã‚¤ãƒ³ãƒˆã®é–¢ä¿‚や動作検証をã—ã¦ã¿ã¾ã—ãŸã€‚ ã¾ãŸã€æ—¢ã«å分解説ã•ã‚Œã¦ã„る記事もå˜åœ¨ã—ã¦ã„ã¾ã™ã®ã§ã€ãã¡ã‚‰ã‚‚ã”å‚ç…§ãã ã•ã„。 本記事ã®å†…容ã¯ã€ä¸Šè¨˜è¨˜äº‹ã¨é‡è¤‡ã‚‚多ã„ã§ã™ãŒã€æ¤œè¨¼ç’°å¢ƒã‚’å†ç¾å¯èƒ½ãªTerraformコードもåˆã‚ã›ã¦å…¬é–‹ã—ã¦ã„ã¾ã™ã€‚ ECS Fargateã¨VPCエンドãƒã‚¤ãƒ³ãƒˆã®é–¢ä¿‚ Fargateã«é™ã‚‰ãšã€ECSã§ã¯ã‚¢ãƒ—リケーションã§è¡Œã†é€šä¿¡ä»¥å¤–ã«ã€ä»¥ä¸‹ã®é€šä¿¡ãŒç™ºç”Ÿã—ã¾ã™ã€‚ （ãã‚Œãžã‚Œå¿…ãšç™ºç”Ÿã™ã‚‹ã‚ã‘ã§ã¯ãªãã€ECRç‰ã®å¯¾å¿œAWSリソースを使用ã™ã‚‹å ´åˆã®ã¿é€šä¿¡ãŒç™ºç”Ÿã—ã¾ã™ï¼‰ ECRã‹ã‚‰DockerイメージPULL Cloudwatch Logsã¸ãƒã‚°å‡ºåŠ› タスク定義ã‹ã‚‰ParameterStoreå‚ç…§ タスク定義ã‹ã‚‰
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - ninoseki/uzen: Website crawler with YARA detection
ECSã§ã‚¤ãƒ³ã‚¿ãƒ©ã‚¯ãƒ†ã‚£ãƒ–ã«ã€Œdocker run, exec, cp, logs, stopã€ã§ãã‚‹CLIツールを作りã¾ã—ãŸ
GitHub - yukiarrr/ecsk: CLI tool that you can interactively call Amazon ECS APIs (run-task, execute-command, stop-task), copy files between ECS and local, and view logs.
{{#tags}}- {{label}}
{{/tags}}