AWS Fargateã¨Lambdaã§ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼é‹ç”¨ - orangain flavor
ã“ã‚Œã¯Webスクレイピング Advent Calendar 2017ã®7日目ã®è¨˜äº‹ã§ã™ã€‚ã“ã‚“ãªæ„Ÿã˜ã§AWS Fargateã¨AWS Lambdaを使ã£ã¦ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ï¼ˆEC2レス）ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã‚’作りã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯Fargateã§ã®ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°å‡¦ç†ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã—ã¦ãŠã‚Šã€ã‚¯ãƒãƒ¼ãƒ«ã—ãŸHTMLã‚’S3ã«ä¿å˜ã™ã‚‹ã¨ã“ã‚ã¾ã§ã‚’主ã«è§£èª¬ã—ã¾ã™ã€‚Lambdaã®æ–¹ã¯ãŠã¾ã‘程度ã®æ‰±ã„ã§ã€ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸãƒ‡ãƒ¼ã‚¿ã®æ‰±ã„（データベースã¸ã®æ ¼ç´ãªã©ï¼‰ã¯ã‚¹ã‚³ãƒ¼ãƒ—外ã§ã™ã€‚ é•·ããªã£ãŸã®ã§ç›®æ¬¡ã§ã™ã€‚ 背景 AWS Fargateã®ç™»å ´ クãƒãƒ¼ãƒ©ãƒ¼ã®æ§‹æˆ ã‚„ã£ã¦ã¿ã‚‹ 1. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§Spiderを作る 2. Scrapy S3 Pipelineをインストールã™ã‚‹ 3. Scrapy S3 Pipelineをプãƒã‚¸ã‚§ã‚¯ãƒˆã«è¿½åŠ ã™ã‚‹ 4. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’Dockerizeã™ã‚‹ 5. Amazo
社内Java8勉強会 ラムダå¼ã¨ã‚¹ãƒˆãƒªãƒ¼ãƒ API
5. 5 / 54 ラムダå¼ã¨ã‚¹ãƒˆãƒªãƒ¼ãƒ API • ラムダå¼ã¨ã¯é–¢æ•°ã‚’簡便ã«è¡¨ç¾ã™ã‚‹ãŸã‚ã®è¨˜æ³•ã€‚ • ストリームAPIã¯ã€ãƒ©ãƒ ダå¼ã‚’利用ã—ãŸã‚³ãƒ¬ã‚¯ ションæ“作用ã®API • 関数型プãƒã‚°ãƒ©ãƒŸãƒ³ã‚°è¨€èªžç”±æ¥ã€‚æ´å²ã¯å¤ã„。 • ã“ã‚Œã¾ã§ã®æ‰‹ç¶šã型やオブジェクト指å‘çš„ãªãƒ— ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°æ‰‹æ³•ã‹ã‚‰ã€é–¢æ•°åž‹ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚° ã«å¤‰ã‚ã‚Šã¾ã™ã€‚ • パラダイムシフトã®ã‚ˆã‹ã‚“ï¼ï¼ 6. 6 / 54 ç°¡å˜ãªã‚µãƒ³ãƒ—ル • フルーツã®ä¸€è¦§ã®ä¸ã‹ã‚‰ • åå‰ãŒâ€œã‚Šã‚“ã”â€ã§å§‹ã¾ã‚Šã€ • 値段ãŒ100円以上ã®ã‚‚ã®ã‚’〠• å€¤æ®µé †ã§ä¸¦ã³æ›¿ãˆã€ • åå‰ã ã‘ã‚’å–り出ã—ã¦ã€ • リストを作æˆã™ã‚‹ 1 List<String> apples = fruits.stream() 2 .filter(f -> f.getName().startsWith("ã‚Šã‚“ã”")) 3 .filter(f -> f.getPrice() > 10
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
処ç†ã‚’実行ä¸ã§ã™
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
AWS Lambda Supports Destinations for Asynchronous Invocations
{{#tags}}- {{label}}
{{/tags}}