AWS Fargateã¨Lambdaã§ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼é‹ç”¨ - orangain flavor
ã“ã‚Œã¯Webスクレイピング Advent Calendar 2017ã®7日目ã®è¨˜äº‹ã§ã™ã€‚ã“ã‚“ãªæ„Ÿã˜ã§AWS Fargateã¨AWS Lambdaを使ã£ã¦ã‚µãƒ¼ãƒãƒ¼ãƒ¬ã‚¹ï¼ˆEC2レス）ãªã‚¯ãƒãƒ¼ãƒ©ãƒ¼ã‚’作りã¾ã™ã€‚ ã“ã®è¨˜äº‹ã¯Fargateã§ã®ã‚¯ãƒãƒ¼ãƒªãƒ³ã‚°å‡¦ç†ã«ãƒ•ã‚©ãƒ¼ã‚«ã‚¹ã—ã¦ãŠã‚Šã€ã‚¯ãƒãƒ¼ãƒ«ã—ãŸHTMLã‚’S3ã«ä¿å˜ã™ã‚‹ã¨ã“ã‚ã¾ã§ã‚’主ã«è§£èª¬ã—ã¾ã™ã€‚Lambdaã®æ–¹ã¯ãŠã¾ã‘程度ã®æ‰±ã„ã§ã€ã‚¹ã‚¯ãƒ¬ã‚¤ãƒ”ングã—ãŸãƒ‡ãƒ¼ã‚¿ã®æ‰±ã„（データベースã¸ã®æ ¼ç´ãªã©ï¼‰ã¯ã‚¹ã‚³ãƒ¼ãƒ—外ã§ã™ã€‚ é•·ããªã£ãŸã®ã§ç›®æ¬¡ã§ã™ã€‚ 背景 AWS Fargateã®ç™»å ´ クãƒãƒ¼ãƒ©ãƒ¼ã®æ§‹æˆ ã‚„ã£ã¦ã¿ã‚‹ 1. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã§Spiderを作る 2. Scrapy S3 Pipelineをインストールã™ã‚‹ 3. Scrapy S3 Pipelineをプãƒã‚¸ã‚§ã‚¯ãƒˆã«è¿½åŠ ã™ã‚‹ 4. Scrapyã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’Dockerizeã™ã‚‹ 5. Amazo
秒間3万リクエストをkubernetesã§ã•ã°ã - Gunosy Tech Blog
ã“ã‚“ã«ã¡ã¯ï¼ã‚¹ã‚¿ãƒ³ãƒ‡ã‚£ãƒ³ã‚°ãƒ‡ã‚¹ã‚¯ã‚’å°Žå…¥ã—ã¦å¿«é©ãªé–‹ç™ºç’°å¢ƒã¨é‹å‹•ä¸è¶³ã®ä¸¡æ–¹ã‚’解消ã§ãるよã†ã«ãªã£ãŸã®ã§ã¯ã¨æ„Ÿã˜ã¦ã„ã‚‹ã€åºƒå‘ŠæŠ€è¡“部ã®UT@mocyutoã§ã™ã€‚ 今回ã¯åŠå¹´ã»ã©EKSã‚’é‹ç”¨ã—ã¦ç§’é–“3万リクエストã®ãƒˆãƒ©ãƒ•ã‚£ãƒƒã‚¯ã‚’ã•ã°ãã»ã©ã«ãªã‚Šã¾ã—ãŸã€‚ 秒間3万ã¯åºƒå‘Šã‚·ã‚¹ãƒ†ãƒ ã ã¨å‰²ã¨ã‚ã‚‹ã¨ã¯æ€ã„ã¾ã™ãŒã€kubernetesã§ã‚‚é‹ç”¨ã§ãã¦ã„ã‚‹ã®ã§ç´¹ä»‹ã—よã†ã¨æ€ã„ã¾ã™ã€‚ 対象ã®EKSã§æ§‹ç¯‰ã—ãŸã‚µãƒ¼ãƒ“スã¯åºƒå‘Šã®é…信サーãƒã§ã™ã€‚ 広告é…信サーãƒã®è¦ä»¶ã¨ã—ã¦ã€ã¾ãš50ms以内ã«ãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚’è¿”ã•ãªã‘ã‚Œã°ã„ã‘ã¾ã›ã‚“。 構築ã—ãŸk8sã®ãƒ¬ã‚¹ãƒãƒ³ã‚¹ã‚¿ã‚¤ãƒ ã®99パーセンタイルã¯10msã»ã©ã§è¿”ã›ã¦ã„ã¾ã™ã€‚ 以下ã¯å¿…è¦æœ€å°é™ã®ã‚¯ãƒ©ã‚¹ã‚¿ã®æ§‹æˆå›³ã§ã™ã€‚ å…¨ä½“åƒ API 弊社ã®ã‚µãƒ¼ãƒã‚µã‚¤ãƒ‰ã¯ã»ã¼Goã§ä½œã‚‰ã‚Œã¦ã„ã‚‹ã®ã§ã€ä¾‹ã«æ¼ã‚ŒãšGoã§ä½œã‚‰ã‚Œã¦ã„ã¾ã™ã€‚ pod構æˆã¯APIã€fluentdã€envoy㮠サイドカーパターン ã§ã™
GitHubã«ã‚ãŒã£ã¦ã„ã‚‹React Nativeプãƒã‚¸ã‚§ã‚¯ãƒˆã‚’実行ã™ã‚‹æ–¹æ³• - Programmer's Note
GitHubã«ä¸ŠãŒã£ã¦ã„ã‚‹React Nativeã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’cloneã—ã¦ã€ 普通ã«npx react-native run-iosを実行ã—ã¦ã‚‚失敗ã™ã‚‹ã€‚ ãªã‚“ã ã‹ã‚ˆãã‚ã‹ã‚‰ãªã„ãŒã€è‰²ã€…ã‚°ã‚°ã£ãŸçµæžœã€ã¨ã‚Šã‚ãˆãš cloneã—ãŸãƒ•ã‚©ãƒ«ãƒ€ãƒ¼ã«å…¥ã‚‹ npm iã§ä¾å˜ãƒ‘ッケージをダウンãƒãƒ¼ãƒ‰ã™ã‚‹ cd ios/ pod install cd .. ã—ã¦ã€ npx react-native run-ios ã§ã†ã¾ãã„ã£ãŸã€‚ 謎ã¯ã‚ã¨ã§ã‚ã‹ã‚‹ã‚ˆã†ã«ãªã‚‹ã®ã‹ã—ら。 å‚ç…§ Invalid Podfile on Appcenter · Issue #26149 · facebook/react-native · GitHub
ãƒãƒ¼ã‚«ãƒ«PCã®Docker上ã§CloudWatch Logs Insights連æºã®ç°¡æ˜“分æžåŸºç›¤(Elasticsearch)を使ㆠ- YOMON8.NET
AWSã‚’é‹ç”¨ã—ã¦ã„ã‚‹CloudWatch Logsを分æžã™ã‚‹ã“ã¨ãŒè‰¯ãã‚ã‚‹ã¨æ€ã„ã¾ã™ã€‚ æ•°å¹´å‰ã¯CloudWatch Logsã®ãƒ•ã‚¡ã‚¤ãƒ«ã‚’ダウンãƒãƒ¼ãƒ‰ã—ã¦ãã¦ã€åˆ†æžã—ã¦ã„ã¦é¢å€’ã§ã—ãŸãŒã€ CloudWatch Logs Insights ãŒå‡ºã¦ãã¦ãれもã‹ãªã‚Šæ¥½ã«ãªã‚Šã¾ã—ãŸã€‚ ãã‚Œã§ã‚‚毎回調ã¹ãªãŒã‚‰ã‚¯ã‚¨ãƒªã‚’打ã¤ã®ã¯çµæ§‹é¢å€’ãªã®ã§ã€ãƒã‚°åˆ†æžåŸºç›¤ã¨ã—ã¦Elasticsearchãªã©ã‚’利用ã™ã‚‹å ´åˆã‚‚ã‚ã‚‹ã¨æ€ã„ã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯ãƒã‚°åˆ†æžåŸºç›¤ãŒç„¡ã„環境ã§ã‚‚ã€ãƒãƒ¼ã‚«ãƒ«ã®Elasticsearchã«æµã—込んã§ç°¡å˜ã«åˆ†æžã§ãる環境をDockerã§æ•´ç†ã—ãŸã®ã§æ›¸ã„ã¦ã„ãã¾ã™ã€‚ å‰æ å…¨ä½“åƒ ãƒªãƒã‚¸ãƒˆãƒª 使ã„æ–¹ ダウンãƒãƒ¼ãƒ‰ã‹ã‚‰ã®ã‚³ãƒ³ãƒ†ãƒŠèµ·å‹• Jupyter Lab接続 パラメータè¨å®š AWS Profile CloudWatch Logs データãƒãƒ¼ãƒ‰ Kibanaã§åˆ†æž 後片付㑠å‰æ Docker d
Kubernetes ã§é‹ç”¨ã™ã‚‹ JVM アプリケーション㮠OutOfMemoryError ã«å‚™ãˆã‚‹ - Uzabase for Engineers
ã“ã‚“ã«ã¡ã¯ã€‚SPEEDA 開発ãƒãƒ¼ãƒ ã® old_horizon ã§ã™ã€‚ JVM アプリケーションã®é‹ç”¨ã«ã¤ã„ã¦å›žã‚‹ã®ãŒã€OutOfMemoryError (以下 OOM) ã¸ã®å¯¾å‡¦ã§ã™ã€‚ ã—ã‹ã—実際ã«ç™ºç”Ÿã—ãŸéš›ã«ã€é©åˆ‡ãªã‚ªãƒšãƒ¬ãƒ¼ã‚·ãƒ§ãƒ³ã‚’è¡Œã†ã®ã¯æ„外ã¨é›£ã—ã„ã®ã§ã¯ãªã„ã§ã—ょã†ã‹ã€‚ 特ã«æœ¬ç•ªç’°å¢ƒã§ã¯ã€ã¾ãšå†èµ·å‹•ã—ã¦å¾©æ—§ã‚’急ãã“ã¨ã‚‚多ã„ã‹ã¨æ€ã„ã¾ã™ã€‚ã—ã‹ã—ã€ãŸã ãれを繰り返ã™ã°ã‹ã‚Šã§ã¯åŽŸå› ãŒã„ã¤ã¾ã§ã‚‚特定ã§ãã¾ã›ã‚“。 今回㯠Kubernetes ã§é‹ç”¨ã™ã‚‹ JVM アプリケーションã«å¯¾ã—ã¦ã€ãƒ€ã‚¦ãƒ³ã‚¿ã‚¤ãƒ を抑ãˆã¤ã¤èª¿æŸ»ã«å½¹ç«‹ã¤æƒ…å ±ã‚’è‡ªå‹•çš„ã«åŽé›†ã™ã‚‹ä»•çµ„ã¿ã‚’構築ã—ã¦ã¿ãŸã„ã¨æ€ã„ã¾ã™ã€‚ 環境構築 OOM 発生時ã«ã€è‡ªå‹•çš„ã«ãƒ’ープダンプをå–å¾—ã—コンテナをå†èµ·å‹•ã™ã‚‹ java コマンドã®ã‚ªãƒ—ション指定 補足 ヒープダンプ出力先ã®ãƒœãƒªãƒ¥ãƒ¼ãƒ をマウント readinessProbe ã«ã‚ˆã‚‹ãƒ˜ãƒ«ã‚¹ãƒã‚§ãƒƒã‚¯ レ
DNS改ã–ん検知ツール(Slack通知付ã)ã§æ¤œçŸ¥é€Ÿåº¦ã‚’爆速ã«ã—㟠- Code Day's Night
æš‘ã„å¤2020ã€DNSã¨æˆ¯ã‚Œã¦ã„ã¾ã—ãŸã€‚ レジストラã®è„†å¼±æ€§ã§DNSãŒæ”¹ç«„ã•ã‚Œã¦ã‚µã‚¤ãƒˆãŒãƒãƒƒã‚ングã•ã‚Œã‚‹äº‹ä»¶ã‚’見ã¦ã€ã“れを防ã方法ãŒãªã‹ã£ãŸã®ã§7月末ã«DNS改ã–ん検知ツール NSchecker を作ã£ã¦å…¬é–‹ã—ã¾ã—ãŸã€‚ blog.ichikaway.com çµè«– å¿™ã—ã„æ–¹ã®ãŸã‚ã«çµè«–ã ã‘å…ˆã«ã€‚NSchecker Ver0.03ã§ã¯DNS改竄検知速度ãŒ60秒程度ã«å¤§å¹…改善ã—ã¾ã—ãŸï¼ï¼ˆVer0.01ã§ã¯æœ€å¤§48時間ã®æ¤œçŸ¥é…延） NScheckerã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã¯ã“ã¡ã‚‰ã€‚ github.com 詳細 ã“ã®ãƒ„ールã¯DNSã®NSレコードãŒæ”¹ç«„ã•ã‚Œã‚‹ã¨Slackã§é€šçŸ¥ã§ãã‚‹(slack以外もå¯èƒ½)ãŸã‚便利ã ã£ãŸã®ã§ã™ãŒã€NSレコードã®å‚ç…§ãŒDNSã‚ャッシュサーãƒã ã£ãŸãŸã‚検知ãŒæœ€å¤§ã§48時間ãらã„ã‹ã‹ã‚‹å•é¡ŒãŒã‚ã‚Šã¾ã—ãŸã€‚(NSchecker Ver 0.01) ç„¡ã„よりã¯ãƒžã‚·ãªãƒ„ール程度ã«ãªã£ã¦ã—ã¾ã£
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - orangain/serverless-crawler: Sample of server-less crawler using AWS Fargate and Lambda
GitHub - orangain/scrapy-s3pipeline: Scrapy pipeline to store chunked items into Amazon S3 or Google Cloud Storage bucket.
{{#tags}}- {{label}}
{{/tags}}