Gunosyのデータ分析基盤、ログ基盤の全容

Transcript

1. Gunosyͷσʔλ෼ੳج൫ɺϩάج൫ͷશ༰ σʔλ෼ੳج൫Night #1 2017.2 ৿ຊ ३࢘

2. ©Gunosy Inc. 2 גࣜձࣾGunosy – ʮ৘ใΛੈքதͷਓʹ࠷దʹಧ͚Δʯ Gunosy͸ ৘ใΩϡϨʔγϣϯαʔϏεʮά ϊγʔʯͱ 2016೥6݄1೔ʹKDDIגࣜձࣾͱڞಉͰϦϦʔεͨ͠


   ແྉχϡʔε഑৴ΞϓϦʮχϡʔεύεʯΛఏڙ͢Δ ձࣾͰ͢ɻʮ৘ใΛੈքதͷਓʹ࠷దʹಧ͚ΔʯΛ
 Ϗδϣϯʹ׆ಈ͍ͯ͠·͢ɻ ωοτ্ʹଘࡏ͢Δ͞·͟·ͳ৘ใΛɺ
 ಠࣗͷΞϧΰϦζϜͰऩूɺධՁ෇͚Λߦ͍
 Ϣʔβʔʹಧ͚·͢ɻ ৘ใΩϡϨʔγϣϯαʔϏε
 ʮά ϊγʔʯ 200ഔମҎ্ͷχϡʔειʔεΛϕʔεʹɺ
 ৽ͨʹ։ൃͨ͠৘ใղੳɾ഑৴ٕज़Λ༻͍ͯࣗಈతʹ
 બఆͨ͠χϡʔε΍৘ใΛϢʔβʔʹಧ͚·͢ɻ ແྉχϡʔε഑৴ΞϓϦ
 ʮχϡʔεύεʯ

3. ©Gunosy Inc. 3 ࣗݾ঺հ • ৿ຊ ३࢘ • גࣜձࣾGunosy σʔλ෼ੳ෦

   • هࣄ഑৴ΞϧΰϦζϜͷվળ • ϩάج൫ͷ੔උ

4. ©Gunosy Inc. 4 ࠓ೔͓࿩͢Δ͜ͱ • Gunosyσʔλ෼ੳ෦ͷओͳۀ຿ • σʔλ෼ੳج൫ɺϩάج൫ͷίϯηϓτ • σʔλ෼ੳج൫ɺϩάج൫ͷશମ૾

   • ֬ఆ஋ϩάج൫ • ଎ใ஋ϩάج൫ • ͏·͍͍ͬͯ͘Δ͜ͱɾݱঢ়ͷ՝୊

5. ©Gunosy Inc. 5 σʔλ෼ੳ෦ͷओͳۀ຿ • ΞϓϦΛ࢖༻͢ΔϢʔβʔͷຬ଍౓޲্ͷͨΊͷ෼ੳ • ଺ࡏ࣌ؒɺܧଓ཰౳޲্ͷͨΊͷσʔλ෼ੳ • هࣄ഑৴ΞϧΰϦζϜͷվળ

   • ΞϧΰϦζϜݕূɺϓϩμΫγϣϯίʔυͷ࣮૷ • KPIूܭ • ଞ෦ॺ͔ΒͷूܭґཔɺABςετ౳ͷ਺஋ఆ఺؍ଌ • KPIʹҟৗ͕͋Δ৔߹ͷݪҼڀ໌ • σʔλ෼ੳج൫ɺϩάج൫ͷ੔උ

6. ©Gunosy Inc. 6 ߈ΊͷλεΫɺकΓͷλεΫ • ΞϓϦΛ࢖༻͢ΔϢʔβʔͷຬ଍౓޲্ͷͨΊͷ෼ੳ • ଺ࡏ࣌ؒɺܧଓ཰౳޲্ͷͨΊͷσʔλ෼ੳ • هࣄ഑৴ΞϧΰϦζϜͷվળ

   • ΞϧΰϦζϜݕূɺϓϩμΫγϣϯίʔυͷ࣮૷ • KPIूܭ • ଞ෦ॺ͔ΒͷूܭґཔɺABςετ౳ͷ਺஋ఆ఺؍ଌ • KPIʹҟৗ͕͋Δ৔߹ͷݪҼڀ໌ • σʔλ෼ੳج൫ɺϩάج൫ͷ੔උ

7. ©Gunosy Inc. 7 σʔλ෼ੳج൫ͷϙΠϯτ • कΓͷλεΫ͸ࣗಈԽͯ͠ɺ߈ΊͷλεΫʹ஫ྗ͍ͨ͠ • ͍͔ʹଟ͘ͷ߈ΊλεΫʹνϟϨϯδ͕Ͱ͖Δ͔ • ੜ͖࢒ͬͨ΋ͷ͕Ձ஋ΛੜΈग़͢

   • ͦͷͨΊͷج൫ΛͲͷΑ͏ʹͭ͘Δ͔ • Θ͔Γ΍͍͢μογϡϘʔυͷߏங • KPIʹҟৗ͕͋ͬͨ৔߹ͷݪҼڀ໌লྗԽ • େن໛σʔλͰ΋εέʔϧͰ͖Δϩάج൫ • σʔλ෼ੳ͠΍͍͢؀ڥ

8. ©Gunosy Inc. 8 Gunosyͷσʔλ෼ੳج൫ɺϩάج൫ • ϩάج൫શମ૾Λ঺հ • ཁॴͰσʔλ෼ੳج൫͕ొ৔ • Gunosyͷϩάج൫͸େ͖͘2ͭ

   • ֬ఆ஋ϩάج൫ • KPI • هࣄ഑৴ΞϧΰϦζϜ • σʔλ෼ੳ • ଎ใ஋ϩάج൫ • ଎ใ༻KPIʢHourly Active Userʣ • هࣄ഑৴ΞϧΰϦζϜ

9. ©Gunosy Inc. 9 ֬ఆ஋ϩάج൫ • શମ૾ Redshift ϩάαʔόʔ S3 SQS

   ίϯόʔλʔ Fluentd BigQuery KPIόον αʔόʔ μογϡϘʔυ

10. ©Gunosy Inc. 10 KPIμογϡϘʔυ • Redash • ༷ʑͳσʔλɾιʔεʹ౷ҰతʹΞΫηεͰ͖ΔWeb αʔϏε •

    σʔλՄࢹԽπʔϧ • SQLͰ׬݁Ͱ͖ɺը໘ͷ࣮૷ෆཁ • DjangoΦϦδφϧμογϡϘʔυ • ϑϧεΫϥον࣮૷ͳͷͰɺࣗ༝౓͸ߴ͍ • ͍ʹ͑͠ΑΓར༻ • SQLͰ׬݁͠ͳ͍ࢦඪΛݟΔͱ͖ʹ࣮૷

11. ©Gunosy Inc. 11 μογϡϘʔυͷ޻෉ • 2ͭͷμογϡϘʔυͷॅΈ෼͚͕Ͱ͖͍ͯΔ • RedashͰඇΤϯδχΞ΋ूܭͰ͖Δ • SQLษڧձ

    • SlackͰSQL෦԰ • ҟৗ࣌ʹݪҼڀ໌ΛμογϡϘʔυͷΈͰ׬݁Ͱ͖Δ • λΠϜϦʔʹҟৗʹؾ͚ͮΔ • SQLൃߦ͠ͳ͍ɺੜϩάݟͳ͍

12. ©Gunosy Inc. 12 μογϡϘʔυͷ՝୊ • ҟৗ͔Ͳ͏͔ͷධՁࢦඪ͕ෆे෼ • ҟৗ࣌͸μογϡϘʔυ͑͞ݟͨ͘ͳ͍ • Ͳͷࢦඪ͕ͳͥ໰୊͔Λݕग़͠ɺSlack΁Ξϥʔτ͢Δ

    ࢓૊Έ͕΄͍͠

13. ©Gunosy Inc. 13 RedshiftͱBigQueryͷ࢖͍෼͚ • ҎલΑΓRedshiftΛ࢖༻͖ͯͨ͠ • BigQuery͸2016೥ՆΑΓຊ֨ར༻։࢝ • RedshiftɺBigQuery྆ํʹ΄΅͓ͳ͡σʔλ͕ೖ͍ͬͯΔ

    • Ұ෦ͷ͔ͳΓେ͖ͳσʔλ͸BigQueryͷΈ • Redshiftʹґଘͨ͠KPIΫΤϦʢKPIूܭόονʣ͕ଟ਺ • BigQuery΁ͷҠߦ͸ఘΊͨ • ৽͍͠KPI΍࣌ؒͷ͔͔ΔΫΤϦ͸BigQuery΁

14. ©Gunosy Inc. 14 Redshiftͷྑ͍ͱ͜Ζ Good in Redshift: • ʢओ؍తʹʣγϯϓϧͳΫΤϦ •

    Postgresqlϕʔε • created_at::date else: • ઃܭɺӡ༻ਏ͍ • distkeyͷઃܭ೉͍͠ • node௥Ճ࣌͸ϝϯςφϯεϞʔυ

15. ©Gunosy Inc. 15 BigQueryͷྑ͍ͱ͜Ζ Good in BigQuery: • ετϨʔδεέʔϥϒϧ else:

    • Standard SQL΋ͬͱαϙʔτͯ͠΄͍͠ • percentile͸Α • SELECTΫΤϦͰςʔϒϧεΩϟϯ͢ΔύʔςΟγϣϯ ࢦఆͨ͘͠ͳ͍

16. ©Gunosy Inc. 16 ࣗՈ੡ϩάίϯόʔλʔ • ੜϩάͷ੔ܗΛ୲౰ • JSONϩάΛύΠϓ۠੾Γͷϩάʹ • ΞϓϦόʔδϣϯɺσόΠε(iOS,

    Android)ʹΑͬͯ ϑΥʔϚοτ͕ҟͳΔϩάͷ੔ܗ • ϩά੔ܗ͸୭͕୲౰͢Δ͔ • ϩάαʔόʔʢ಄Ͱ΍Δ͔ʣ • ϩάίϯόʔλʔʢඌͰ΍Δ͔ʣ • ϩά੔ܗ͠ͳ͍ • ੔ܗΛʮඌʯͰ࣮ࢪͨ͠΄͏͕ӡ༻͸ָ • ੜϩάɺ੔ܗϩά྆ऀΛอଘ͢Δӡ༻ָ͕

17. ©Gunosy Inc. 17 ϩάઃܭΛϛεͬͨΒ • ׬ᘳͳϩάઃܭ͸೉͍͠ • σόΠεɺόʔδϣϯɺ৽ػೳɺ৽UIͰࢥΘ͵ࠩҟ͕Ͱ ͯ͠·͏ •

    Ͳ͔͜ͰέΞ͢Δඞཁ͕ੜ͡Δ • ϩάAPIαʔόʔʁ • ϩάίϯόʔλʔʁ • SQLΫΤϦʁ

18. ©Gunosy Inc. 18 σʔλ෼ੳج൫ • πʔϧηοτ͸Jupyter+pandas+DB • ϩάΛ࢖༻ͨ͠KPIʹؔ͢Δσʔλ෼ੳ • هࣄσʔλ౳Λ࢖༻ͨ͠ΞϧΰϦζϜվળͷͨΊͷ෼ੳ

    Redshift BigQuery Pandas

19. ©Gunosy Inc. 19 σʔλ෼ੳج൫ͷ՝୊ • ΞϧΰϦζϜվળͷͨΊͷ෼ੳج൫͸ෳ਺σʔλɾιʔε ʹ·͕͍ͨͬͯΔ • هࣄσʔλ •

    هࣄΫϥελϦϯάσʔλ • είΞϦϯάσʔλ • ౷ҰతʹΞΫηεͰ͖Δͱ෼ੳͷޮ཰͕޲্͢Δ • ϩάΛ࢖༻ͨ͠෼ੳ͸BigQueryҰຊͰ׬݁͢Δ

20. ©Gunosy Inc. 20 ABςετج൫ɺΦϑϥΠϯςετج൫ • ΰδϥʢABςετج൫ʣ • ༝དྷɿABςετΛࢧ഑͢Δଘࡏ • ABςετͷׂ౰ɺ࣮ࢪঢ়گΛWebπʔϧͰ؅ཧ

    • σϩϦΞϯʢΦϑϥΠϯςετج൫ʣ • աڈϩάΛ࢖༻ͯ͠ΞϧΰϦζϜมߋͷྑ͠ѱ͠Λ൑அ ͢Δ • ABςετʢΦϯϥΠϯςετʣ͸࣌ؒΛཁ͢Δ • ධՁࢦඪͷબͼํ͕؊ • ݱࡏ͸ίϚϯυϥΠϯπʔϧͷΈ

21. ©Gunosy Inc. 21 ଎ใ஋ϩάج൫ • هࣄ഑৴ΞϧΰϦζϜͰ࢖༻ • KPI଎ใ஋ʢHourly Active User౳ʣͰ࢖༻

    • σʔλ෼ੳʹ͸࢖༻ͯ͠ͳ͍ • Spark Streaming͔ΒKinesis Analytics΁Ҡߦத

22. ©Gunosy Inc. 22 Spark StreamingΛ࢖༻ͨ͠଎ใ஋ج൫ • Spark StreamingͰ୹࣌ؒͷϩάूܭΛ࣮ࢪ • ଎ใ஋Λ࢖༻͢ΔγεςϜ͕ѻ͍΍͍͢Α͏ʹRDSʹอଘ

    • ՝୊ • αʔόʔίετʢEMRίετʣ͕ͦΕͳΓ • ӡ༻ίετʢΫϥελ؅ཧίετʣ͕ͦΕͳΓ

23. ©Gunosy Inc. 23 Kinesis AnalyticsΛ࢖༻ͨ͠଎ใ஋ج൫ • ετϦʔϛϯάσʔλΛSQLΫΤϦͰूܭͰ͖ΔαʔϏε • ूܭ݁Ռ͸FirehoseͰElasticsearchʹอଘ •

    ΤϯδχΞ͕࣮૷͢Δͷ͸ूܭΫΤϦͷΈ • ௕ظؒͷӡ༻࣮੷͸͜Ε͔Β • ίετ࡟ݮ

24. ©Gunosy Inc. 24 ·ͱΊ • Gunosyσʔλ෼ੳج൫ɺϩάج൫ͷશ༰ʹ͍ͭͯ঺հ • ֬ఆ஋ϩάج൫ • ଎ใ஋ϩάج൫

    • ߈ΊͷλεΫ • ෼ੳ͠΍͍͢؀ڥͮ͘Γ • ෳ਺ͷσʔλιʔεʹ౷ҰతʹΞΫηε • େྔͷσʔλΛ༰қʹѻ͑Δ؀ڥ • कΓͷλεΫ͸ՄೳͳݶΓࣗಈԽ