k8s_ml_platform.pdf

Transcript

1. KubernetesͰػցֶशج൫Λ ߏஙͨ͠࿩ גࣜձࣾ෋࢜௨ݚڀॴ ਓ޻஌ೳݚڀॴ @kuromt_ 1

2. ࣗݾ঺հ • TwitterΞΧ΢ϯτ: @kuromt_ • ॴଐɿגࣜձࣾ෋࢜௨ݚڀॴɹਓ޻஌ೳݚڀॴ – ػցֶशΛࢧ͑Δج൫ͷݚڀ – ࣾ಺޲͚ʹػցֶशج൫Λk8s্ʹߏஙͯ͠2೥ؒۙ͘ӡ༻த

   2

3. ࠓ೔͓࿩͢Δ͜ͱ • ֶशίετ͕ߴ͍KubernetesΛӅṭ͠ɺֶशɾਪ࿦؀ ڥΛ࠶ݱՄೳͳػցֶशج൫Λߏஙͨ͠࿩ • ӡ༻Ͱಘͨ஌ݟ͸Qiitaʹެ։ – ʮػցֶशج൫ΛKubernetesͰӡ༻͖ͯͯ͠ʯ 3

4. KubernetesΛ࢖ͬͨػցֶशج൫ͷ՝୊ ϝτϦΫεऩू kubectl ֶ श σ ʔ λ ౳ Ϧ

   ι ʔε ͷ ֬ ೝ ֶशɺਪ࿦ • Kubernetesͷֶशίετ͸ σʔλαΠΤϯςΟετʹ ͱͬͯߴ͗͢Δ • Job, Deployment … • Service, Ingress … • PV, PVC … • ֶशɺਪ࿦؀ڥΛ࠶ݱ – Ϟσϧͷਫ਼౓͕ѱԽͨ͠ ཧ༝ͷݕূ 4

5. ߏஙͨ͠ج൫ 5

6. KubernetesΛӅṭ͢ΔಠࣗWebAPIαʔό • ػցֶशͷֶशɾਪ࿦ͷͨΊʹKubernetesͷػೳΛऔࣺબ୒͠ ͯAPIΛ੔ཧ – ࠷ऴతʹdockerίϚϯυΛୟ͘৔߹ͱ΄ͱΜͲ͕ࠩͳ͍࢖͍ํͷύϥ ϝʔλʹམͪண͍ͨ • WebAPIαʔό͸ϚχϑΣετΛੜ੒ͯ͠kubernetes clientܦ༝

   ͰίϯςφΛੜ੒ – KubernetesΛΞοϓάϨʔυͯ͠΋WebAPIサーバがKubernetesͷAPI ͷมߋΛٵऩ͢ΔͷͰϢʔβ͸ύϥϝʔλΛมߋ͢Δඞཁ͸ͳ͍ 6

7. ೚ҙͷֶशɾਪ࿦؀ڥΛ࠶ݱ͢Δ࢓૊Έ • ࠶ݱ͍ͨ͠؀ڥΛొ࿥ɾར༻͢ΔAPIΛ༻ҙ – docker-composeΛج൫ͦͷ΋ͷʹొ࿥͢Δײ֮ – ؀ڥ໊ͱόʔδϣϯͰҰҙʹܾ·Δ • ొ࿥ऀҎ֎΋ొ࿥͞Ε࣮ͨߦ؀ڥΛ࠶ར༻Մೳ –

   σʔλΛϚ΢ϯτ࣮ͨ͠ߦ؀ڥͷ഑෍ָ͕ʹͳΓɺモデルの精度の検証や PoCͷελʔτ͕ૉૣ͘ͳͬͨ 7

8. ߏஙֶͨ͠शɾਪ࿦ج൫ ϝτϦΫεऩू ֶ श σ ʔ λ ౳ Ϧ ι

   ʔε ͷ ֬ ೝ ֶशɺਪ࿦ • Ϋϥελߏ੒ – ΦϯϓϨϛε – k8s: v1.13.2(HAߏ੒) – RAM: 560GBʙ1.5TB – GPU: • V100: 20ʙ40ຕ • P100: 8ʙ80ຕ • Ϧιʔε͕ෆ଍͢Ε͹NodeΛ ௥Ճͯ͠ରԠ • શମߏ੒͸CIͰ؅ཧ Web API 8

9. ·ͱΊ • ػցֶशج൫Λߏங – KubernetesͰ͋Δ͜ͱΛҙࣝ͠ͳ͍͍ͯ͘ – WebAPIͰֶशɾਪ࿦؀ڥΛొ࿥ɾ࠶ݱͰ͖Δ • PaaSͱͯ͠ج൫͕ҭͪͭͭ͋Δ –

   ݱࡏ170ਓҎ্͕ར༻ – Kubernetesͩͱ஌Βͣʹ࢖͍ͬͯΔਓ΋ଟ͍ • 2,000ίϯςφҎ্Λಉ࣌ʹಈ͔͠ύϥϝʔλ୳ࡧ͢Δ͜ͱ΋ 9