はてなブックマーク

KADOKAWA Connected / ドワンゴの @saka1 です。 最近は、ドワンゴ・KADOKAWA向けに提供しているデータプラットフォームの移行作業を行っています。 engineering.kdx.co.jp 記事執筆時点（2022年3月初旬）では、移行作業はそろそろ佳境あるいは完了というところで、なんとかかんとか年度末には間に合うんじゃないかという進行です。 移行作業の進展に伴って、事前検証では見つけられなかった細かな問題や運用上の不便さなどが見つかるようになってきました。 新しく発生する課題に対して、データプラットフォーム運用チームは色々な方法で問題の解決・軽減をしようとしています。今回紹介するストアドプロシージャもそんな工夫の1つです。 直面した課題 Snowflakeのタスクの制限 Snowflakeでは、定期的に実行したい処理を書く場合、タスクというオブジェクトを定義

KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected（以下KDX）でデータ分析周りのお仕事をしています。この世界はジョブチェンジが激しいですね。 しばらく開発に関与していたドワンゴ・KADOKAWA向け新データプラットフォームの初期リリースに成功したので、この記事ではその話を書きます。KDXのデータエンジニアリングに関する取り組みのほんの一端ではあるのですが、なんとなく雰囲気が伝わればいいなと思っています。 この記事は全体概要編のようなものです。 移行プロジェクトとしての事例紹介を中心にして書きました。プロジェクトの置かれたコンテキストや、出てくる課題にどう判断をつけ

はじめに KADOKAWA Connected KCS 部の nokamoto です。 KCS 部では KADOKAWA グループ向けプライベートクラウドを提供しており、プライベートクラウド上の各サービス開発は Github Enterprise を利用しています。 今回はチーム開発において Github 上での貢献度を可視化し、チーム開発を加速するための取り組みについて投稿します。 背景 チームとして開発を加速するには、下記の 2 つが必要です。 自身がサービスの開発に貢献する。 チームメンバーがサービスの開発に貢献する。 この 2 つを定量的に測定して改善していくためには、前者は自身が発揮しているパフォーマンスを集計する必要があります。 また、後者はチームメンバーなどへのメンタリングによって、メンタリングを受けたメンバーのサービスに対する習熟や、メンタリングを通じた教育・知識の伝達の効

グループデータマネジメント部の須藤です． 日々の業務はデータ基盤の開発や運用を行っています． 今回はAWSのクラウドデータウェアハウスAmazon Redshiftの費…

はじめに こんにちは。KADOKAWA Connectedでネットワーク設計構築を担当しているもつおです。今年5月に『NTT 東日本 - IPA シン・テレワークシステム へのバックボーン提供』についてご紹介しました。 NTT 東日本 - IPA シン・テレワークシステム (以下，シン・テレワークシステム) に関する詳細情報は『 NTT 東日本 - IPA 「シン・テレワークシステム」 新型コロナウイルス対策用 テレワークシステム 緊急構築・無償開放・配布ページ 』をご覧ください。 そして，この11月に行われたシン・テレワークシステムの増強に伴い，弊社からの設備提供もパワーアップさせていただきました。今回はその作業の様子を，写真多めにレポートいたします！ 今回パワーアップしたこと 先述の前回記事でご紹介した通り，シン・テレワークシステムへのネットワーク協力として，弊社からは20G帯域保証の

はじめに はじめまして、KADOKAWA ConnectedにてCustomer Successチームをリードしています菊本です。 KADOKAWA Connectedでは、KADOKAWAグループの生産性を高める働き方改革の支援を手掛けています。KADOKAWAでは攻めのDXをトップライン向上、守りのDXを費用対効果向上と定義しており、コミュニケーション改革は守りのDXの中核の活動と位置付けています。このコミュニケーション改革を担当しているのが、KADOKAWA ConnectedのCustomer Succcessチームです。本ブログでは、このコミュニケーション改革をいかに実現していくかのノウハウをご紹介します。 コミュニケーション設計 コミュニケーション改革を進めるにあたり、まずは目指すべきコミュニケーションの姿を設計しましょう。はじめに、緊急度と重要度の2軸で作ったマトリクスに、現

はじめに はじめまして、2020年4月に株式会社ドワンゴに新卒入社した関森です。 現在は株式会社KADOKAWA ConnectedのKCS部にも所属しています。 KCS部は、KADOKAWAグループ向けプライベートクラウド（以下KCS）を提供しており、その中でも私は、Content Delivery Network（以下CDN）サービスを担当しています。 社内ではこのCDNサービスをDCDN（ドコドン）と呼んでいます。 DCDN では、『niconico』のウェブサイトを構成するJavaScriptやCSS、そしてユーザアイコンや動画サムネイルといった画像ファイルなどの配信を行っています。 今回は、私が入社してから半年間で学んだことを整理しアウトプットするという意味も込めて、DCDNの概要について紹介します。 CDNとは CDNのイメージ CDNとは、ウェブコンテンツを効率的かつ高速に配

はじめに 株式会社KADOKAWA ConnectedのKCS部Cloud Native課の夏目です。最近は産業におけるディープラーニング（ディープニューラルネットワーク、以下「DNN」）の適用が幅広く進んでいます。私（夏目）はSmartCity研究所にて画像認識を利用するプロジェクトで業務を行なっています。今回は初心者のかた向けに、主に画像・映像の認識を行なうための機械学習およびDNNの学習済モデル、そのモデルを利用した転移学習について紹介したいと思います。 教師あり学習の課題 機械学習の1つの手法として、教師あり学習がありますが、教師あり学習ではラベル付け（アノテーション）された学習用のデータが必要になります。一般的に学習用のデータが少ないと精度に影響が出ます（精度が低くなる可能性がある）ので、ある程度学習用データを集める必要があります。しかし、学習用データを数多く揃えるのは難しい場合

はじめに はじめまして！株式会社KADOKAWA Connected KCS部Cloud Native課の夏目です。 近年、第3次AIブーム の中で、企業・組織でのAI（人工知能）の導入が進んでいます。弊社KADOKAWA ConnectedでもSmartCity研究所 などでAIを利用した取り組みを進めております（具体的な取り組み内容は後日別の記事でお伝えする予定です）が、AIを利用した取り組みを行なうためには、AIに関するスキルをもった人材が必要となり、その人材を自社で育成するのが人材確保の1つの方法です。今回は私（夏目）が読んだ書籍の中から独断と偏見に基づき、主にAI関連技術の初心者向け書籍（日本語の書籍）を紹介します。読者の皆様のスキルアップや人材育成に役立てていただけますと幸いです。 書籍紹介 それでは、まずこの1冊を読むべき、という書籍を紹介します。 それは「深層学習教科書 デ

はじめに KADOKAWA Connected KCS 部の nokamoto です。 KCS 部は KADOKAWA グループ向けプライベートクラウド (KCS) を提供しており、その中の一つに私がアーキテクトとして参加している Kubernetes クラスタを提供するサービス (DKS) があります。 今回は DKS の紹介として Kubernetes サービスの設計について投稿します。 サービスの背景 KCS はベアメタルから仮想サーバーに移行を果たし、次のステップとしてコンテナ技術へのキャッチアップが必要な状態でした。 また、グループ社内にも Docker や Kubernetes を立てて利用するユーザーがいたりと、プライベートクラウド上でのコンテナ管理に需要があると見込める状態でした。 これらの状況から、Kubernetes の小規模な利用・管理の経験を持った数名のメンバーが集

はじめに はじめまして、KCS 部の島崎です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私は RDB基盤と CACHE基盤と今回の Elastic Stack as a Service (以下 ESaaS) の開発から携わり、現在もそれらの運用を行っています。今回は ESaaS の紹介と ESaaS が利用している ECE 及び内製ツールについて投稿します。 ESaaS (Elastic Stack as a Service) とは ESaaS とは KCS が提供する Elasticsearch のマネージドサービスです。Elastic社が提供している Elastic Cloud をオンプレミスにホスティングする製品の Elastic Cloud Enterp

はじめまして，この4月からKADOKAWA Connectedに入社しました もつお です。今年で，ネットワークに関わる仕事を始めて3年目になりました。今回は，リモートワークに関するKADOKAWA Connectedの取り組みを，2つご紹介したいと思います。 テレワーク支援プロジェクトへのAS38634のバックボーン提供 構成 気をつけたこと おまけ：PoC環境に接続するためのVPN構築 テレワーク支援プロジェクトへのAS38634のバックボーン提供 新型コロナウィルス対策として，リモートワークが重要視されている今，「VPN」というのが一つのホットワードになっています。そして先日，NTT東日本から，とあるプレスリリースが出されました。 NTT東日本とIPAによる「シン・テレワークシステム」の緊急構築と無償開放について〜職場や大学のパソコンに自宅から安全にアクセスし在宅勤務や研究等の継続が

はじめに はじめまして、KCS部の辻下(tjst-t)です。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 私の所属しているDSREチームでは、MySQLやRedis、Elasticsearch/KibanaといったDatastore関連のミドルウェアをマネージドサービスとして、KADOKAWAのグループ会社に提供しています。 今回はRedisのマネージドサービス(KCS Cache基盤 for Redis)について700以上のVMでカーネルバージョンアップを行った事例について紹介します。 KCS Cache基盤 for Redisとは KCS Cache基盤 for Redis(以下 Cache基盤)はRedisのマネージドサービスであり、KCSで管理しているオンプ

はじめに こんにちは！ネットワークチームで学生アルバイトをしていたhikaliumです。 2019年の8月から2020年の3月まで週に数日程度、ネットワーク周りの新しい機材やソフトウエアの検証をおこなったり、それに伴うちょっとしたスクリプトを書いたりすることで、新しいものをよりスムーズに導入して使っていくためのお手伝いをさせてもらっていました。 今回はその中でも「世はまさに大WDM時代！」ということで、Inphi社の光伝送ソリューション COLORZ を用いて、より安価に大容量のWDM通信路を構築してみたお話をしてみたいと思います。 ずらっと並んだInphi COLORZ WDMってなんぞや とはいえ、いきなりWDMって言われても何がなんだかわからない方も多くいらっしゃると思います。実際私もアルバイトを始めた当初はそうでした。（実をいうとアルバイトを始める前の私には、光通信ネットワークに関

はじめに はじめまして、KCS部のmaruです。KCS部では、部長といくつかのサービスのオーナーをやっています。 KCS部は、KADOKAWAグループ向けプライベートクラウド(以下KCS)を提供しており、私がオーナーをしているサービスにはDataBase as a Service(以下DBaaS)があります。 主な利用者は株式会社ドワンゴがサービスを提供している『niconico』です。 今回はKCSが提供しているDBaaSについて、いかに頑張らないで運用できるようにしているかについて投稿します。 規模で見るKCS DBaaS KCSが現在提供しているDBaaSは下記の3つです。 KCS RDB基盤 for MySQL バージョン：MySQL 5.7系 MySQL数(概算)：450 masterの総データ量(概算)：3TB KCS Cache基盤 for Redis*1 バージョン：Red