サイバーエージェントはHBaseからTiDBへ移行、大規模データ処理基盤における検証結果を明かす
TiDB Cloudのライト版。TiDBの機能をフルマネージド環境で使用でき、無料かつお客様の裁量で始めることができます。
タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
TiDB Cloudのライト版。TiDBの機能をフルマネージド環境で使用でき、無料かつお客様の裁量で始めることができます。
HBaseとKafkaによるデータパイプライン構築。LINE Messaging Platformにおける活用法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話についてインタビューします。今回の対象セッションは「LINE Messaging Platform におけるHBaseとKafkaのデータパイプラインと活用例」です。 LINEでは、Messaging Platformのストレージミドルウェアの1つとしてApache HBase（以下、HBase）を使用しています。HBaseのレプリケーショ
こんにちは。 GMOアドマーケティングのM.Nです。 TAXELのインフラは、今年2月に一部機能をGMOアプリクラウド内移行（バージョンアップ）し、残りをGCPに移行しました。 今回はその際に起きたトラブルの事例を紹介しようと思います。 1. 時折発生するアラート 移行が無事に終わり、2ヶ月ほど経った頃、一通のalertが飛んできました。 article.jsonはレコメンドウィジェットのリクエストですが、レスポンスに9秒弱かかっているようです。 直後に復帰しているのでウィジェットが全く配信できていない、という状態にはなっていないようですが・・・気になります。 また、どこかのAPサーバーだけで発生しているというわけでもなさそうです。 最初は一時的なものかと思って様子を見ていましたが、日増しに頻度が増え一日数回飛んでくるようになりました。 軽く調査したところ、alertは特定の時間帯に偏って
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでLINE Z Part チーム シニアソフトウェアエンジニアのルカデテナ ハビエル アキラ 氏が、「LINEアプリにおける大規模トラフィックを支えるストレージ」について共有。前半はRedisとApache HBaseを使ったストレージについて紹介しました。 ルカデテナ ハビエル アキラ氏：ハビエル アキラ ルカデテナと申します。2017年からLINEのソフトウェアエンジニアとして働いています。今日は、LINEのメッセージングアプリケーションのトラフィック・インテンシブ・ストレージについてお話しします。 まずはメッセージングアプリケーションを紹介して、そのストレージの要件とApache HBaseでどうやってその
Pinterestが世界有数規模のHBaseクラスタをNewSQLのTiDBへ置き換え、その理由と成果は［PR］
Pinterestが世界有数規模のHBaseクラスタをNewSQLのTiDBへ置き換え、その理由と成果は［PR］ さまざまな画像のコレクションを共有できるWebサービス「Pinterest」は、データ基盤としてNoSQLの分散型データストアであるHBaseを用い、10ペタバイト以上のデータを運用していました。 しかしWebサービスの進化に伴ってデータ基盤に対してより多くの機能が要求されるようになると、多数のソフトウェアによってシステムが複雑になること、NoSQLであるためにデータの一貫性を保つことが難しくなること、メンテナンスコストが増大することなどが課題となってきます。 2021年には、これらの課題を克服できる新たなデータ基盤のためのソフトウェアを模索し始め、さまざまなソフトウェアを検討した上で、スケーラブルなリレーショナルデータベースとして知られる「TiDB」が選定されます。そしてTi
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer データパイプラインの各構成要素 吉田真也氏：ここからは我々が構築したデータパイプラインの各構成要素についてご説明いたします。はじめにKafkaに送信するデータのプロトコルですが、HBase 0.94のクラスターへのReplayerが1.2.5のClientに依存しないように、Protocol Buffersを用いて独自に定義します。 定義したデータ構造としては、WALのメタ情報、ここではWALのエントリーやHLogKeyといったようなものです。それに加えて、HBaseの変更をあらわすCellというデータ構造を定義します。これらのデータ構造は1.2.5で用いられ
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer LINE Messaging Platformのサーバーサイドの技術スタック 吉田真也氏：「LINE Messaging PlatformにおけるHBaseとKafkaのデータパイプラインとその活用例」について、吉田が発表いたします。 こちらが本日の発表内容です。はじめに「HBaseとLINE Messaging Platformにおける活用」について紹介します。そしてそのあと、本日の本題である「HBaseとKafkaのデータパイプラインとその活用例」について紹介します。 それでは、HBaseとLINE Messaging Platformにおける活用について
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TAXELで実際に起きたHBase周りのトラブル事例を紹介します
RedisとApache HBaseで高性能・高信頼性・高可用性なストレージを LINEアプリの大規模トラフィックを支えるストレージ
HBaseとKafkaのデータパイプラインとその活用例 LINE Messaging Platformにおける取り組み
LINEはHBaseをどのように活用しているのか LINE Messaging Platformでの取り組み
s.kabutan.jp
weekendav.blog.jp
tocotomo.hatenablog.com
news.yahoo.co.jp
keepr.hatenablog.com
www.kumabou.com