こんにちは。 株式会社ココナラのインフラ・SREチーム所属の かず です。 システム運用において、有事の際に迅速かつ適切なシステム稼働状況の確認は欠かせません。 その手段の1つとして、ログの調査や分析の効率化は切っても切れない関係です。 システムが成長するにあわせ、ログの種類や量が多くなり、結果としてログの調査や分析が難しくなるのはよくある話かと思います。 弊社でもサービスのグロースに伴って、ログの種類や量が多くなり、結果としてログの調査や分析で課題を抱えていました。具体的には以下の2点です。 ログから原因調査を行うには、複数ログを横断・突き合わせが必要 ログの追跡に必要な情報がログに出力されない場合がある そこで、課題への対応としてログ調査基盤の構築を行いました。 本記事では背景や苦労したこと、効果についてご紹介します。 複数ログの横断調査実現に向けて ログ調査基盤の構築 苦労したこと

きっかけはゴマサバだった。 2月の初め、私はTravisJapanのデビューツアーに参戦するため、生まれて初めて福岡に降り立った。 いつか行ってみたいとずっと思ってはいたのだけど、飛行機というのがハードルが高く、1回も行ったことがなかった九州。 だが、ちょうど飛行機のセール期間が入ってたこと、そして何より福岡在住のフォロワーさんの「来ちゃいなよ」の一言に背中を押され、文字通り飛び立ったのだ。 ライブももちろん楽しみではあったが、福岡といえばなんといってもグルメだ。天ぷら、ラーメン、あまおう、明太子。行ったことはなくてもいくつも思いついた。何かおいしいものに出会える予感がした。 そして福岡の居酒屋で出会ったのがゴマサバだった。 聞いたことがなかったそれはゴマに和えられた生のサバ。 福岡だとどこでも食べれますよと言われたそれに興味を持って注文するとこれがとんでもなく美味しかった。後で調べたとこ

【2024年8月号 (2024年7月分)】 暴露型ランサムウェア攻撃統計 CIGマンスリーレポート 弊社(MBSD) の Cyber Intelligence Group（以下、CIG）のチームが日々集計している暴露型ランサムウェア攻撃の統計情報をマンスリーレポートとして毎月掲載していく。 本ページで公開するマンスリーレポートは、以前から継続し、同じ集計基準や分析観点で、MBSD社内限定の資料として長期にわたり毎月まとめ続けてきたものであり、より広い皆様に有効活用して頂きたく、この度あらためて一般公開に踏み切ったものとなる。２重脅迫を行う暴露型ランサムウェアを中心とした脅威動向の各種把握に是非活用してほしい。 ※事前の留意点として、ランサムウェア攻撃の集計を一般公開している海外などの一部インテリジェンスベンダーにおいては、被害組織に関する情報（URLや被害組織名の表記など）がリークサイト上

対応分析は、コレスポンデンス分析とも言われる分析方法だ。 テキストマイニングでの対応分析では、どのグループでどんな発言が多かったかの傾向を図でつかむ方法。 KH Coder でどのように実施するかを解説。 ＞＞もう統計で悩むのを終わりにしませんか？ ↑1万人以上の医療従事者が購読中 対応分析とは - 一般的な話 対応分析を実施するには？- KH Coderの使い方 KH Coder全般について KH Coderで対応分析をするデータは？ KH Coderで対応分析をするには？ KH Coder のデフォルトで － リード文の分析 原点から離れた語のみラベル表示 － 上位30語に厳選 バブルプロット － 出現頻度が高いほど大きなバブルで表示する リード文の分析結果まとめ タイトルの分析結果 タイトルの分析結果まとめ まとめ KH Coderで対応分析をする方法―データの読み込みから図の描画・

データサイエンティストの皆さん、次のような性能問題にであったことないでしょうか。「データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった」「機械学習の学習が遅いから、GPUを増やしたが、速くならなかった」こういったときにどうすればよいか説明します。

毎日針を5本投げて円周率を計算するbot @buffon_needle 毎日5本ずつ針を投げ、ビュフォンの針の理論に従って円周率πを計算します。 平行線が引かれた地面にその間隔と同じ長さの針をN回投げ、平行線とM回交わる時 π≒2N/M が知られています。 試行を増やすとより良い近似値となるので1年後にはきっと素晴らしい値が得られているはずです。 #本日のビュフォン

ところてん @tokoroten 例の元旦に航空機飛ばして写真とって増改築チェックして、固定資産税の脱税野郎を検知する奴、最近はAIが使われてるらしいすよ 高くなっているか、低くなっているかって書かれているので、航空写真じゃなくて、SAR画像使ってるんじゃないかなー 緑シートじゃダメな予感 city.saitama.jp/006/003/003/01… pic.twitter.com/ppadW8ban0

以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ

「ワクチン接種期に東日本大震災以上の超過死亡」「80歳未満はワクチン接種者のほうが感染しやすい年齢も」「コロナの症状よりワクチンの副反応のほうが発生率が高い」……次々に明らかになるコロナワクチンの疑惑と真実。しかし、政府やマスコミはいまだに「ワクチン接種」を“推奨”している。この事態に、厚生労働省のキャリア官僚だった田口勇氏が警鐘を鳴らす。11月25日(金)発売の「プレジデント」(2022年12/16号)の特集「頭がいい思考、バカの思考」より、記事の一部をお届けします――。 【図表】2021年と2022年の死亡者数を比較して見えてくることは… ■ワクチン報道、病院ランキングは嘘だらけ 統計・データの数字は正確で公正なもの――。こう考えている人が多いと思います。しかし、厚生労働省の安全衛生部などに所属して、さまざまな統計・データを扱うなかで私が学んだのは、数字は必要以上に強い印象を与えたり、

約22万台のHDDおよびSSDを自社データセンターで運用しているBackblazeは、毎年四半期ごとにどのメーカーのHDDが故障しやすいかをまとめた統計データを公開しています。そんなBackblazeが、SSD関連の統計データをまとめた「メーカー・モデル別統計データ2022年中間レビューSSD版」を公開しました。 The SSD Edition: 2022 Drive Stats Mid-year Review https://www.backblaze.com/blog/ssd-drive-stats-mid-2022-review/ Backblazeが公開したメーカー・モデル別統計データ2022年中間レビューSSD版は、同社のクラウドストレージプラットフォームでストレージサーバーのブートドライブとして使用されているSSDに基づくデータです。BackblazeはこれらのSSDの故障率を

34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 2022年のNHKスペシャルなどで紹介された内容です なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

社会問題としての炎上・誹謗中傷最近テラスハウスという番組の出演者が亡くなるという痛ましい事件がありました．この番組自体はあまりよく知らないのですが，とにかくネット上での誹謗中傷がひどかったとのことです． 事件の詳細や炎上にどう対処すべきかという話については，こちらが良くまとまっているのではないかと思いますので，詳細は省きます． 木村花さんにはご冥福をお祈りする以外ないわけですが，このような痛ましい事件が起きている一方で，その実態というのはあまりよくわかっていません．私も炎上の分析をやっていたりもしますが，基本的には数百万人規模の炎上を対象としています． というのも，個人が攻撃されている炎上というのはなかなか分析が難しいんですね．規模が小さいと他人からはどうしても見えにくいのです．だからといって，本人にとってそれはどうでもいいことかというとそんなことはないわけで，何とかしなければいけない対象

NHKのニュースや番組をつくっている私たちが取材に込めた思いや取材手法などをお話します。一緒に「取材ノート」をつくっていきましょう。サイトはhttps://www.nhk.or.jp/d-navi/note/ 利用規約はhttps://nhk.jp/rules

総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開　性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS

はじめまして。Kyashでデータエンジニアリングを担当しているKyashデータマンです。この記事では、Kyash社内のデータ分析の基礎に関するドキュメントを紹介します。 Kyashでは、データエンジニアリング・ガバナンス・セキュリティなど様々な角度から、公正なデータの取扱いと活用を推進しています。従来は、一部の訓練された技術者がデータ分析を一手に担っていましたが、社内でもデータ活用のニーズも多く、その担当者に分析や集計の業務が集中するという課題がありました。 この課題に対して、データへの適切なアクセス管理を行い、そして適切なBIツールを導入することで、データを取り扱う人が自分でデータ分析・そして活用できるようになることを目指しています。アクセス管理には、個人情報やそれに準ずる機密データに対して、ポリシータグによるアクセス権のコントロール、そしてアクセス権のリネージなどのソリューションの導入

ワクチン接種と国民の態度については、それ相応に各種の事前研究が進み、接種計画に反映されたりしています。なので、ある程度は関係者の間では「肌感」があるところなのですが、さっきTwitterを見ていたら「Facebookユーザーの大多数がワクチン接種を拒否」とか「18歳から29歳までの40％以上がワクチン接種に否定的」とかいう明らかなガセネタが出回っていたので（既に削除）、元論文を観に行きました。 そしたら、元ネタは独立行政法人産業経済研究所（RIETI）が発行したディスカッションペーパーのていをした調査報告書だったわけなんですが、流し読みして悶絶するような個所がいくつかあり、椅子から落ちそうになりました。 https://www.rieti.go.jp/jp/publications/dp/21j026.pdf 元データが開示されていないので検証のしようもないんですが、まず、18歳から29歳