サービス開発部SRE課の@vvatanabeです。 2021年9月26日、OpenSSH 8.8がリリースされました。大きな変更として挙げられるのは、SHA-1ハッシュアルゴリズムを使用したRSA署名の廃止です。 本記事では、この変更がBacklogに与えた影響、その時現場で起こっていたこと、問題解決のプロセス、なにを教訓にしたのか等、順を追って解説します。 ※ 本記事はNuCon 2021で発表した内容をブログ化したものです。 問題の発覚 BacklogのGitへSSHでアクセスできない TypetalkのBacklog開発者のトピックで、以下のフィードバックが投稿されました。 「OpenSSH 8.8へアップデートすると、BacklogのGitへSSHアクセスできない」という内容でした。 問題の調査 Inside SSH protocol v2 深堀りしていく前に、SSHプロトコルの接

テキストエディタのデータ構造 Gap method Piece Table method Piece Table の構造 Piece Table の実装 Piece Table のメソッド まとめ テキストエディタのデータ構造 テキストエディタで採用されているデータ構造にはいろいろあります。 こちらの論文 Data Structures for Text Sequences では各種データ構造について比較検討されています。 多くは、Gap method や Piece table method をベースにしたものが多いのではないでしょうか(図で言う最下部の中心の丸印に当たります)。最近では Rope なども有名ですね。 Gap method Gap method では、現在のカーソル位置で、テキストバッファを2つに分割し Gap を間に挟み、カーソル位置に対する編集(テキスト追加/削除)を

Googleが開発したSwisstableと呼ばれるハッシュテーブル実装がAbseilとして公開されて、Rustの標準のHashMap実装にもその移植であるhashbrownが採用されました。 Swisstable の面白いところは、8または16要素をグループ化して、グループ内の各要素のハッシュ値のうち7bitをそれぞれ1byteに格納した8または16バイトの配列を作り、その配列に対して一気に並列でマッチングを行うことです。 この並列マッチングにはSSE2もしくはビット演算が使われます。この記事ではこの並列マッチング部分について解説します。 SSE2を使う場合 SSE2を使う場合は、グループのサイズは16になります。ハッシュ値を格納する配列のことを control と呼ぶことにすると、 control は char control[16] になります。control の各バイトの状態は次の

エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(po3rin) です。検索とGoが好きです。 最近、Go1.19でsortパッケージのアルゴリズムが一部変更されました。 Pattern-defeating Quicksortが入った時のdiff 1.19リリースノートではPattern-defeating Quicksortが採用されたと紹介があります。実際にsort/zsortfunc.go、sort/zsortinterface.goにそれぞれpdqsort_func、pdqsortという関数があります。 // pdqsort sorts data[a:b]. // The algorithm based on pattern-defeating quicksort(pdqsort), but without the optimizati

米Googleは8月18日（現地時間）、英語でのグローバルな検索で実施する「helpful content update」（役立つコンテンツ更新）の概要を説明した。いわゆる「クリックベイト」を排除し、検索結果に「人間が人間のために書いた、より独創的で役立つコンテンツが表示されるようにする」ための取り組みの一環だ。向こう数週間中に展開する。 まず、「読者に情報を提供するのではなく、クリックを獲得することを目的としたように見えるコンテンツ」や「オリジナルではない低品質のコンテンツ」が上位に表示されないようにする。特に、オンライン教育資料、エンターテインメント、ショッピング、テクノロジー関連のコンテンツで効果が見られるようになるとしている。 例えば、新作映画について検索した場合、従来は「他のサイトに掲載されたレビューを寄せ集めた記事が表示されたかもしれない」が、この更新により「独自の信頼できる情

"Map Projection for Interactive Media: From Web Mercator to Adaptive Projections" MIERUNE社内勉強会 https://mierune.github.io/mierune-log/ Mapbox GL JS デモ https://observablehq.com/@sorami/adaptive-projections-mapbox-gl-js-v2-6

特定の色を透明にする背景の透過表示や、複数の画像を1つのファイルに収めてのアニメーション表示、ファイルの読み込みが進むにつれて画像を表示する「インターレース表示」といった機能を備えた画像ファイルフォーマットとして知られる「GIF」の設計に携わったコンピューター科学者のスティーブ・ウィルハイト氏が、2022年3月14日、新型コロナウイルス感染症(COVID-19)のため亡くなりました。74歳でした。 Stephen E. Wilhite Obituary - Visitation & Funeral Information https://www.megiefuneralhome.com/obituaries/Stephen-E.-Wilhite?obId=24311617 Stephen Wilhite, creator of the GIF, has died - The Verge h

Wilhite after winning a Webby Lifetime Achievement award. Photo by Stephen Lovekin/Getty Images for The Webby Awards Stephen Wilhite, one of the lead inventors of the GIF, died last week from COVID at the age of 74, according to his wife, Kathaleen, who spoke to The Verge. He was surrounded by family when he passed. His obituary page notes that “even with all his accomplishments, he remained a ver

Pythonの文字列やバイト列に対するハッシュアルゴリズムは、HashDoS対策としてPython 3.4から SipHash24が使われていました。 その後、ラウンド数を減らしたSipHash13でも十分に安全だとして2015年にRustが、2016年にRubyが、SipHash24からSipHash13への切り替えを行いました。 https://github.com/rust-lang/rust/issues/29754 https://bugs.ruby-lang.org/issues/13017 Python でもSipHash13に切り替えようという提案を2017年に行っていたのですが、実装した人がなかなかプルリクエストを作ってくれず、またPythonは文字列がimmutableでハッシュ値をキャッシュしているためにそこまで大きなインパクトがなかったこともあり、ずっと放置されてい

このページは、「最高にエッチな画像」をNFTアートとしてオークションに出品したことを告知するためのものです。 オークション会場はこちらです。 ◆　　　　　◆　　　　　◆ こんにちは。 群青ちきんと申します。 早速ですがこちらは何の関係もないあざらしさんです。 タッチして可愛がってあげてください。 さて本題に入りますが、みなさんはNFTというものをご存じでしょうか？ 私は最近まで新しい電話回線会社かと思っていました。 NFTとは、簡単に言うと「デジタルデータを唯一無二のものとして証明したやつ」のことです。 これまでのデジタルデータは、コピー＆ペーストによって容易に複製が可能でした。 それをブロックチェーンとかの技術を使って、「こいつが正真正銘のオリジナルだぜ！！！」と客観的に証明したものがNFTです。 今これを読んでいらっしゃる方はみなさん賢めのゴリラだと思われますが、ご安心ください。 ゴリ

はてなブックマークでは、近日中に、人気コメント算出のアルゴリズム改善を予定しています。 従来は、コメントに対しつけられたはてなスターの数をもとに人気コメントを算出しておりましたが、今後は、スター数に加えて複数の要素を基準として算出するよう改善します。 リリースの際には、あらためて本開発ブログにて告知いたします。 はてなブックマークでは「より豊かで多様な価値観が集まるプラットフォーム」を目指し、直近では、はてなスターの表示方法を変更するテスト施策を行うなど、継続的な改善施策を行っています。 【追記あり】ブラウザ版の「世の中」カテゴリーで、はてなスターの表示方法を変更するテスト施策を始めました - はてなブックマーク開発ブログ 本改善も、コメント表示改善の一環となるものです。今後もアルゴリズム改善をすすめ、多様なコメントが表示されるよう取り組みます。 はてなスターをつけ、コメントページに誘導す

全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

仮想通貨Bitcoinを手に入れるためには、Bitcoinネットワークにコンピューターを接続し、マイニングという膨大な計算を行わなければなりません。もしこの計算を手作業でやると、いったいどのような感じなのでしょうか？ 「マイニング」はある数値をSHA-256というアルゴリズムで変換した際に「複数のゼロから始まる特殊な数値（ハッシュ値）」になるかどうかを調べる作業です。このハッシュ値を総当りで計算し「当たり」を引いた人はBitcoinを得ることができます。 SHA-256というアルゴリズムの中身自体は公開されているのだから、ハッシュ値から元の数値を逆算できるのでは……と思うのですが、実はその方法は未だ見つかっていません。このため、今の所総当りで変換していくしかハッシュ値を見つける方法はありません。そして計算自体は非常に単純なものなので、こうして手作業で行うことも可能です。 動画はこちらから。

【 概要 】 任意のHash（64桁）の入力値に対し、sha256の逆変換を10秒以内で求めるプログラムを作成して下さい。 例１： b924ed427f4540e17a6c669982bf2373f2974f6733b7a737a08a6c49b0f70b81　　　＜＝＝入力値 （逆変換）↓　　↑　(Sha256) eb6019e16fc6169662a87df672554ea74365bca49bae3f76200e33622c3f0335　　　＜＝＝求めてほしいもの 例２： a591ad4729bbc33bfbe6744e14f8b3cc22b6355017e1c6de78da485f4746558b ＜＝＝入力値 （逆変換）↓　　↑　(Sha256) d65d227bc16c51187dac65517675b13d8feb9467cd7b993543ad4509b6e7d454 ＜＝

Slack、1月の大規模障害の原因を説明。「AWS Transit Gateway」がトラフィックの急上昇に対応できず、AWSはアルゴリズムを見直すと AWSのネットワーク基盤の一部が飽和していた 1月4日、サービス内部のエラー率上昇によって始まったSlackの障害は、太平洋標準時の午前6時ごろからはSlackのWeb層の負荷が高まり、パケットロスを発生しはじめるなど徐々に深刻化。7時頃にはついにサービス停止にまで発展してしまいます。 負荷の解消のためにWeb層をスケールアウトさせるなどの対処を行い、なんとかサービスが復旧し始めたころに、AWSから障害の引き金となった現象についての報告が次のようになされたとのこと。 「Slack’s Outage on January 4th 2021」から引用します。 By the time Slack had recovered, engineers

Computer Science / Algorithm 検索エンジンの数値インデックスを支える Bkd-Tree Elasticsearchの数値データインデックスに使われるBkd-Treeというアルゴリズムを論文を読みながらまとめました。 Overview こんにちは pon です。Elasticsearch & Lucene 輪読会を弊社で毎週開催しているのですが、そこでBkd-Treeというアルゴリズムに行き着きました。そこでBkd-Treeの論文を読んでみたので、まとめたものを共有しようと思います。 論文はこちら Bkd-Tree: A Dynamic Scalable kd-Tree LuceneでのBkd-Tree Bkd-TreeはLucene6から導入されたようで下記のようにスペース効率、パフォーマンスが大幅に改善されたようです。 以下こちらのElasticsearch公

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます リモートからサーバーの接続および管理を行うユーティリティーとして人気の高い「OpenSSH」が「OpenSSH 8.3」をリリースしている。SHA-1認証スキームを将来的に非推奨とする計画のようだ。 当時、SHA-1の衝突を生成するには、膨大な計算コストが必要だと考えられていた。このためGoogleの専門家らは、コストが下がるまで、少なくとも数年はSHA-1を実際に使用される可能性があるとみていたようだ。 しかしその後、2020年1月に発表された調査で、最新の手法を用いると、SHA-1に対する「chosen-prefix」衝突攻撃のコストを5万ドル以下に下げられることが判明した。 国家の支援を受けた攻撃者や、高度な攻撃を仕掛けるサイバー