※この投稿について 前半でIPレピュテーションとは何か？という説明をしていますので、未読の方は一読することをお勧めします。 メールというインターネットの闇とIPレピュテーション（だけど重要）(前編) https://qiita.com/nfujita55a/items/5848fcfbbe6cbf7d98c3 この後半では、IPレピュテーションをよくしてメールを滞りなく送りたいときの光要素と闇要素を、光→闇の順に書いています。 メールを円滑に送るためIPレピュテーションを高めたい、何ができるの（光要素） まずは、IPレピュテーションを含めて、メール送信を円滑に行うためにすることが大別して3つくらいあると思います。 送信ドメイン認証する いわゆるSPFやDKIMです（最近はこれにDMARCが加わる）。SPFなら送信側が「DNSを使ってこのEnvelope-FromのメールはこのIPアドレス帯

と、この例では3回の通信がなされます。1が終わったら 2、2が終わったら 3とバケツリレーされます。 ※3の後に、メールボックスにあるメールをWebで見たりPOP3などでメーラーがメールを取得したりする このSMTPを使用したメールのバケツリレーの様相は、ブラウザとWebサーバーが End to End なHTTP(S)と大きく異なります（HTTPにもプロキシはあって通信が多段になることはありますが、バケツリレーではない）。 「IPレピュテーション」という概念は、上の表の2の通信、インターネット越しに送る側と受け取る側がSMTP通信するところに係わります。 レピュテーション=評価、です。メールにおけるIPレピュテーションとは、受け取る側の送る側の送信元IPアドレスに対する評価 です。この評価によって、受け取る側のメールサーバーは メールを速やかに受け取り受信者の受信箱に配送する メールを受

メールの世界にGmailさんが新たな闇を投入 (インターネットの)メール受信・送信は闇あふれる世界だと思うのですが(*1)、そこに 2023年10月7日、新たな闇要素をGmailさんが投げ込んでくれました。（正しくは2023/12月頭現在、闇がモリモリ増えてる。補足①②参照） (*2 最下部キャプチャあり) えーと、「1日あたり 5,000 件を超えるメールを送信する送信者」はこの事項を守ってね……とあります。要件と書いてあり、2024/2/1から実施と急なうえに、項目が SPFとDKIMの設定 逆引き 迷惑メール率 メール形式 Gmail の From: ヘッダーのなりすまし ARC DMARC ダイレクトメールの場合(……なんとかかんとか) 登録解除 と9個もある。 何これ……？と様々な人を戸惑わせています。 インターネットにつながっているそこそこの規模の組織は、1日あたり 5,000

PostgreSQLのパーティショニング機能には、パーティション数が多いほど親パーティションに対するクエリのプラン生成時間が長くなる問題がある。これは、PostgreSQL10のネイティブ・パーティショニング機能でも従来のパーティショニング機能でも同様である。 今回は以下5パターンにおけるクエリのプラン生成時間を比較して、パーティション数が多いほどプラン生成時間が長くなることを確認する。 パーティション分割しない 10パーティションに分割 100パーティションに分割 500パーティションに分割 1000パーティションに分割 PostgreSQL10のネイティブ・パーティショニングの場合 -- 指定の数だけ分割されたパーティションを作成する関数を登録する CREATE OR REPLACE FUNCTION create_partition_native ( parent TEXT, num

技術評論社は5月1日、技術情報誌「WEB+DB PRESS」について、2023年8月発売の「Vol.136」をもって休刊すると発表した。 WEB+DB PRESSは2000年に刊行されたWebアプリケーション向けプログラミング技術情報誌。休刊の理由として「物価上昇による製作費の高騰など諸般の事情」と説明。「22年以上の長きにわたり、絶大なご支援をいただきましたことを、厚く御礼申し上げます」としている。 同誌が扱っていた分野のコンテンツについては、今後も技術評論社が刊行する「Software Design」や「gihyo.jp」、書籍などで提供していく。また、今回の休刊は隔月刊誌としてであり、必要な場合には「特別号」の編集・刊行なども検討していくという。 関連記事 「日本カメラ」休刊　会社も解散、73年の歴史に幕 日本カメラ社（東京都中央区）は4月15日、月刊のカメラ雑誌「日本カメラ」を20

自己紹介と後半のアジェンダ 尾野健氏：ここからはスピーカーが代わります。尾野健と言います。Data Engineering1 teamに所属していて、LINEには2019年に入社しました。現在はインジェスチョンパイプラインを開発中です。 後半のアジェンダです。現在のログパイプラインの概要、そのログパイプラインが抱える問題、その問題がIceberg導入によってどのように解決されるか。そしてFlink Iceberg applicationの詳細、最後にプロジェクトの今後の進め方を説明します。 ログパイプラインの概要 それでは現在のログパイプラインの概要です。（スライドを指して）この図は、現在のログパイプラインの最初の段階を示しています。もともとはシンプルなアーキテクチャでした。Kafka、Flink、HDFS上のHive tableという構成で、テーブルはAppend Onlyです。 ユーザ

2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで齋藤氏と尾野氏が「LINEデータプラットフォームにおけるApache Icebergの導入」というテーマで、データ処理とデータのインジェスチョンパイプラインについて紹介しました。まずはLINEで実施しているデータ処理について。 自己紹介と発表前半のアジェンダ 齋藤智之氏：LINE Data Platform室の齋藤智之です。現在私は、データプラットフォーム開発組織のシニアソフトウェアエンジニアとして、研究開発や開発プロジェクトのリードをしています。今日の発表では、データプラットフォームを開発運用する中で直面してきた課題と、その解決に向けた取り組みの一部を紹介しようと思います。 発表は前半と後半の2部に分かれて

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。データ統括本部でYahoo!広告のデータエンジニアをしている江島です。 本記事では、Yahoo!広告のデータ分析環境であるデータレイク上のデータを、Apache Hudi を用いてレコード単位で削除可能にした事例を紹介します。 Yahoo!広告のデータ分析環境 Yahoo!広告における データマーケティングソリューション では、ヤフーの持つ圧倒的な量と質のデータを活用し、消費者理解や広告効果分析を目的としたさまざまな商品を提供しています。 これらの商品を提供するための裏側には広告に関する膨大なログや多種多様なサービスのログを使ってデータ分析や機械学習を行うためのデータ基盤が必要です。データマーケティングソリューションで

jq コマンドとは http://stedolan.github.io/jq/ JSONから簡単に値を抜き出したり、集計したり、整形して表示したりできるJSON用のgrepとかawkみたいなコマンドです。 WebサービスがJSONを吐いたり、AWS CLIが JSON を吐いたりする現代社会で大変便利なコマンドです。 マニュアル だいたいここ読めばOK. http://stedolan.github.io/jq/manual/ あ、これで、終わってしまう。だけど気にせず進めます。 簡単な例 まず、空気をつかみましょう。 以下jqコマンドの記法を見ていきます。JSON { "hoge": "value" } があった場合、 . がルート {} を表します。.hoge で "value" を表現します。だいたいこんな感じです。 ただの整形 しばらく下記のJSONを例に進めます。itemsには配

{ "total_count": 3, "items": [ { "id": 111, "name": "aaa", "owner": { "id": 1111111, "type": "Organization" }, "size": 10 }, { "id": 222, "name": "bbb", "owner": { "id": 2222222, "type": "User" }, "size": 30 }, { "id": 333, "name": "ccc", "owner": { "id": 3333333, "type": "Organization" }, "size": 25 } ] }

The database that can be consumed as open source software or as a variety of database-as-a-service offerings

・プルアップ、プルダウンをつける理由 ・プルアップ、プルダウンの原理と効果 ・抵抗値の決め方、計算方法（ケース別） デジタル回路に必ず出てくるプルアップ抵抗ですが、 その抵抗値は回路によって様々です。 時には、数百Ω程度の小抵抗も使用され、 どうして、その値にしたのか疑問に思うかもしれません。 また、プルダウン抵抗においては、デジタルICだけでなく、 トランジスタやFETでも、多く使われています。 本記事では、 プルアップ・プルダウンを付ける事による効果と、 抵抗値の計算方法について、ケース別に解説します。 プルアップ・プルダウン抵抗をつける理由 ＜プルアップ抵抗をつける理由＞ ・入力信号が無い時にHレベルに固定させたい場合 外部機器からの信号を入力する回路において、 コネクタに何も接続されていない場合、ICへの入力が不安定にならないように プルアップ抵抗を接続して、Hレベル電圧に固定させ

ハイサイドスイッチとは、電源と負荷の間に入れるスイッチ素子(MOSFET)のことです。 電源のオン/オフや、負荷への電流供給/切断を制御する役割を持ちます。 逆に、ローサイドスイッチは負荷とGNDの間に挿入するスイッチ素子です。 ハイサイドスイッチ回路 ハイサイドスイッチは、基本的にはPch MOSFETを使って構成します。 Nchの場合、ゲートに入力電圧(VIN)＋ゲートしきい値電圧(VTH)を印加する必要があり、入力電圧より高い電圧が必要になりますが、Pchをオンさせる場合はVINーVTHと、入力電圧より低い電圧で済むためです。 ※後述しますが、昇圧回路を使ってゲート電圧をVIN以上に持ち上げることでNch MOSFETを使うことができるハイサイドスイッチICもあります。 下記のような使用条件の場合、ハイサイドスイッチを駆動するためのコントローラIC（ドライバIC）が必要になる場合があ

電子工作に携わっている方々なら、MOSFETの名前を一度は耳にしたことがあるでしょう。 それくらい、電子機器には欠かせない素子となっています。 MOSFETは電界効果トランジスタ(FET)に金属酸化膜半導体(MOS)を組み合わせた言葉であるように、トランジスタの一種です。 基本動作はオンオフのスイッチングや増幅ですが、従来親しまれてきたバイポーラトランジスタと比べて様々な利点を有しており、パワーエレクトロニクス分野に始まりセンサまで、ありとあらゆるシーンで活躍してきました。 そんなMOSFETですが、どのようなものか実はご存知ない方もいらっしゃるかもしれません。 そこでこの記事では、MOSFETとはどのような素子か。その用途や選び方について解説いたします。 1. MOSFETとは？ 冒頭でもご紹介したように、MOSFETはトランジスタの一種です。 トランジスタは1948年に発明され、あらゆ

🎌 Holidays JP API 日本の国民の祝日の一覧を、JSON形式もしくはCSV形式で返すAPIです。 データは Google が用意している Googleカレンダーの情報から自動で生成しています。 去年・今年・来年のデータが取得可能です。 祝日一覧API (date) URL https://holidays-jp.github.io/api/v1/date.json 返却例 { "2017-01-01": "元日", "2017-01-02": "元日 振替休日", "2017-01-09": "成人の日" } 日付をキーに、祝日名が入ったオブジェクトを返します。 CSV形式 URL末尾の拡張子部分を csv にすることで、CSV形式で返します(全API共通)。 https://holidays-jp.github.io/api/v1/date.csv 返却例 2017-01

PostgreSQL Advent Calendar 2019の14日目です。 PG-Stromの開発をやってると、しばしば聞かれるのが 『マルチノードの並列処理って対応してるんですか？』 という質問。 まぁ、『対応しておりませんし、対応する予定もございません』という回答になるんですが、別にこれはウチのやる気の問題ではなく、PG-StromはPostgreSQLの拡張モジュールとして設計されているため、並列分散処理に関しては他のメカニズムに任せてしまえばよい、というだけの話である。 そこで、今回は同じくPostgreSQLの拡張モジュールとして実装されているスケールアウト機能の Citus と、PG-Stromを組み合わせてちゃんと動作するんですよという事を検証してみる事にする。 Citusとは? PostgreSQLにデータ分散と並列処理機構を付加する拡張モジュールで、PostgreSQ