Parquetは便利なファイル形式で、列志向のフォーマットとしてはデファクトの1つと言っても過言ではないでしょう。 ですが、jsonやcsvとは違い、ファイルを見ただけでどんな構造かわかるものではありません。 この記事は、Parquetの具体的な構造について記述します。 はじめに この投稿は、Parquetの構造について、バイナリを見ながら確認するものです。 ただし、Parquetの大枠に注目した投稿なので、delta encodingやrun-lengthなど、個別の圧縮方法については取り扱いません。 ※ Parquetの作成には https://github.com/parquet-go/parquet-go を使用していますが、goの知識は必要ありません tldr Parquetは以下の構造を持っています。 ファイルはRowGroupとメタデータに分かれている RowGroupの中に

概要 本文章は、一般社団法人PyCon JP Associationが主催したPyCon APAC 2023の開催に際し、そのプロポーザル選考過程において行われていた不正行為の告発を目的とするものです。 本文章が対象とする読者は技術者、及び、公衆です。技術者は技術『愛好家』との付き合い方について一考をするべきであり、公衆は「専門家ではないにも関わらず技術の専門家のフリをする不正な愛好家」に対して無自覚であるべきではない、という警鐘を鳴らすため、並びに、一般社団法人PyCon JP Associationの公衆に対する不正を告発するため、本文章を公開します。 本文章は、Qiitaが目指す、学びのある情報を技術者に共有することで、よりよい技術者コミュニティの形成を目指す内容であるため、Qiitaのガイドラインに沿った形式でQiita.com上で公開します。 告発する内容 PyCon APAC

Django 開発の最新トレンドを知りたいですか？ PyCharm は Django Foundation と連携して世界中 4,000 人以上の Django 開発者を調査し、その回答を基にフレームワークの使用に関するトレンドを解析しました。 このブログ記事では、次のような主な結果をご紹介します。 Django 開発者の 3 人に 1 人が Flask または FastAPI も使用している。 ほとんどの開発者がフルスタック開発と API 開発の両方に Django を使用している。 Django 開発者の 61% が非同期テクノロジーを使用している。 その他にも多くのインサイトがあります！ これらの結果を詳しく確認し、インフォグラフィックによる図説も利用しながら Django 開発のその他のトレンドを発見しましょう。 バックエンド: Django 開発者 3 人に 1 人が Flask

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

【追記】この記事をきっかけに、名著「ノンデザイナーズ・デザインブック」の20周年記念特典eBookの制作に協力させていただきました。詳しくはこちらを御覧ください。 ノンデザイナーズ・デザインブック20周年記念の特典に寄稿しました デザイナーである・なしに関わらず、仕事の中で伝えたいことを「図」で説明する機会は多々あります。提案書で事業内容を説明することもあるでしょうし、具体的な数値をグラフで説明することもあるでしょう。そんな中でこんな指摘を受けたことはありませんか？ ・最終的に何を言いたいのか結論が見えないよ。 ・関係性が複雑すぎて理解しずらいんだけど。 ・要素が多すぎて全てを把握するのが大変。 ・何をどこから見れば良いの？ ・結局一番言いたいことはなんなの？ ・文字サイズがたくさんありすぎてまとまりがないね。 ・安っぽいチラシみたいでダサイなぁ。 ・全体的にバランスが偏ってて不安定。 ・

困っていること 夜間のアクセスが少ない時間帯などにインスタンスタイプを変更したいと考えています。 そのため、自動でインスタンスタイプ変更する方法を教えてください。 どう対応すればいいの? 方法は複数ございますが、EventBridge + SSM Automation runbook AWS-ResizeInstance で実現可能です。 やってみた 今回は SSM のマネージドノードにする方法は割愛させて頂きます。 EventBridge で SSM Automation runbook AWS-ResizeInstance を実行するために必要なロールを作成します。 ロール名は SSMAutomationResizeInstance-EventBridge-Role としました。 信頼関係 { "Version": "2012-10-17", "Statement": [ { "Eff

旧知の仲である数学者 齋藤 耕太 氏（筑波大学、学振PD）が、昨日数学の未解決問題を解決したとするプレプリントをプリプリントサーバーarXivに投稿されました： arxiv.org 論文自体は「現状分かるところまで研究しつくす」という素晴らしい態度で執筆されているので主定理の記述は十行ありますが、その特別な場合をとり出した ミルズの定数は無理数である という定理（これは論文のタイトルにもなっています）が、ある程度長い期間未解決であったと思われる数学上の問題の解決を意味しています。 無理数性の証明はかっこいい 実数という数学的対象は有理数と無理数に分けられます。有理数は などのように という表示を持つ実数であり（ここでは自然数は正の整数を意味するものとします）、有理数ではない実数のことを無理数といいます。 高校数学でも証明込みで学ぶことと思いますが、無理数の典型例としては があげられます。こ

モニクル社内3分LTで発表しました。技術職以外の人向けに話したので、抽象度高めにしてあります。

今のLLMを取り巻く状況について紹介します。

Web アクセシビリティに興味があったので、まず機械的なチェックツールから学んで知識を増やそうということでこのサイトに @axe-core/playwright と markuplint を導入してみました。 @axe-core/playwright のセットアップ 既に Playwright が導入されている状況を想定し進めます。まず@axe-core/playwright をインストールします。 pnpm add -D @axe-core/playwright このサイトの場合 VRT として Playwright を動かしているテストがあるので(過去資料)、そのプロセスに同居する形で axe を実行することにしました。 e2e.test.tsimport AxeBuilder from "@axe-core/playwright"; import type { Page, TestI

PHPカンファレンス関西2024での発表資料です https://fortee.jp/phpcon-kansai2024/proposal/42712995-5f3e-4c68-a951-39584eac95a1

RISC-Vも一段落したところで、さて次に何をやろうかと編集氏と話あっていた時に出たお題が「あとやってないのは消えていったインターフェースですかね。IDEとかSCSIとかRS-232Cとか」。うん、まぁそれはアリだな、なんて思いながら仕事をしていた時に、いろいろ筆者にお題を下さることで定評のある(?)岩崎啓眞氏が「RS-232Cだった時代を知らない人たちの方が圧倒的に多い」なんて事をPostされてて、これはちょうど手頃なお題ではないか、と確信した次第。 そうか…どんなPCでもたいていあった（もしくは準備可能だった）インターフェースがセントロとRS-232-Cだった時代を知らない人たちの方が圧倒的に多いわけだよなあｗ — 岩崎啓眞@スマホゲーム屋＋α (@snapwith) February 3, 2024 ということで、「昔のPCにはあったのに、もう今はどこに行ってしまったやら」というI/

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 この記事は、ブログリレー『Google CloudのAI/MLとかなんとか』の３本目の記事になります。 今回は、Vertex AIからGoogleの次世代のASR（自動音声認識）モデル「Chirp」を使ってみたいと思います。 Chirpについて 以下に詳しい説明があります。 Chirp: Universal speech model  |  Cloud Speech-to-Text V2 documentation  |  Google Cloud ChirpはGoogleの次世代音声認識モデルで、現在の音声モデルとは異なるアーキテクチャで学習させたモデルとなっているようです。 Google CloudではCloud Speech-to-Text V2における一つのモデルとして使用できます。その他

v0とは v0は自然言語で作りたいUIをAIに指示するとそのUIをTailwind (shadcn/ui)ベースで作ってくれるサービスです。 shadcn/uiとは shadcn/uiはRadix UIというUIをもたないヘッドレスUIに対してスタイルを当てたコンポーネント集で、TailwindというCSSライブラリを使ってRadix UIに対してスタイルを当てています。 shadcn/ui本体のライブラリがあるわけではなく、自身のプロジェクトにコンポーネントを直接コピーして使うことが特徴です！ Tailwindが好きな人にはたまらないコンポーネント集ですね！ shadcn/uiに最適に作られていますが、Tailwindユーザーであれば作られたUIをほぼそのまま使うことができます。 下の画像のようなチャット風のUIが特徴なサービスになっていて、このチャットに指示を出すことでUIを作ってくれ

こんにちは。ソーシャル経済メディア NewsPicksのSREチームで仕事をしている安藤です。 NewsPicks Advent Calendar 2023 の1日目ということで、日常の業務風景から軽いコスト最適化TIPSをご紹介します。 qiita.com AWSコストを最適化したいよぉ〜 NewsPicksはおかげさまでサービス10周年を迎え、ユーザー数も事業も伸びておりますが、 事業の成長やエンジニア組織の拡大に比例してAWSコストが増え、円安でさらに日本円での負担が増え、となると事業の利益率にも少なからず影響がでます。 私が所属するSREチームでは、「売上に対するAWSコストの割合は、規模が拡大するほど減っていくべき」という考えを持っており、 積極的にAWSサービスの使い方を見直して毎年コストを削っていくつもりで仕事をしています。 AWSが提唱するCloud Financial M

はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A

- はじめに - 最近、PythonのパッケージインストーラーであるpipをRustで書き直したripというツールが公開された。 github.com ripのREADME.mdには、flaskを題材に依存解決とインストールが1秒で終わるようなgifが貼られている。 この速さは一体どこから来ているのか調べた。 - はじめに - - 宣伝 - - ripの成り立ち - Anaconda mamba-org prefix.dev - condaがinstallで行うこと - - mambaでの速度改善 - - ripに応用されたこと - - おわりに - - 宣伝 - 来週開催の技術書典15で「エムスリーテックブック５」が出ます。 私の内容は「自作Python Package Manager入門」で、CLIツールの作り方から始まって40ページでPyPIの仕様やその背景となっている要素を把握しな

サーバーサイドエンジニアの熊木（@k_kumaki_）です。 先日、私が担当しているヤクメドにA/BテストツールとしてAWSのサービスであるCloudWatch Evidentlyを導入したので、その経緯や内容についてまとめます。 目次 目次 CloudWatch Evidentlyとは 導入に至った経緯 導入理由 導入方法 1. プロジェクトの作成 2. 機能の追加 3. アプリ側の対応 よかった点 自分で細かな定義が可能 導入が簡単 終わりに CloudWatch Evidentlyとは AWS上でA/Bテストやフィーチャーフラグの管理ができるサービスです。 比較的新しいサービスのため、馴染みのない方も多いかもしれません。 aws.amazon.com 導入に至った経緯 私が開発しているサービスであるヤクメドでは、UX向上のためA/Bテストを実施しています。 そのA/Bテストツールとし

すごく重要な予定が色々と決まりつつあるので、独断で勝手に？雑に？選んで紹介しておきます。 単なる翻訳というよりは、自分の感想や主観みたいなものが入ってます。 詳細な原文を知りたい人は、以下のあたりを読んでください https://github.com/playframework/playframework/blob/80da98b0352e1d3e7e1ba034ec9c5e4c15e1cb3e/documentation/manual/General.md https://github.com/playframework/playframework/blob/80da98b0352e1d3e7e1ba034ec9c5e4c15e1cb3e/documentation/manual/releases/release29/migration29/Migration29.md https://