2月13日、karpathy氏が「microgpt · GitHub」と題したGistを公開した。 このコードは、GPTの動作原理を外部ライブラリに頼らずPythonのみで記述した、最小構成の実装となっており、その読みやすさと理解のしやすさから注目を集めている。 以下に、これからこのソースコードを読み解こうとする方に向けて、GPTがどのように動き学習するのか、その大まかな流れと主要な概念を解説する。 コードリーディング・ガイド：microgptを読み解く 本プログラムは、大きく分けて「微分の自動化」「情報の変換」「予測と修正」の3つのパートで構成されている。 1. 「学習」を支える自動微分（Valueクラス） ニューラルネットワークが学習するためには、予測の誤りを数値化し、それを元に各パラメータをどの程度調整すべきかを計算する必要がある。本実装の冒頭に登場する Value クラスは、この「

みなさん、marimoってご存じですか？ 最近marimoを触ってみたんですが、これが思った以上に便利でびっくりしました。 このツールだけで完結できる場面が多くて、しかもUIがリアルタイムに反応してくれるので、作っていてすごく楽しいんです🎶 驚くほど簡単で直感的に使えますし、「試してみたい！」と気持ちがどんどん湧いてきました。 というわけで、この記事ではそんなmarimoの魅力や、基本的な使い方について紹介していきたいと思います。 ちょっとでも「面白そう」と思ってもらえたら嬉しいです。 はじめに Pythonでデータ分析や機械学習をするとき、まず思い浮かぶのが Jupyter Notebook という人も多いんじゃないでしょうか。 定番ツールとして長く使われてきたJupyterですが、実際に使ってみると「セルの実行順がバラバラになって混乱する」「どこで何が定義されてるか分かりづらい」「G

はじめに こんにちは。PyCon JP 2025広報チームの重見です。9月26日から28日にかけて広島国際会議場で開催された「PyCon JP 2025」の開催後レポートをお届けします。 この記事では、3名の主催メンバーそれぞれの視点から、PyCon JP 2025の様子をお伝えします。参加した方はもちろん、参加できなかった方も、この記事を読んでイベントの雰囲気を感じていただければ幸いです。 キーノート 1日目と2日目のキーノートについて、会場チームの森藤がご紹介します。 キーノート1日目⁠：Behind the scenes of FastAPI and friends for developers and builders ―Sebastián Ramírez 1日目の基調講演には、FastAPIの作者であるSebastián Ramírez（セバスティアン・ラミレス）氏が登壇しました

機械学習を行う上で、GPUによる計算誤差が問題となる場合があります。 CPUとGPUで学習または推論を行った場合に結果に差が出る GPUの型番やソフトウェアの環境（ドライバやCUDA等）が異なる場合に差が出る 同じ計算を繰り返し行った場合に差が出る など、環境間や繰り返しの再現性が確保できないといったことが起こります。 この記事ではNVIDIA製GPU（CUDA）とPyTorch環境におけるそれらの原因と対策についてまとめます。 浮動小数点計算の誤差 前提として、コンピュータで浮動小数点の計算を行う場合、CPU、GPU問わず誤差が生じるため、ニューラルネットワークのあらゆる箇所で誤差を生じる可能性があります。 原理を詳しく述べることはしませんが、そもそも一般的に使われる浮動小数点型の32bitや64bitという限られた情報量で実数を表す精度には限界があることが1つの原因です。 詳しい誤差の

Webスクレイピングとは、インターネットからデータを機械的に集め、必要な情報を抽出する技術のことです。2019年の第2版発刊から約5年が経過し、生成AIの台頭で情報を得る方法も大きく変わりましたが、本当に欲しい情報を正しくピンポイントで得るためには、依然としてWebスクレイピングについての知識とスキルが必要です。本書では、インターネット上の膨大な情報の中から、生成AIや検索エンジンだけでは集められない本当に必要な正しい情報を入手する方法を、基礎からていねいに解説し、データの抽出、格納、収集後のクリーニング、さらにはJavaScriptの実行、OCRを含めた自然言語処理、並列処理などの高度なトピックもカバー。プログラミングテクニックとテクノロジー全般だけでなく、法律面の解説も加え、問題に遭遇した際の対処法まで紹介します。 はじめに Ⅰ部　スクレイパーの作成 1章　インターネットの仕組み 1.

Dungeon Antiquaというゲームを2024/10/10にSteamでリリースしまして、その後も不具合修正や要望の多かった機能の追加などアップデートを重ねていたのですが、あるタイミングでのアップデートにより突然ゲームがウイルス検知されるという事案が発生し、そこから地獄を見ました。 もしかして今後同じ目に遭う人がいるかもしれないので、体験記としてまとめておきます。 問題発生〜暫定対応まで12/6アップデート以降、ウイルス検知発生のXのポストなどを見かけるようになる。調べるとPyInstallerでexe化したファイルにはありがちなことらしい（詳しくは次項）。とりあえず連絡が取れた方にウイルス検知からの除外設定を個別にお願いしたり、Steamにお知らせを掲示したりした。 12/11早朝、Steamサポートから「あなたのゲームがウイルスであるという報告が複数寄せられたため、販売を停止した

この記事は 2024 TSG Advent Calendar 3日目の記事です。昨日の記事は @__dAi00 さんの記事 AivisSpeechを使ったDiscordボットの作成　①AivisSpeechをGoogle Cloud Runにデプロイする でした。12/5 公開予定の続編も楽しみです。 今回は、初日に公開した以下の記事の副産物です。 import unicodedata # Python 3.12 まで 1000000000000.0 # Python 3.13 から 1000000.0 print(unicodedata.numeric("兆")) 大変だ。Python 3.13 から「5000 兆円」が 50 億円になってしまう（？） unicodedata.numeric メソッドと Unicode 例によって Unicode が関係してきます。前編でも触れたとおり、

この記事は 2024 TSG Advent Calendar 初日の記事です。 …………🤔❓ Python の数値文字列判定ロジックを探る str.isnumeric() メソッドとは？ Python の str.isnumeric() メソッドは、文字列内のすべての文字が数値を表すものであれば True を、そうでなければ False を返します。*1 まず、このメソッドの基本的な動作を見てみましょう。 # Python の isnumeric() の動作例 print("123".isnumeric()) # True; 1, 2, 3 は数字 print("123a".isnumeric()) # False; a は数字ではない print("五千万".isnumeric()) # True; 五、千、万 は数値 漢数字にも対応しており、一見よさそうに見えます。ところが…… pr

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Pyxel作者です。Qiita初投稿です。よろしくお願いします。 皆様、Python向けレトロゲームエンジンPyxelのご愛顧ありがとうございます。 「気軽に楽しくゲームプログラミング」をコンセプトに、2018年にGitHubで公開を始めたPyxelも、おかげさまで現在16,000スター、ダウンロード数は110万を超えることができました。 4億を超えるGitHubプロジェクトの中で、Python向けゲーム開発環境としてはダントツの1位（2位は7.5kスターのPygame）、全言語合わせたゲームエンジンの中でも8位にランクインしており、7

概要 本文章は、一般社団法人PyCon JP Associationが主催したPyCon APAC 2023の開催に際し、そのプロポーザル選考過程において行われていた不正行為の告発を目的とするものです。 本文章が対象とする読者は技術者、及び、公衆です。技術者は技術『愛好家』との付き合い方について一考をするべきであり、公衆は「専門家ではないにも関わらず技術の専門家のフリをする不正な愛好家」に対して無自覚であるべきではない、という警鐘を鳴らすため、並びに、一般社団法人PyCon JP Associationの公衆に対する不正を告発するため、本文章を公開します。 本文章は、Qiitaが目指す、学びのある情報を技術者に共有することで、よりよい技術者コミュニティの形成を目指す内容であるため、Qiitaのガイドラインに沿った形式でQiita.com上で公開します。 告発する内容 PyCon APAC

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 2024.9.7：Anvilについて追記しました。 2024.8.6：FastHTMLについて追記しました。 ※本記事で言及しているReflexのdiscordサーバー内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございま

この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング（Structural Pattern Matching⁠）⁠」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能：構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に

はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 業務自動化といえばRPAとかPython等が良く使われるが、これらは基本的に判断が多い複雑な業務の自動化には向かず、やったとしても自動実行→手作業→自動実行→手作業…と言ったように人の判断が居るところで業務プロセスが分断されてしまうのが悩みどころ。 そこで「GUI上で自動実行前に手作業」＋「バックグランドで自動実行」と両方の機能を持ち、業務を分断する事なく作業できるアプリを作ろうと考えた。 結論から言うと「Flet」を採用した。以下経緯説明。 お手軽なGUIライブラリを探す旅 Pythonはデスクトップアプリ開発には不向き？

イントロChatGPTやBing、NotionAIなどの大規模自然言語モデル(LLM)を活用したサービスが注目を集めています。対話、要約、翻訳、アイデア生成などの多様なタスクにおいて、とても性能が高いです。ただ、ChatGPTでは、ときどき嘘が混じっていたり、文献が捏造されたりすることがあります。 ChatGPTとの対話画面（結果の書籍は存在しない）それを防ぐために、BingやPerplexityでは、文献を引用した上で、なるべく嘘が紛れ込まない形で回答してくれます。 Perplexityでは引用もつけてくれるしかし、これらのAIは、Web上の公開されている一部のデータを元に学習しているので、公開されてないデータに対しては当然ながら、正しく回答できません。 そこで、この記事では、自社が保有しているデータをChatGPTに組み込んで、自社オリジナルのPerplexityのようなシステムを作る

はじめに データサイエンスで誰もがまず間違いなく扱うであろうテーブルデータ。pandasや最近ではpolarsを使って解析・可視化する人も多いでしょう。一方で、データサイズがそれほど大きくないときは、インタラクティブに編集・プロットしたり、セルの中でちゃちゃっと平均とかを計算できるExcelの方が便利な場合が多いです。 pandasGUIというものもあるのですが、かなり操作性が悪いし、開発もそんなホットではないですね... テーブルデータをExcelみたくいじりながら、いつでもDataFrameでデータを回収してPythonで解析できるソフトがあったらいいなあと思ったので、tabulousというのを作りました。この記事ではこれを簡単に紹介したいと思います。 名前はtabularとfabulousを掛けたものです。GUIはQtで作っています。 なお、詳しいドキュメント（英語）はこちらにありま

便利なChatGPT いまさら言うまでもないことですが、ChatGPTはめちゃくちゃ便利です。特に日本語の文章、英語の文章、コードの校正に無類の強さを発揮します。私は学生時代は国語が得意だったのですが、ChatGPTは、私の国語力を大幅に凌駕していると思います。というかChatGPTは職業で日本語を書いている人をのぞくと、ほとんどの日本人よりも日本語が上手なんじゃないかと思います。 ChatGPTに校正してもらった日本語の差分が見たい さて、ChatGPTに文章校正をしてもらいましょう。 さきほどの文章をChatGPTを使って校正してもらいます。 違いがわかりますでしょうか？ ChatGPTに修正してもらっても、パッと見て、どこが修正されたか、すぐにはわからないケースが多いと思います。日本語は、まだ比較的違いを把握しやすいですが、英文やコードでこれをやるときに、目視でdiffすると見逃しま