はじめに最近、LLMへのRAGを用いた文書データの連携等を目的に海外を中心にOCRや文書画像解析技術に関連する新しいサービスが活発にリリースされています。 しかし、その多くは日本語をメインターゲットに開発されているわけではありません。日本語文書は、英数字に加えて、ひらがな、漢字、記号など数千種類の文字を識別する必要があったり、縦書きなど日本語ドキュメント特有のレイアウトに対処する必要があったりと日本語特有の難しさがあります。 ですが、今後、海外の開発者がこれらの課題に対処するため、日本のドキュメント画像解析に特化したものをリリースする可能性は低く、やはり自国の言語向けのサービスは自国のエンジニアが開発すべきだと筆者は考えています。 もちろん、Azure Document Intelligenceをはじめとした、クラウドサービスのドキュメント解析サービスはありますが、クラウドを利用できないユ

2021年も数多くのプログラミングやPythonを扱った素晴らしい書籍とたくさん出会いました. 私はリアルの本屋さんに行くのがとても好きで（ECの本屋さんも好きですが）, 技術書のコーナーには必ずと言っていいほど足を運ぶのですが, 年々「Python」というラベルが付いた棚の領域が広がっている気がします. プログラミング初心者でPythonからやりたいけど何から読めばいいのか🤔 実務に役立つような参考書籍ってどうやってみつければいいかわからない😇 よりビジネスに役立つ, 実践的な事例をしりたい💪🏻 という, 割とありそうなニーズにお応えすべく, 2022年いや, 今この瞬間に読んでおきたい・抑えておきたいPython関連書籍をまとめました！ 2011年頃からPythonを使って仕事をし始め, 今もエンジニアリングからコンサルティング, マネジメントをやっている私独自の視点で, オス

なぜVS Code? Remote Developmentがよさそう intellisenseによる補完がよさそう そのうちpythonもintellicodeの補完もでるだろう 現在はPython中心でPycharm使っているが他の言語も使う予定 めっちゃ流行っている なぜpipenv? Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ VS Code の installと設定 Windows + Python 3.6 + PipEnv + Visual Studio Code でPython開発環境 - Qiita Visual Studio Codeの使い方、基本の「キ」 (1/6)：特集：Visual Studio Code早分かりガイド - ＠IT VS Code入れる cmd+shift+pでコマンドパレット表示して、shellを入力→ t

※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel

下記の記事を読んだら、今年度のJリーグデータを可視化したくなったので、初歩的なPandas、Matplotlib、Seabornを使って、Jリーグのデータを可視化してみました https://towardsdatascience.com/pandas-in-the-premier-league-78f1d0c21b4fhttps://towardsdatascience.com/pandas-in-the-premier-league-78f1d0c21b4f 僕は今シーズンからDAZNにも加入し、毎週欠かさずサガン鳥栖とヴィッセル神戸の試合を観戦しています。 基本的なデータを可視化してみて面白そうなチームがあったら、そのチームの試合も観戦したいですね。 それに、簡単なデータを頭に入れて試合を見ることで、観戦がより面白くなると思います。 ============== まずはJリーグデータの

データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac

毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web

を書きました。 github.com ラジオ聞きましょうラジオ radiko.jp 使い方 対象者はMacOSユーザ且つbrewとPython3系がザックリ分かる人。 もちろんWinでも動くはずです。 requirements.txtに必要な外部モジュールを記載してます。 $ pip install -r requirements.txt 音声の抽出やキーファイルの抽出に以下のライブラリが必要です。 このライブラリが結構手間かかった原因で、色々と–configureつけてコンパイルなどしてたのですが、結局素のままのインストールで動きました。全部入りのDockerfile配布が一番良いような気がするけどそれもまた面倒で、、 $ brew install ffmpeg swfextract 視聴可能局を表示。 $ python radipy.py --area create playerFil

※2017/5/9 リンク切れを修正 ビール🍻とハンバーガー🍔をたしなみながらブログ書いてました.*1 野球,楽しんでいますかー!? アスレチックスが「定位置」に下がる中,日ハムが調子戻してきてようやっと野球を見る気になった私ですこんばんは.*2 今年度初の野球ネタです. PyCon mini Kumamoto 2017のエントリーで紹介させてもらった野球ネタの応用として, 2017年プロ野球,全球団の得点源と足を引っ張ってる選手を可視化 できる何かを作ったので,私の考察とともにお見せしたいと思います. 贔屓チームが強い(弱い)のはなぜ!? 野球統計学なにそれ美味しいの? Pythonでデータをいじりたいのだが！ を直感的に知りたい方はぜひ最後までお付き合いくださいませ. なお,指標値は私(shinyorke)独自算出のモノであり,他のコピーではないです&他のシンクタンクやMediaで

Sphinxを使って論文っぽい文章を書くときのtipsをまとめておきます。 追記: この内容は Sphinx逆引き辞典により詳細にして載っています。 用語を書く際はreplaceを使う .. |hoge| replace:: ほげらこう定義しておくと次からは |hoge| とするだけで、ほげらと自動的に展開してくれます。つまり、あとからこの用語名を変えたいな、と思ったときにはこの定義のところだけを変えれば勝手に全部入れ替えてくれる、というわけです。 ただし、複数のrstファイルに分けている場合には使えないので、別のファイル(例えばdefinition.txt)に replace を書いておき、 .. include:: definition.txtと各rstファイルの先頭に書いておきます。この時、.rstではなく.txtなど他の拡張子のファイルに書いていることに注意してください。そうしない

Twitterで@voluntas さんがつぶやいていた landslide を使ってみると、結構いいことが分かりました。 サンプルを作りましたので、ここに置いておきます。 説明 左右の矢印キーでスライドを切り替えます 元ファイル 画像の扱いに問題があったりしますが、現在も開発されているようですので、解決していくのではないでしょうか。 インストールも簡単ですし、しばらくはこれでスライド作ってみることにします。 .... blockdiag directiveを追加してみるとか、いいかも？

はじめに こんにちは、非モテエンジニアです。長らくExcelで仕様書を書くのがブームらしいですが、Sphinxでドキュメントを書くと耳から脳漿垂れ流しになってしまうほど楽しくなってしまうというもっぱらの噂（俺の中で）なので、EmacsでreSTを書く際の便利機能をまとめてみました。 参照 404 Not Found 手前味噌ですが自分が関わっているSphinxの日本ユーザ会のサイトです。そもそもSphinxってなによ？Sphinx自体をどうやって導入したらいいのよ？って方はご参照ください。もちろん既にご存知の方にも最新情報含め有益な情報が満載です。 Emacs Support for reStructuredText rst.elの本家。英語ですがrst-modeについて一番詳しい説明がある場所だと思います。 rst.elの色設定 - DiaryException 色設定について詳しく説明

システム開発や保守、運用の現場においてドキュメントは必須のものです。 しかし、ドキュメントの作成・維持には多くのパワーがかかるため、ドキュ メントが存在しない、資料が古いままになっているなどといった現状を多く 耳にします。 本勉強会ではこれらのドキュメントでよく利用される「図」にフォーカスし、 みるみるうちに図を作成できる「blockdiag」をご紹介します。 「blockdiag」はシンプルなテキスト記述からブロック図、ネットワーク図などの 画像ファイルを出力可能なオープンソースの画像生成ツールです。書き やすさ、メンテナンスしやすさを中心にデザインされており、図を作るのに 配置や並べ替えに苦労する必要はありません。 blockdiagのサンプルはこちら このような特徴を持つ「blockdiag」と、シンプルな記述でドキュメントを作成 するツール「Sphinx」を組み合わせることによって

OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／　　 　 　＼ ／　 _ノ 　ヽ､_　 ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ 　twitter の OAuth 難しいお… |　　　　 （__人__）'　　　　| ＼　　 　　｀⌒´ 　 　 ／ ＿＿＿_ ／⌒　　⌒＼ ／（ ●） 　（●）＼ ／::::::⌒（__人__）⌒::::: ＼ 　　だからやる夫でやるお！ |　　　　　|r┬-|　　　　　| ＼ 　　 　 `ー'´ 　 　 ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／　　　 u　 ＼ 　　　　　.＿＿＿_ |:

Twitter API の使い方などの説明です (2011/4/12 新規作成) (2013/6/13 API 1.1 対応版に書き直し) (2018/8/23 Account Activityを追加)。 Twitter は、 ユーザーが「ツイート」と呼ばれる 140 文字のつぶやきを投稿し、 閲覧できるコミュニケーション・サービスです。 Twitter API は、そのツイートの変更や参照・検索をプログラムから 扱えるようにする公式の API サービスです。 世の中に数多ある Twitter クライアントや、連携サービスも Twitter API を使って作成されており、相当のことができます。 Twitter API の解説をしている Web ページはそれなりにありますが、 API の仕様や周辺事情が色々と変化しているため、2013/6/13 時点で 私が調べた情報をまとめなおしたものを

すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Platform W

Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、

TracLightningの0.12対応も進みつつありますが0.11系の話題です。 先日のOSC2010/Tokyoで尋ねられたことなのですが、Trac のチケットやカスタムクエリで表示される登録日や更新日は今ひとつ優しくありません。 チケットの登録/更新日 チケットのコメント カスタムクエリ 何ヶ月前とか何分前とか表示されても、ちっとも嬉しくありません。 マウスカーソルをリンクに当てると年月日の表示も見られますが、極めて直感的ではないと言えます。 そこでTracのテンプレートを修正して、直感的な日時の表示にしちゃいましょう。 手を入れる対象のテンプレートは２つで、TracLightning2.5.xの場合は、 %TRAC_LIGHT_HOME%python\Lib\site-packages\Trac-0.11.7.ja1-py2.5.egg\trac\ticket\templates以