You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 弊社では製造業向けのRAGを使ったチャットボットの開発を行っていますが、 RAGで読み取りづらいなと感じているドキュメントが"Excel文書"です。 LLMを悩ませる"Excel文書"とは ここで"Excel文書"と呼んでいるドキュメントは、 「構造化されたテーブルを保存しているExcelファイル」 ではなく、 「 セルに文書を書いたり、オブジェクトや画像を挿入することで、いわゆる一般的な文書を作成しているExcelファイル 」 のことを呼んでいます。 そもそも一般的な文書作成においてはExcelではなく、Wordを使えばよいのでは？と思われるかもですが、以下の点でExcelで文書の資料を作成することはそれなりに便利な部分があると思っています。 枠を使って、グルーピングすることでドキュメントの構成が見やすくなる

みなさん、こんにちは！私は株式会社ulusageで技術ブログを担当しているエンジニアです。最新の情報や、日々の開発で役立つTipsを皆さんと共有していきたいと思います。どうぞよろしくお願いします。（もしこのブログの仕組みやシステムフローに興味があれば、ぜひお知らせください。皆さんのご要望に応じて、詳細な記事を作成します！） Pythonでのデバッグ：print()からic()へ、革新の手法 はじめに Pythonで開発を進める中で、皆さんも一度は「なぜこのコードは期待通りに動かないのだろう？」と頭を抱えたことがあるのではないでしょうか。そのようなとき、print()関数を使って変数の値を出力し、デバッグを行うのは一般的な手法です。しかし、複雑なコードや大規模なプロジェクトでは、print()だけでは限界があります。今回は、そのデバッグ手法を一歩進めるためのライブラリ「IceCream」とそ

はじめに 以下のGithubリポジトリで公開されているzeroxというライブラリにより、マルチモーダルLLMを活用したOCRができるとのことで試してみました。 python×streamlitでpdfファイルをアップロードして、テキスト化するまでをこの記事では説明します。 ライブラリについて、隅々まで把握したわけではないですが、自分が調べてわかった内容などをまとめますので、同じライブラリを活用して、資料をテキスト化したい方の参考になれば幸いです。 テキスト化を試す zeroxを利用したテキスト化を試すだけなら以下のサイトで、pdfをテキスト化できます。 表なども割といい感じにマークダウン形式でテキスト化してくれたりするので、資料をテキスト化してLLMに渡す際に使えそうな感じがします。精度についてはこの記事では細かく検証しないので、各人で確かめていただけたらと思います。 zeroxライブラリ

python3.13のリリースが近づいてきたということで、今回は各バージョンの便利機能をおさらいしたいと思います。 ちなみにPython3.13は現在candidate版が公開されています。candidate版は正式版になる予定のバージョンのことです。 Actual: 3.13 development begins: Monday, 2023-05-22 3.13.0 alpha 1: Friday, 2023-10-13 3.13.0 alpha 2: Wednesday, 2023-11-22 3.13.0 alpha 3: Wednesday, 2024-01-17 3.13.0 alpha 4: Thursday, 2024-02-15 3.13.0 alpha 5: Tuesday, 2024-03-12 3.13.0 alpha 6: Tuesday, 2024-04-09 3

2023年版データ分析の100冊 が好評でしたので、2024年版を作りましたよ。 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせて理論のほかはPython本のみにしています 「本記事のR版のご要望があれば爆裂書きます！」と去年書いたのですが要望0 あはは、Rの本は今回撲滅しました！ こういうリストを挙げる奴は大抵読んでいない、と過去にも言われたのですが、未読本は削除しました 最近好著連発なので読んでいる途中だけど挙

読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。

読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。

Pythonインストールできないんだけど！ なんかいつもこれ同じ作業してるよな、自動化出来ないかな…よしやったる！ ↓ みんなー！こんなツール作ったよー、使ってみてー！ ↓ そして起こる「ちょっと、俺、.pyとかいう拡張子使えないんだけど」の声。 会社のPCって外部のアクセス禁止だったり新規ソフトウェアのインストール制限があったりと、色々制約がありますよね。この制約のせいで、作ったはいいが使えなかった、みたいな理不尽なハマり方したり、一方で試してみたら意外とこれ動いちゃうんだ！？みたいなこともあったりするので、ここではそんなずる賢い業務改善を必死に考える社員のみんなに、どれでやれば利用可能なツールづくりができるのか、その選択肢を載せていくよ。 Python + exe化ツール(Pyinstaller) やっぱ中身含めてファイル操作系でちょこちょこやるならPythonが楽だよね。ただ、Pyt

手元のWindowsにPythonの実行環境を用意したいけれども、余計なアプリやライブラリをインストールしたくないという場面は以外とある。そこで、WSLとAlpineを使って最小のPython実行環境を構築してみよう。 WSLにAlpineをインストールしてPythonのプログラムを実行したところ Windowsではいろいろな環境でPythonを動かせる Windows上でPythonを動かそうと思った場合、いろいろな選択肢が存在する。 まず、Python公式(https://www.python.org/)が用意しているインストーラーを使う方法がある。インストーラーをダウンロードして、インストーラーの指示に従うだけなので初心者に優しい方法だ。多くのPython指南書もこの方法が楽なので推している。 また、公式以外にも、Anacondaが提供しているパッケージ(こちら)を使う方法もある。こ

元ネタ 元ネタはこちらです（以下「Figma と PHP」で略します）。 読んでなるほどと思いました。このように、誰かが苦労したおかげで後続が楽になるので感謝です。何が問題点として生じるのか、どんな解決方法が考えられるのか、が予め判明しているだけでもだいぶ楽になります。 反面、$\LaTeX$ の方が実装は簡易ではないかと思ったので、それを実践してみました。 条件と問題点 Figma と PHP の 44 ページに以下のような条件があります 改めて、満たしたい条件 ミリ単位で細かく帳票をデザインしたい。 帳票デザインの保守性を維持するためにはビジュアルデザイン必須 印刷時に見た目が一切崩れない さらに、次のような障害を次々とクリアしていってます。 文字参照の問題 枠からのはみ出しの問題 右寄せの問題 自動折り返しの問題 連票の問題（簡易な解説のみ） これらを $\LaTeX$ と Pyth

Pythonを使ってM3U8ファイルから動画をダウンロードする方法 本記事では、Pythonとffmpegを使用してM3U8ファイルから動画をダウンロードする方法を解説します。特にライブストリーミングや動画配信サービスでよく使用されるM3U8フォーマットからのダウンロードが対象です。 必要なツール このスクリプトを実行する前に、システムにffmpegがインストールされている必要があります。ffmpegは多くのフォーマットの動画や音声の変換、処理が可能な非常に強力なフリーソフトウェアです。 スクリプトの解説 インポート

はじめに こんにちは, 普段は情報科学専攻の大学院生をしながらバックエンドエンジニアをやっている @koki-algebra です. 普段は Go をよく書いているのですが, 大学でやっている機械学習の研究では Python を使うことがほとんどです. Go のエコシステムに慣れきった私は Python の混沌とした環境に耐えきれず, 最強の開発環境を整えることを決意しました. 具体的には Package Manager, Formatter, Linter, Type Checker, Test Tool を選定し, VSCode の DevContainer を用いてポータビリティに優れた開発環境を作ることを目指します. また, Deep Learning では GPU が必須である場合が多いので, GPU 環境も同時に整えたいと思います. 以下のレポジトリが今回考えた開発環境のテンプ

こんにちは、研究開発部 Data Analysisグループの笛木です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行いました。 こちらのブログの続きでテストコードについての研修資料を一部公開します。研修では新卒2年目の私が1年間で部内のコードなどから学んだ情報を共有しました。至らない部分もあるかもしれませんが、ご参考になれば幸いです。 こちらの研修で使用したGitHubのコードリンクは以下です。適宜、ご参照ください。 github.com 目次 目次 はじめに この研修の目的 研修スコープ外 テストコードについて テストコードの便利な点 テストコードの悪い例 テストコードに関するFAQ pytestによるテストコードの書き方 ファイル名 ディレクトリ 基本編 Parametrize Fixture 異常系 Mock indirect conftest 知っておくと活用する場

ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen

先日 "Python の「仮想環境」を完全に理解しよう" というスライドを公開したらかなり反響がありました。 Python の開発環境の構築は、正直言ってかなり複雑だと思います。 pip・venv・pyenv・Pipenv などなど、似たような名前・似たような役割のツールがたくさん登場して、最初は全然意味が分かりません。 慣れればなんとかなるのですが、慣れるまではかなり苦しいです。 このようにとても難解であるにも関わらず、Python は機械学習などでよく使われることから、避けられないことも多いです。 そこでこの記事には、「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめます。

Nicolas P. Rougier, Bordeaux, November 2021. The Python scientific visualisation landscape is huge. It is composed of a myriad of tools, ranging from the most versatile and widely used down to the more specialised and confidential. Some of these tools are community based while others are developed by companies. Some are made specifically for the web, others are for the desktop only, some deal with