こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は、Python開発を主な対象とした開発環境構築の方法をまとめてみたいと思います。 (2023-10-20 : 更新) ・以下の拡張機能を追加 ・Material Icon Theme ・Conventional Commits ・Git History ・Python Test Explorer for Visual Studio Code ・sqlfluff ・Live Share ・コードアシスタントの章を追加 はじめに 主にPythonでの開発を始める際のオンボーディングに使用する前提の内容となっています。 社内でPythonの勉強会を何回か開催したのですが、その時の事前準備資料が元ネタとなっています。 https://github.com/cm-nakamura-shogo/pyth

データアナリティクス事業本部のueharaです。 今回は、AWS CloudShellを利用して簡単にAWS Lambda (Python)のLambda Layerを作成してみたいと思います。 はじめに 今回はLambdaのランタイムはPython 3.9を想定することにします。 こちらのページに記載の通り、Python 3.9ランタイムは「Amazon Linux 2」上で動作しています。 したがって、基本的にはLambda Layer用のzipファイルについてもAmazon Linux 2上で作成した方が安全です。 Amazon LinuxはDockerイメージが公開されているため、当該イメージを用いてzipファイルを作成することもできますが、今回はAWS CloudShellを利用してLayerを作成する方法をご紹介します。 CloudShellを利用することで、ローカル環境にレイ

OpenAIより公開されている音声認識システムであるWhisper APIとChatGPTを使って、音声データから議事録作成するLINEボットを作ってみました(ボットの友達追加URLは公開していません)。既に同じようなことをしているブログもいくつかありますが面白そうだったのでやってみました。 作ったもの ユーザーがLINEのトーク画面から音声ファイルを送ると、議事録が返信されます。以下のスクショはクラスメソッドがYoutubeに出している動画(15分でわかるクラスメソッド)の冒頭３分間程度の音声データを渡してみた結果です。 https://www.youtube.com/watch?v=IgBqV7joJ0E 議事録の内容には間違った内容が書かれている場合もあったため注意が必要です。機密情報なども渡してはいけません。3分間ほどの音声で返信が得られるまでに30秒ほどかかりました。 処理の流れ

こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は話題のChatGPTにコンテキストを与える際に必要となるファイルパース処理について見ていきたいと思います。 本記事ではPDFに焦点を絞ってみていきます。既存のライブラリ内の実装も確認していきます。 先行事例の実装 先行事例の実装として、よく話題となる以下のライブラリを見ていきます。 （LlamaIndexとLlamaHubはほぼ同じですが、parserとしては片方にしかないものもあるため） LlamaIndex https://github.com/jerryjliu/llama_index https://gpt-index.readthedocs.io/en/latest/index.html LlamaHub https://github.com/emptycrown/llama-hu

Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。ついでにバッチ化します。 Windowsから外部ライブラリを利用するPythonのLambdaへデプロイする機会があったので、やり方をご紹介します。 やっていることは次の公式ドキュメントと同様です。 .zip ファイルアーカイブで Python Lambda 関数をデプロイする - AWS Lambda 本ブログでは、この公式ドキュメントの内容に加えて、もうちょっと手順を詳しく解説していきます。 最終的なバッチ 最初にこれからやる作業をまとめたバッチファイルを載せておきます。 これ見て何となくわかるようなら、この先は読まなくても大丈夫です。 if exist my-deployment-package.zip del my-deployment-package.zip

新規事業統括部の山本です。 今日OpenAIのChatGPTのモデルとして、GPT-4が利用可能になりました。早速使ってみようと思います。 やってみる 今回は画像のビューワを作成してみます。ちょうどデータセットの画像や、画像モデルに入力した結果を表示するツールがほしいと思っていました。 import os import tkinter as tk from tkinter import filedialog from PIL import Image, ImageTk def browse_folder(): folder_path = filedialog.askdirectory() if not folder_path: return images_frame.delete("all") load_images(folder_path) def load_images(folder_

ChatGPT面白いですね！ あんなことやこんなことできるんじゃないかと夢想して楽しんでいます。 そんなわけで、OpenAIのAPIキーを発行できたんだけれども、そのあとどうすればいいの？ という過去の自分のために、Pythonでの超基本的な使い方をまとめておきたいと思います。 結論から言うと、 Pythonのコード15行程度でChatGPTを使ったアプリが出来上がりました！ （APIキーを発行するやり方は他の記事をご参照ください） 準備 Python3でOpenAIのライブラリを使うので、pipでインストールしておきます。 pip install openai また、最小限のコードとはいえ、環境変数はハードコードしたくないので、 コマンドラインの環境変数に設定します。 export OPENAI_API_KEY="sk-xxxx" コード Pythonのコードを書いていきます。 ここに書

はじめに データアナリティクス事業本部のkobayashiです。 以前EC2上にJupyterLabの環境を構築するといったエントリを書きました。今回久しぶりに同じ様にJupyterLabを構築したのですが、前回と異なりJupyterHubを使ってユーザーごとにワークスペースを作成して分析作業を行える環境を作りましたのでまとめます。 JupyterHubとは JupyterLabやJupyterNotebookをそのまま構築するとユーザーといった概念はなく共通パスワードで共通の環境へログインして使う事になります。ユーザーごとにそれぞれのワークスペースで分析を行いたいといったJupyterでのマルチユーザー環境を実現するのがJupyterHubになります。 Project Jupyter | JupyterHub AmazonLinux2にJupyterHubをインストールする では早速Am

データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ

さて、相変わらずChatGPTにハマっておりますが、ふと思いついたアイデアがあります。どうも、ChatGPT君はプログラミング言語「そのもの」の普遍的な理解があるのではと思えてきたので、それを考えると自然言語をプログラムとして解釈させることも可能な気がしてきたのですよね。というわけで、以下がスクショです。階乗を計算させるのが目的ですが、階乗と書くと空気読まれそうなので「ほげ数」にしてあります。 なんか「どのプログラミング言語で解釈すればいいかわからないタスク」についてはどうもPythonに内部的に変換して解釈してる節があります。ともあれ、再帰を含む日本語疑似コード（表記ゆれあり）をそのまま解釈できるのは凄いですね。 不完全ですが対話ログを gist に保存しておきました。回答はプロンプトごとに微妙に違うものが返ってくる可能性があるのでご注意をば。

各階層の役割 以下が各階層の役割です。 handlers プログラムのエントリーポイントを定義 modules 外部からのパラメータの注入や、外部操作するインスタンス生成を定義 services slack などのサービスを定義 use_cases ビジネスロジックを定義 なお、従来の階層構造では、modules 層の役割を、use_cases 層が担っていました。 DI(Dependency Injection) とは 解釈の一つとして、「オブジェクト注入」と言えます。 依存元クラスが具象クラスに依存しているのを、抽象クラスに依存させることで、コンポーネント間の依存関係を削除します。 これによって、コードの変更をしやすくなったり、前述のようにテストが書きやすくなるソフトウェアパターンです。 以下の資料が読み物としてわかりやすかったので、リンクを置いておきます。 Python で Depe

はじめに データアナリティクス事業本部ビッグデータチームのyosh-kです。 本日7月7日はクラスメソッドの創立記念日ということで『この日は創立記念日だし、みんなでブログ書こう〜』というお祭りがあるみたいなのでとりあえず書いてみよう！と思います。 設立記念日だということを今週知ったので、ブログの内容を前日まで何も考えていませんでした。(すみません) なので今回は自分がよく使っているオンライン学習プラットフォームであるUdemyのPython講座について簡単におすすめしたいと思います。 私自身がPythonのバックエンドエンジニアとして2020年の春頃から使い出したのでPython向けのおすすめになります。 Udemyとは Udemyとは、動画コンテンツを用いて学習するオンライン学習プラットフォームです。 ジャンルとしては「開発」「ビジネススキル」「財務会計」「ITとソフトウェア」「仕事の生

こんにちは、データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。 Pythonを使ったLambda開発環境をCloud9で構築する機会がありました。PythonのバージョンやAWS CLIでちょっとした躓きポイントがあったので備忘として対応手順を残します。 AWS Lambdaで使用されるPythonバージョン確認（2022/7/6時点） Cloud9で開発を行うにあたり、Lambda関数を作成するのに使用するPythonのバージョンと合わせておきます。まずはAWS Lambdaで使われているバージョンの確認を実施します。Lambda関数の作成時にランタイムをPython3.9に指定できますが、マイナーバージョンも含めた正確なバージョンを把握する目的で調査用のコードを実行します。 Lambda関数の作成 AWSマネジメントコンソールからAWS Lam

内包表記とは Pythonではリストの作成において幾つかの方法がありますが、今回は内包表記について取り上げます。 そもそも内包表記とはどんなものでしょうか？ 以下に例を示します。 L = [x for x in range(3) if x < 2] -> L = [0, 1] これは3未満の自然数のうち、2未満のもののリストです。 数学っぽく書くとわかりやすい人もいるかもしれません。 つまりは、range(3)このリストが取り扱う入力としての集合を定めて、ifでこのリストの要素が満たすべき条件を記述しているわけです。 実はこのリスト内包表記は数学の集合内包表記と近いものになっています。 集合における記法で集合を定義する際に大きく分けて2通りの記法があります。 それは以下の二つです。 記法 例 説明 Pythoにおけるリスト内包表記は以下のような文法で表現されます。 新しいリスト = [式

目次 1.はじめに 2.コーディング 3.コンテナ化 1. はじめに 友人に「PythonでAPIをサクッと作ってよ」と言われたのでシンプルなREST APIを作ってみた。 作ったものを渡すだけでなく作り方も教えて欲しいとのことなので、ここに記事として掲載する。少し手順書のような記載なため、初学者向けかもしれない。 Pythonと聞いて「Djangoでも使うか？」と思いつつも、よりサクッと感のあるフレームワークを探してみたところ FastAPIなるものがあり、今回はこれを採用してみた。 公式より引用 FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するための、モダンで、高速(高パフォーマンス)な、Web フレームワークです。 FastAPI には Swagger UI と ReDoc の両スタイルのドキュメントを自動で生成してくれる機

はじめに Django とは Python と Django Python の導入手順 Python 仮想環境の作成と Django のインストール Django プロジェクトの作成 サーバの起動 アプリケーションの作成 簡単な View の作成 モデルの定義 データベースマイグレーション Django 管理サイト モデルの追加 dumpdata と loaddata ModelAdmin による管理サイトのカスタマイズ まとめ はじめに MDN で提供されているチュートリアルを元に、Django による Web アプリケーションの作成方法について見ていきます。 github.com このチュートリアルは、「Locallibrary」という書籍を管理する簡単なウェブアプリケーションを構築するものとなっています。 元ネタのチュートリアルは無駄に長いため、ポイントを絞りつつ補足を加え、Djan

start: if [ -n "${ENV}" ]; then \ .venv/bin/dotenv --file ${ENV} run -- .venv/bin/python src/main.py; \ lint: poetry run pysen run lint lint-fix: poetry run pysen run format && \ poetry run pysen run lint test-unit: poetry run pytest install-dev: poetry install install: poetry install --no-dev 本番環境のみ入れたいパッケージがある場合 IoT開発等では、開発時はMacで本番はラズパイみたいなケースの場合、アーキテクチャ依存で追加できないパッケージがあったりします。 例えばRPi.GPIOは、GPIOが