はじめに みなさんAWS Lambda(以降はLambdaと表記)使ってますか？ Lambdaには対応している言語が複数あるので、Go言語で記述されている方、Node.jsで記述されている方、Pythonで記述されているかたなど、 様々いらっしゃるかと思います。 APIのバックエンドとしてLambdaを設置する場合、Lambdaの処理時間は出来る限り短くしたい、と思われる方がほとんどだと思います。 理由としては、下記が挙げられるかと思います。 API Gatewayの時間制限が29秒のため、29秒を超える処理が出来ない APIの呼び出しに時間がかかると、ユーザービリティを著しく損なう では、Labmbdaの処理時間を短くしたいのですが、方法としては下記があります。 Lambdaの性能を上げる Lambdaの中で並列処理(マルチスレッド化、マルチプロセス化)を行う 今回は、Lambdaでの並

「rootアカウントですら永久にオブジェクトを削除できなくなるような機能がS3に追加されたらしい・・・」 S3オブジェクトロック機能がローンチされた際ちらほらこんな噂が聞かれました。 こうした「rootですら削除できなくなる」「設定中は無期限で削除できなくなる」といった一部機能に関する話題が若干の誤解付きで広まってしまい使いづらい機能と決めつけている人がいかんせん多いように思います。 今回は３ステップに分けて、S3 オブジェクトロックは（ちゃんと使えば）怖くない、 割と使い道はあるということを皆さんにご理解いただくためにこのエントリーを書いてみました。 第１ステップ：オブジェクトロックは怖い機能でないことを理解する オブジェクトロック機能は既存のS3バケットでは有効化できず、新規作成時に明示的に設定しないと利用することができません。 コンソールでの作成手順でいうと、名前とリージョンを入力し

背景 Pythonでは大体pytestを使うのですが、序盤でよくこけるけど、毎回原因を忘れてしまって思い出すまでに時間がかかって困る以下のpytest利用時のエラーについての備忘録を書いておきます E ModuleNotFoundError: No module named 'hogehoge' 現状 ここでは以下のディレクトリ構成のプロジェクトを想定しています。 . ├── poetry.lock ├── pyproject.toml ├── src │   └── mypkg │   └── func.py └── tests └── test_mypkg └── test_app.py [tool.poetry] name = "pytest_test" version = "0.1.0" description = "" authors = ["hogehoge"] [tool.p

Pythonのimport文で標準ライブラリやpipでインストールしたパッケージ、自作のパッケージなどをインポートするときに探索されるパス（ディレクトリ）をモジュール検索パス（Module Search Path）と呼ぶ。 6. モジュール - モジュール検索パス — Python 3.11.3 ドキュメント 自作のパッケージやモジュールをインポートしたい場合は正しく設定しておく必要がある。 ここではimportの対象となるディレクトリのパスであるモジュール検索パスを確認したり新たに追加したりする方法を説明する。

import children children.tom.hi() # >> AttributeError: module 'children' has no attribute 'tom' ひとつ下のディレクトリにある複数のファイル __init__.pyを作り、そのディレクトリをパッケージとして扱う。__init__.pyの中でそこで同じディレクトリに含まれるモジュールを読み込む。

Ubuntu 20.04でデフォだとpythonのエラーメッセージが出る通り、 $ sudo apt install python-is-python3 すると、pythonがpython3系のパスが通る。 On Ubuntu 20.04 it is status of python3 and pytho… ref. apt - python is not installable on Ubuntu 20.04 - Ask Ubuntu

Pythonの学習をしようと、いざubuntuを使ってpythonファイルを実行してみると 「コマンド： 'python' が見つかりません。もしかして： command 'python3' from deb python3 command 'python' from deb python-is-python3」というコマンドが出てきた場合の対処法を紹介します。 以前、このような現象で悩んだとき、クリティカルな解決方法を載せたサイトがなかなか見つからなかったため、後学のために解決方法を記載しておきます。 この現象が起こった環境　エラーを発生させた当時の情報です。ubuntu20.04を過去使っていたwin10マシンに導入し、pythonを動作させようと思った際に発生。 pythonファイルを動作させようと思ったが、「python -V」「python –version」のどちらの場合でも

こんにちは、@yoheiMuneです。 今日は前回のPython入門に引き続き、リスト内包表記というPythonの素敵な書き方をブログに書きたいと思います。この書き方を本で見て、Pythonを使えるようになりたいと僕は思いました（ミーハーですねw）。リスト内包表記が書けるようになると、後述の通り色々とメリットがあるのでぜひ学んでみてください。 https://flic.kr/p/24JYSq 1行で書くリスト処理 さっそくリスト内包記述（list comprehension）を扱いたいと思います。今回は以下の配列データを扱うこととします。 data = [1, 2, 3, 4, 5] この配列について、各要素の値を2倍にする処理を通常のfor文で記述すると、以下のようになります。 # data配列の中身を2倍にする newData = [] for d in data: newData.a

こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． この度33回に渡る「データサイエンスのためのPython入門講座」を書き終えたので，目次とまとめの記事を書いていこうと思います． (「データサイエンスのためのPython講座」動画版がでました！詳細はこちら) 本講座の目的 本講座では，Pythonでデータサイエンスをするにあたり必要な環境構築・Pythonの基本・データサイエンスに使うPythonライブラリの基本・その他データサイエンスで頻出のPythonモジュールの’基本の’使い方をマスターすることを目的としています． この講座で目指すところは Pythonでデータサイエンスに必要なデータ処理をするためのツール・ライブラリ・モジュールの使い方の基本をマスターする Excelなどの表計算ツールを使うことなくデータ処理ができる 画像ファイルなどのデータフ

Top > ラーニング > 京都大学、Pythonの基本を解説した無料の教科書「素晴らしすぎる」「非常にわかりやすくて良い」

日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。最終回はローソク足とともにこれまでに計算したオシレーターなど一式を1つのグラフで表示する方法や過去の株価データを基にした株価予測の方法を解説します。

時は 2020 年 5 月 3 日。 ここ最近、AtCoder では、「再帰関数を用いた DFS な全探索」というタイプの問題が激増しています！！！ AtCoder ABC 165 C - Many Requirements　(昨日のやつ) AtCoder ABC 114 C - 755 AtCoder ABC 119 C - Synthetic Kadomatsu AtCoder ABC 161 D - Lunlun Number パナソニックプログラミングコンテスト D - String Equivalence これらの多くは緑後半から水色前半の difficulty を叩き出す、とても恐れられている問題たちです。しかし実のところ、「ちょっと複雑だけど、単純に全探索するだけ」という側面もあります。 これらの出題が最近急増しているのは、おそらくは AtCoder 社側に 最近の AtCo

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

使っているパソコンを変えても、開発環境を揃えたい時はDockerを使うと便利。ということでDockerでPython環境を作って色々なところで使いまわせるようにします。Tokyo AEC Industry Dev Groupというミートアップグループで行う（行った）ハンズオンワークショップの内容となっています。こちらDockerを初めて使う初心者用の記事となります。 ワークショップ自体は録画してYoutubeにアップしてあります。そちらもよろしければどうぞ。 Dockerとは Dockerとはシステム開発や運用に最近よく使われるコンテナ技術を提供するサービスの一つです。コンテナとは、アプリケーションの実行に必要な環境をパッケージ化して、いつでもどこからでも実行するための仕組みです。自分のコンピュータの環境を汚すことなく、隔離された環境を作ってそこでプログラムを動かすことができるのでトライア

Windowsユーザーの皆さん、手軽にLinux環境で開発したいですよね！そんなときWSL2やコンテナが選択肢に上がるでしょう。VSCodeのRemote Development機能を使い、どちらも試してみました。Windows・WSL・コンテナを使い分けつつ、VSCodeで快適に開発ができるようになります！ おおまかな流れ 【準備編】WSL2の有効化と拡張機能のインストール 【WSL編】VSCodeからWSL2にリモート接続する 【コンテナ編】Dockerのインストール 【コンテナ編】VSCodeからDockerコンテナにリモート接続する 【コンテナ編】コンテナでWebサーバーを立て、ブラウザからアクセスする ※ 筆者の環境は Windows10 Home 21H1 です。Windows10 Pro/Enterpriseとは手順が異なるかもしれません。

東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip