■numpy,pandas,matplotlib,scikit-learnを入れてみる $ python3 -V Python 3.11.2 $ python3 -m venv data-analysis $ source data-analysis/bin/activate ■寄り道：パッケージの依存関係を確認できるようにする pipの依存関係解決は甘めなので $ pip3 install pipdeptree $ pipdeptree pipdeptree==2.23.1 ├── packaging [required: >=23.1, installed: 24.1] └── pip [required: >=23.1.2, installed: 24.2] setuptools==66.1.1 ■numpyを入れる $ pip3 install numpy $ pipdeptree

■debian bullseyeのsshで、Ed25519を使った公開鍵認証を設定する 今回はパスワード認証がコマンド実行確認の役割を果たしている一面もあるため、 一部クライアント認証をパスワード認証のまま残すので、 リモート側のsshd_configは変更しない ■対象となるクライアントもリモートも同じバージョン $ lsb_release -d Description: Debian GNU/Linux 11 (bullseye) ■過去のssh証明書ログイン 特定のホストからESXi(vSphere HyperVisor)にパスワードなしでログイン出来るようにする。 https://labunix.hateblo.jp/entry/20180107/1515264031 ■rsa以外の選択肢 SSHではDSA鍵は1024ビットの物のみが正しい鍵なので、「dsa」オプションはレガシシス

Splunkは2024年6月12日（現地時間）、SIEM（Security Information and Event Management）製品「Splunk Enterprise Security」（以下、Splunk ES）の新バージョン8.0を公開した。現在プライベートプレビューの段階で、2024年9月には一般提供を開始する。 SOCチームを強化する複数の新サービスを発表　Cisco Talosとの連携も この他、「Cisco Talos」の脅威インテリジェンスをSplunkプラットフォームにおいて無償で利用できるなど、SOC体制の強化及びセキュリティ担当者の時間コストを削減する複数のサービスについても発表した。 Splunk ES 8.0には「Splunk Mission Control」が標準で搭載される。SOAR（Security Orchestration, Automat

初めてのAWS（無料枠）でSalesforce to DynamoDBをやってみた みなさん、こんにちは。 先月は連休が多かったので、家族サービスを程ほどに以前から興味があったAWSを一から勉強していました。時間に余裕のある中でまったり勉強するのも、たまにはいいものですね。 今回は、AWSに触れてみて思ったことや試してみたことについてお話ししたいと思います。 AWSに触れてみて まず最初は、以前購入した本や、動画で説明をしてくれるサイトを参考に、EC2（仮想サーバ）、RDS（RDBMS）、S3（ストレージ）を立ち上げてみました。 昔冷房がガンガン効いたデータセンターで凍えながら構築したような環境が、今ではコーヒーでも飲みながらブラウザでポチポチとボタンをクリックするだけで立ち上がるのは、知ってはいましたが実際に体験すると素直に感動します。 また、今更な話しだとは思いますが、一通り構築した環

Microsoftは2024年4月8日（米国時間）、Microsoft Azureの本番環境で起きるメモリリークの問題にどう取り組んでいるのか、公式ブログで解説した。 Microsoftは、Azureの本番環境で起きるメモリリークに総合的に対処するメモリリーク検出サービス「RESIN」を開発し、活用している。メモリリークがクラウドインフラに与える影響と、従来の検出手法における課題やRESINを活用して得られた成果を次のように解説している。 メモリリークは何が問題なのか　従来の検出アプローチや大規模環境ならではの課題とは インフラにおけるメモリリークはパフォーマンス、安定性、最終的にはユーザー体験に影響を与える問題だ。メモリリークが起きると、コンポーネントのパフォーマンスが低下し、OSのクラッシュや同じマシンで実行されている他のプロセスの遅延、停止につながることもある。 関連記事 「AIOp

こんにちは！技術4課のイーゴリです。 本件の記事では、CloudFormationでS3のライフサイクルルールの設定の一例をご紹介させて頂きます。 本件記事の目標 Cloud Formationテンプレートの作成 スタックの作成 YAMLの説明 S3ストレージクラスの設定値 本件記事の目標 下記の要件の通りS3の作成及びライフサイクルルールを設定したいと思います。 バケット名：s3-blog-<対象AWS Account Id> ライフサイクルルール名：blog-life-cycle-rule 日数 S3ストレージクラス 0 Standard 30 Intelligent-Tiering 90 Glacier Flexible Retrieval (旧 Glacier) 180 Glacier Deep Archive 365 オブジェクトの削除 オブジェクトをS3にアップロードします(S

Amazon Connect の通話データの分析結果をバッチ処理で Word 文書にする – Amazon Connect アドベントカレンダー 2022 こんにちは！森田です。 この記事は「Amazon Connect アドベントカレンダー 2022」の15日目の記事となります！ Amazon Connectアドベントカレンダー2022は、クラスメソッドと株式会社ギークフィードさんでチャレンジしている企画となっており、他にもAmazon Connect関する様々な記事がありますのでぜひご参照ください！！ この記事では、Amazon Connect の通話データをバッチ処理で分析しその結果を Word 文書にする方法をご紹介します。 やりたいこと Amazon Connectの音声データの分析結果を AWS Lambda で Word 文書に変換し、 そのファイルパスを Amazon Co

ちょっと古めのドキュメントになってきたので、環境構築以降はぬこぬこさんの「いちばんやさしいローカルLLM」という記事を参考にすることをおすすめします。 https://note.com/schroneko/n/n8b1a5bbc740b こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で

日本マイクロソフトは、2024年4月17日、セキュリティ担当者向けの生成AIアシスタントで、同社の“Copilot”ブランドのひとつである「Microsoft Copilot for Security」に関する説明会を開催した。 Copilot for Securityは、2023年10月よりアーリーアクセスプログラムが展開され、日本を含むグローバルの330社以上のユーザー企業やパートナーが参加。そして、2024年4月1日より日本語対応とあわせて一般提供を開始している。説明会には、同プログラムに参加したTrust Baseとシンプレクスが、Copilot for Securityの検証結果を披露した。 セキュリティ業界の課題を生成AIの力で解決する「Microsoft Copilot for Security」 米マイクロソフトのセキュリティ部門のマーケティング責任者であるアンドリュー・コ

#Amazon Personalize とは Amazon Personalize とはAmazon.com と同様のテクノロジーを利用し、 機械学習の知識がなくても、個々のユーザー向けにリコメンデーションをリアルタイムで提供できるサービスです。 #Amazon Personalize の機能一覧 ユーザー属性を基にパーソナライズされたレコメンデーションリストを作成 特定のアイテムをチェックした際に、類似アイテムリストを提供 特定のアイテムリストをユーザーの嗜好に合わせて並び替える #Amazon Personalize のワークフロー 1.入力データをフォーマットしてAmazon S3にアップロードするか、リアルタイムのイベントデータを送信する。 2.データに適用するトレーニングレシピ (アルゴリズム) を選択する。 3.レシピを使用してソリューションバージョン(レコメンデーションモデル

こんにちは、ZOZO NEXTでウェブエンジニアを担当している木下です。先日、弊社が運営するオウンドメディアのFashion Tech Newsにおいて、記事リストのパーソナライズを行いました。本記事ではパーソナライズ導入における、要件定義、レコメンドエンジンの比較、実装での知見や注意点についてまとめます。 fashiontechnews.zozo.com 背景 解決方法の検討 課題の分析 パーソナライズ手法の検討 レコメンド方式について サービスの比較 Amazon Personalizeの実装 実装の流れ アーキテクチャ 実装での工夫点 採用したアルゴリズム アイテムデータの更新頻度 ユーザーの識別 注意点 AWS Personalizeのサンプルリポジトリが古い データの収集には時間がかかる まとまった料金が発生する まとめ 背景 「Fashion Tech News」とは、2018

Bleeping Computerは3月28日(米国時間)、「Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords」において、Linuxの「wall」コマンドから脆弱性が発見されたとして、注意を喚起した。この脆弱性を悪用することで、複数のユーザーが端末に接続する環境において、偽の「sudo」コマンドのプロンプトを表示して管理者パスワードを窃取できるリスクがある。 Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords 脆弱性「CVE-2024-28085」の概要 wallコマンドはLinuxにログインしているすべてのユーザーにメッセージを送信するコマンド。システムを再起動する際などに残り時間や警告を通知する

■python-lambda-local を試してみる 余分な工程を減らすことが目的 後でgit管理出来るよう、PEP 8に準拠したソースをローカルに保持しておく コードを書く←ここ Zipでひとつにまとめてアップロード サンプルイベントをインプットにして Lambda 関数をテスト実行 CloudWatch Logs でログを確認してデバッグ ■まずは仮想環境(venv)に入る $ mkdir lambda-local && cd lambda-local $ python3 -m venv venv $ source venv/bin/activate $ pip --version pip 23.0.1 from /home/bookworm/lambda-local/venv/lib/python3.11/site-packages/pip (python 3.11) ■pytho

はじめまして、エンジニアスタイル編集部です！ コラムページでは、ITフリーランスに向けてお役立ち情報を発信します。Twitterではホットな案件を紹介してまいりますので、ぜひフォローをお願いいたします！ 本記事が、皆様の参考になれば幸いです。 経験がまだ少ない方にもわかりやすく説明するために、初歩的な内容も記載しております。記事も長いので、実務経験豊富な方は、ぜひ目次から関心のある項目を選択してください。 エンジニアスタイルは、最高単価390万円、国内最大級のITフリーランス・副業案件検索サービスです。pythonのフリーランス・副業案件一覧を以下からご覧いただけますのであわせてご確認ください。 pythonのフリーランス・副業案件 ライブラリとは？ 「Pythonの強みはライブラリが充実している点」と聞いた事がある一方で、そもそもライブラリについて詳しく知らないという方は多いでしょう。こ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

詳細なエラーコードの一覧は[pycodestyle - Error codes]で確認できます。 pycodestyleを実行してみる 以下のPythonコードtest_pycodestyle.pyに対してpycodestyleを実行してみます。 import os, json a = os.getcwd() b = [json.dumps(1),2, 3 ] pycodestyleはFlake8の既定のプラグインなので、flake8コマンドを実行すればpycodestyleによるチェックが行えます。実行してみます。 $ flake8 test_pycodestyle.py test_pycodestyle.py:1:10: E401 multiple imports on one line test_pycodestyle.py:2:4: E222 multiple spaces aft

■debian bookwormのvenvでaws CloudShellと同等のPython環境を準備する 今回は開発と本番のプロジェクトに分けて、プロジェクト単位で仮想環境(venv)を使用する システムのPython環境は変えたくない バージョン違いやインストールモジュールの異なるPython環境を使いたい プロジェクト単位でライブラリを管理したい ■pipについて $ cat /etc/*release | awk '/PRETTY_NAME/' PRETTY_NAME="Debian GNU/Linux 12 (bookworm)" $ dpkg -l | awk '$1 ~ /ii/ && $2 ~ /python3-pip/{print $2,$3,$4}' python3-pip 23.0.1+dfsg-1 all $ apt-cache search python3-pip

仮想環境の作成に失敗 WSL の Python で仮想環境を作ろうとしたら以下のエラーが出ました。 $ python3 -m venv .venv The virtual environment was not created successfully because ensurepip is not available. On Debian/Ubuntu systems, you need to install the python3-venv package using the following command. apt-get install python3-venv You may need to use sudo with that command. After installing the python3-venv package, recreate your virtual

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?