連載目次 前回は、Kaggleが提供するkaggleパッケージをインストールして、Visual Studio Code（以下、VS Code）の統合ターミナルからコマンドラインを使ってKaggle APIにアクセスしてみました。今回はkaggleパッケージを使ってPythonのコードからKaggle APIにアクセスしてみます。 意見が違って面白いですが、私の場合は、結局、リーダーボードなど見たりするので、基本的な作業はKaggle Webサイト上で行うのが一番快適だと感じています。 一方で、「Submissionの自動化」だけに限定してKaggle APIが便利だと感じています。Submission時のメッセージもコードで自由にカスタマイズできるので、コマンドよりも扱いやすいです。Submissionは何度も行う作業ですが、データセットのダウンロードなどは一度切りの作業なので、Kaggl

この記事は、著者の許可を得て配信しています。 https://www.alexhudson.com/2021/09/17/its-tough-being-an-azure-fan/ AzureはカテゴリーリーダーであるAWSに属しているのですが、これまでAzureはナンバーワンのクラウドプロバイダーではありませんでした。しかし、多くの人が考えるように、Azureが第2位だということはかなり妥当なことであり、必ずしもAWSと大きく差別化されているわけではないけれども、特筆すべき点は十分にあると言えるでしょう。 しかし、Azureテクノロジーのユーザーやファンでさえも、Azureをクラウドプロバイダーとしておすすめすることがますます困難になってきています。 さて、私はGartner社（2021年7月の時点で、Azureをカテゴリー「リーダー」と評価し、競合はAWSとGoogleだけとしている）

家電量販店に行くと今でもボイスレコーダーのコーナーがあり人気だ。またスマートフォンにも必ずボイスメモアプリがある。筆者も一時期アイデアをボイスメモで録り溜めていた。しかし、ボイスメモは聞き直す必要があり管理が面倒という欠点もある。そこで、今回はPythonからMicrosoftのAPIを利用して自動的にボイスメモをテキストに変換する方法を紹介しよう。 WAVファイルを音声認識してテキストに変換したところ 音声認識APIを使ってみよう AI技術の進歩により音声認識の精度が向上している。これまでも音声認識の技術はあったものの精度が今一歩だった。そして個人ユーザーが気軽に活用できる感じではなかった。ところが、最近では、各社が競い合うように音声認識の精度向上に力を入れている。各社から発売されているAIスピーカーを積極的に活用している読者も多いことだろう。 そして、大きな点として、Microsoft

第54回 情報科学若手の会 #wakate2021

何があったか はてなブックマークは、コメント表示改善の一環として、Yahoo! JAPANの「建設的コメント順位付けモデルAPI」を導入し、攻撃的であったり不謹慎であるなど穏当でないコメントが人気コメントに掲載される問題を抑制する取り組みを開始しました。 実は、公式の発表が知れ渡る前にAnonymousDiaryというサービスで話題になり、喧喧囂囂の大騒ぎとなったのです。 誉れ高い増田市民としては、旧来の破滅的コメント順位を望みます。 Pythonによる解決 googleのcolabで作業してました。 記事の情報をAPIで入手 記事jsonからブクマした各ユーザの「コメント情報のURI」を生成する スター取得APIでコメントURIを指定し、スター数を算出 各コメントのスター数を出し、上位10個を表示 後述するjsonの概要を見るとイメージがつきやすいかもしれません。 import json

このブログはこんな方におすすめ 緊急対応の初動を早めたい リモートワーク中心になり、緊急対応中の作業分担や進捗確認が難しい Google Apps Script で緊急対応時の Slack 操作を自動化してみた の Python 版がほしい 2021年6月11日に以下のセッションに登壇しました。本ブログでは登壇中に紹介するとお伝えした関数をご紹介します。また背景についても改めて少し記載しています。 業界特化事例紹介セッション SIer編 | Slack はじめに クラスメソッドでは Slack API を活用することで、いくつかある緊急対応の初動が約30分早くなりました。 では、どのように活用して初動対応を迅速化したのでしょうか。 本ブログでは、クラスメソッドの緊急対応の一つである、AWS 不正利用対応を例に紹介します。 AWS 不正利用とは、AWS アクセスキーの漏洩などが原因で発生しま

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「TensorFlow」は当初、Google Brain Teamのディープラーニング研究プロジェクトだったが、Googleの50のチームの共同作業によって新たなオープンソースライブラリーとなり、「Google Assistant」「Google Photos」「Gmail」「Google Search」など、Googleのエコシステム全体に展開された。GoogleはTensorFlowを導入したことで、知覚や言語理解のタスクを使用して、ディープラーニングをさまざまな分野に応用することができる。 この入門記事では、TensorFlowに関する最新情報を紹介する。 概要 どんなものなのか：Googleは世界最大の機械学習インフラストラクチ

DeNA社内の技術共有会でFastAPIの便利さについて語った資料です。 ▼ 要点 ・機械学習の推論API立てる用途ならFastAPIが便利 ・型定義で開発UXばっちり ・ドキュメント自動生成でつなぎこみも円滑 ▼ ソースコード https://github.com/amaotone…

Bolt とは & 自己紹介 近年、Slack のプラットフォーム機能開発チームは、Slack 連携アプリを作るための公式フレームワークである「Bolt（ボルト）」の開発と普及活動に力を入れています。私はこの Bolt の開発を担当しています（特に Python と Java は大部分を私が手がけたので、思い入れもひとしおです）。 Bolt を使うと Web API を使ってメッセージやファイルを投稿して通知するだけのシンプルな連携ではなく、ボタンやモーダルを活用したインタラクティブなアプリを簡単に作ることができます。また、そのような UI 部品を使わない場合でも、Bolt を使うと Events API の受信とリスナー関数の実装を非常に簡単に実装することができます。 今年のアドベントカレンダーは、まだそこそこ空きがあるようなので、埋まらなかった日については、この Bolt のノウハウを

こんにちは、けんにぃです。ナビタイムジャパンで公共交通の時刻表を使ったサービス開発やリリースフローの改善を担当しています。 今回は Python 製の Web フレームワークとして FastAPI を導入した話をしようと思います。 Python 製の Web フレームワークPython には代表的な Web フレームワークが 2 つあります。 ・Django: フルスタックフレームワーク ・Flask: マイクロフレームワーク Django は大規模開発向け、Flask は小中規模開発向けと言われますが、今回開発したサーバは小規模なサーバだったため、以前は Flask で開発していました。 しかし、どちらのフレームワークを使う場合でも下記のような機能を使おうとするとプラグインやサードパーティの助けを借りる必要があります。 ・OpenAPI ・JSON Schema ・GraphQL ・We

時系列モデルを扱う上でデファクトスタンダードになりそうなPythonライブラリが出てきました。 時系列モデルを扱うPythonライブラリは、 scikit-learn のようなデファクトスタンダードなものがありません。そのため時系列モデルを用いて実装を行うためには、様々なライブラリのAPIなどの仕様を理解しつつ、それに合わせてデータ整形を行い、評価する必要があり、これはなかなか辛い作業でした。 スイスの企業 Unit8 が今年(2020年)6月末に公開した Darts はまさにこういった課題を解決するライブラリです。時系列に関する様々なモデルを scikit-learn ベースのAPIで統一的に扱うことができます。 github.com Darts は現在、下記のモデルに対応しています。内側では statsmodels 、 Prophet(stan) 、 Pytorch などを使っていて、

概要 Google翻訳APIをPythonで実行するでは、四苦八苦しながらも、Google翻訳APIにより、テキストファイルに書かれた英文を日本語に翻訳するPythonスクリプトを書いた。 元々の動機は論文の翻訳する際に、ちまちまGoogle翻訳にコピペするのが面倒くさいということであった。 そこで今回は、Pythonスクリプトを拡張し、PDFの論文を一気に翻訳するようにしたので共有したい。 そもそもなんで日本語に翻訳して論文を読むの？ もちろん、細かい内容は原文を精読する必要がある。そりゃそうだ。 日本語で読む理由はなんといっても、論文の内容を俯瞰的に把握できるということに尽きる。 俯瞰的に把握できることで、以下のメリットがある。 俯瞰的に把握した上で原文を読むことになるため、より早く理解することができる。 俯瞰的に把握できるため、原文を読む前に、自分にとって読む必要がある論文かどうかか

コンサルティング部の西野です。 AWS Lambda からサービスアカウントを使用して Google APIs を叩く機会がありましたので、その手順を紹介します。 やりたいこと G Suite ドメイン内のユーザーによって Google Drive 上に保存されたファイルの名称を AWS Lambda 経由で取得することをゴールとします。 構成図 server-to-server (Lambda to Google API) で API をコールするためサービスアカウントを用いる Using OAuth 2.0 for Server to Server Applications AWS リージョンはアジアパシフィック（東京）/ ap-northeast-1 を使用 API コール用のサービスアカウントキーを SSM Parameter Store に SecureString として保存す

さまざまなクラウドサービスに対応するPython向けのクラウド操作ライブラリ「Apache Libcloud」開発チームは4月15日、最新のメジャーリリースとなる「Apache Libcloud 3.0.0」のリリースを発表した。本リリースではPython 2.7および3〜3.5のサポートが廃止されている。 Apache Libcloudは、統一されたAPIでさまざまなクラウド事業者のクラウドサービスを操作できるPythonライブラリ。提供されるAPIは大きく分けて「Compute」や「Storage」、「Load Balancers」、「DNS」、「Container」、「Backup」の6種類で、対応するクラウドサービスはAmazon Web Services（AWS）、OpenStack、Microsoft Azure、Google Cloud Platformなど50以上。Pyth

はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに

以下の投稿は、自社でOSSとPythonを組み合わせてRPAを実施したシステムエンジニアが感じた、RPAの現状の問題とその解決策の概要です。また、あくまで個人的な意見です。 低コストRPAを試みた背景 エンジニアの現場に止まらず、近年ではRPAを駆使した業務改善が試みられています。職場にもよりますが、RPAの一般的なプロセスとしては以下のようになると思います。 (RPAのプロセス) 現在の業務内の課題の洗い出し 業務内容の改善とRPAツール適用の要件定義/設計 RPAツール内の開発/セットアップ RPAツールの運用/保守 プロセスの2段目から出てくるRPAツールのPackageとして、有名なものは様々なものがあり、書籍も多く発行されています。 私の現場でもこれらを導入することを検討しましたが、以下の理由からこれらのRPAツールを導入することが一旦見送られました。 (RPAツールの問題) 問

はじめに 以下のコードはすべてGoogle Colab ノートブックで共有していますので、実際に1つ1つ実行して試すことができます 重要なこと 時系列データを取り扱う対象として日経平均株価を用いています。株価をプロットして遊んでみるなどしますが、その図を見て投資しろとか言うつもりは全くありません。投資は自己責任で行ってください。 目的 主にDataCampで学んだことの自分のためのまとめとして、Quandl APIを用いた株価推移の観察をやってみます。なお、僕は株は詳しくありません。 Qiitaアカウントを作ってアウトプットするのが一番の勉強になるって話を聞いたので、アウトプット練習も兼ねてます。やさしい先輩方いろいろ教えて下さい この記事を読んで得られると思われるもの Pythonを用いたAPIの叩き方 時系列データの処理 時系列データの図示 日経平均に対する感覚 参考元 DataCam

こんにちは。 現役エンジニアの”はやぶさ”@Cpp_Learningです。 仕事の都合もあり「C言語 ⇒ C++ ⇒ Python」の順にプログラミング言語を習得しました。 最近は、PythonとC/C++両方を使って仕事をしています。 Pythonでプログラミングをしていると…