はじめに Google Cloud Data CatalogからPythonを使ってデータを抽出する機会があり、詰まったところ、TIPSなどをまとめてみました。 Data Catalogを使って何をするか 今回使用した Data Catalogの機能面をGoogleのサイトから拾ってみました。 フルマネージドでスケーラビリティの高いデータ検出およびメタデータ管理サービス。 Data Catalog は、さまざまな Google Cloud システムからアセット メタデータをカタログ化できます。 Data Catalog API を使用して、カスタム データソースと統合することもできます。 データをカタログ化したら、タグを使用してこれらのアセットに独自のメタデータを追加できます。 組織が大きく、データが増えるほどに以下のような課題が生じてくる為、それらをメタデータとしてData Catalo

2. 過去の発表 2014年11月29日 TokyoWebMining #40 2 専門と一切関係ナシ 2chテキストマイニングとまとめサイトの自動生成 セクシー女優で学ぶ画像分類入門 3. 所属 自己紹介 2014年11月29日 TokyoWebMining #40 3 Twitter ID ｔｋｍ２２６１ 専門 経営工学/最適化 某データ分析会社 業務 分析何でも屋さん 機械学習との出会い 当時の研究が実用性 皆無 精神の逃げ道として 機械学習 を開始 研究が 詰んで、 趣味が本職に 言語、画像と幅広く 遊んでます

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

はじめに 今回は有名企業の公開されているエンジニア新人研修資料をまとめました。 昨今、新人向けの研修資料を公開する企業が増えています。 またクオリティーがかなり高いものが多く、初級者~中級者でも学びがある資料となっています。 資料の作り方も勉強になるので「勉強会で登壇している人」「企業の研修担当の人」にも有益な資料になっています。 この記事の主な対象者 有名企業の研修資料を網羅的に見たい人 エンジニア初級~中級者の人 独学で学習をしている人 研修資料の作成を今後していきたい人 ミクシィ まずはじめに紹介するのは、毎年新人向けの研修資料を公開している株式会社ミクシィです。 ミクシィの研修資料で公開されている内容は、 Git研修 データベース研修 設計・テスト研修 コンテナ研修 iOSアプリ開発研修 Androidアプリ開発研修 フロントエンド研修 ゲーム開発研修 Flutter研修 AI研修

形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un

じゅじゅ @jujulife7 完全無料で学べる有名企業のエンジニア研修資料（最新版）をまとめました。 エンジニアの方にお勧めなのは勿論ですが、総合職・デザイナー職がエンジニアと円滑にコミュニケーションとるための基礎知識が求められる時代かと思うので、文系職の方も是非保存して勉強みてください。 pic.twitter.com/sDek1U43q5

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

22新卒技術研修で実施したFlutter研修の講義資料です。 動画も後日公開予定です。 ハンズオン用リポジトリ https://github.com/mixigroup/2022BeginnerTrainingFlutter

Research FermiNet: Quantum physics and chemistry from first principles Using deep learning to solve fundamental problems in computational quantum chemistry and explore how matter interacts with light Company A new generation of African talent brings cutting-edge AI to scientific challenges Food security, healthcare and exploring the cosmos are among the ways students of a new pan-African Master’s

作ったもの タイトルはSimple Newsです。 サイトURLは、 こちらです。 ソースコードは こちらです。 Google News を参考にしました。 どんな機能があるの？ NewsAPIからニュースサイトの記事のデータを取得し、タイトルと画像を表示 NewsAPIは、世界中のニュースサイトから検索をかけて、情報を取得できるAPI ( Application Programming Interface ) OpenWeatherMapから取得した、現在の天気情報と5日間の天気予報を表示 OpenWeatherMapは、現在の気象やある期間の気候の予測データを取得できるAPI ページ遷移が高速 記事をクリックすると、記事が掲載されているサイトへ飛びます。 こんな感じでとてもシンプルで高速に動くニュースサイトです。 こんな人に読んでほしい Next.jsを使ってみたい初心者 外部APIを

------------------------------------------------------ 2024 年 1 月更新 本書がきっかけで「なんとか Docker を使えるようになりたい」というプログラマの方向けの入門書を秀和システム様から出版させていただけることになりました 開発系エンジニアのためのDocker絵とき入門 https://www.amazon.co.jp/dp/4798071501 紙書籍と電子書籍、どちらもございます この書籍と執筆経験は、みなさまからの驚くほどの高評価があればこそ得られた機会でした いつも本当にありがとうございます 書籍化に際しまして、この場で次のとおり説明させていただきます 1️⃣ 本書 ( Zenn ) は有料化しません 2️⃣ 本書 ( Zenn ) は今後更新しません 3️⃣ 本書 ( Zenn ) と出版される絵とき入門の違い

こんばんは、エンジニアの眠れない夜です。 ここではGoogleCloudPlatformのCloudStorageにPythonからファイルをアップロード・ダウンローする方法をご紹介します。 分かってしまえばなんて事のない事なのですが、なかなかファイルのアップロードとダウンロードができなくて何時間も費やしてしまいました。 このブログを読んでくださる方は5分もあればCloudStorage（クラウドストレージ）にファイルの保存、取得ができるようになります。 CloudStorage（クラウドストレージ）の概要 クラウドストレージにアクセスするにはサービス アカウントというクラウドストレージにアクセスするためのアカウントとバケット（ストレージ）を作成します。 作成したアカウントの認証キーを使って認証を行います。 あとはストレージにPythonプログラムからアクセス実行するだけ。 という3ステッ

AWS、ローコード開発ツール「AWS Step Functions Workflow Studio」リリース。サーバレスアプリをビジュアルプログラミング AWSは、AWS Lambda関数やAWSのサービスなどをフローチャートのようにアイコンを組み合わせることでプログラミングを行える、ローコードビジュアル開発ツール「AWS Step Functions Workflow Studio」（以下、Workflow Studio）をリリースしました。 Workflow StudioはWebブラウザから利用する開発環境です。左側にAWS Lambda関数の呼び出しやAWSのさまざまなサービスがアイコンとして並んでいます。 Workflow Studioで開発された内容は、最終的にJSONベースのコード「Amazon States Language」( ASL）として出力されます。 Amazon S

ZOOMもUberもNetflixも、たった3万円で全てのシステム/アプリを作れるノーコードの衝撃 2021.06.09 Updated by Ryo Shimizu on June 9, 2021, 14:40 pm JST プログラマーというのは長じるとプログラムを書かなくなるものである。 特に最近はWebサイトくらいの簡単なものでも、決まり事が多くて書くのが億劫になってしまった。 大学生が適当に書いたHTMLをネットにバラ撒き散らしていた時代と異なり、今はSSL対応が必須になり、そのための証明書の管理もしなければならないし、スマートフォンでもPCでもタブレットでも綺麗にコンテンツが見えなければならない。 そうなると、もはやそれが専業の人以外は、お手上げだ。というか、できるだけ触りたくない、というのが本音である。 ところで筆者が創設に関わった「全国小中学生プログラミング大会」も今年で第

この記事は古川研究室 Advent_calendar 9日目の記事です。 本記事は古川研究室の学生が学習の一環として書いたものです。内容が曖昧であったり表現が多少異なったりする場合があります。 はじめに Beverage Preference Data Set の紹介をかねて記事を描こうと思ったのですが、まだプログラムが動いていないので、随時編集していきます. Beverage Preference Data Set Beverage Preference Data Set は古川研究室が公開している関係データの実データです. 細かい規約等はリンク先を参考にしてください. 604人のユーザーに 14種類の飲料水 を 11のシチュエーションごとにどう評価するのかアンケートをとったデータです. つまり, (人) x (飲料水) x (状況) の３つの母集団の要素の組み合わせによって観測された関

WindowsでJupyter notebookにJulia v1.0を追加してHello,WorldするまでのメモJuliaJupyter 背景 Julia v1.0をJupyter notebookから使えるようにするまでちょっとてこずったのでそのメモ。 前提条件 Windows 10 64bit Anaconda3(Jupyter notebook含む)はすでにインストールされた状態（Anaconda3をインストールしたときのメモはこちら）。 方法 Anaconda環境外にJuliaをインストールする 1-1. Juliaの公式ページにアクセスし、julia-1.0.0-win64.exeをダウンロードした。 1-2. C:\Users\（ユーザ名）\Julia-1.0.0にインストール。 1-3. ユーザ環境変数に変数名PATH、値C:\Users\（ユーザ名）\Julia-1.0

今回はJulia(ver1.1.0)を導入し、Jupyter Notebookで使用する方法を記載致します。 必要なもの Python3 (Anaconda3) Jupyter Notebook Julia 1.1.0 Anaconda, Jupyter Notebookについては過去の記事で記載していますので、今回は省略します。 Juliaのダウンロードとインストール Juliaの公式サイトより、Juliaをダウンロードします。 ダウンロードしたファイルを実行するとxx% Extractingというウィンドウが開きますので少し待ちます。 少し待つと、The Julia Language Setupといったウィンドウが開きますので、インストール先のフォルダを指定してInstallをクリックします。 インストールが終わると、ダウンロード先フォルダを確認　と　デスクトップショートカットとスター

この投稿はLancers（ランサーズ） Advent Calendar 2018の6日目の記事です。 昨日はyKanazawaによるランサーズ版SQLチューニングポリシーという記事でした。 今日は、ランサーズ内にNas!というお互いに感謝を送り合うようなツールを導入した話を書いていきます。 お互いに感謝を送り合うようなツールとは？ いわゆるピアボーナス的な感じ。従業員同士がお互いに報酬や感謝を贈り合うことができる仕組みのことを指してます。 導入することで従業員同士のコミュニケーションが活発化したり、社内の良い出来事が見えやすくなるなどのメリットがあります。 導入して数日ですが、以前に比べて積極的に褒め合う空気が生まれてきたかなと感じています。 実装内容 ランサーズではSlackをメインのチャットツールとして使用しているので、そこで動作するツールとして実装しました。 このサービスはNAS!と