C:\Python

Microsoft Windows [Version 10.0.17134.523]
(c) 2018 Microsoft Corporation. All rights reserved.

C:\Users\yoshi> python -V
  Python 3.7.2

C:\Users\yoshi> pip freeze
C:\Users\yoshi>

C:\Users\yoshi> python -m pip install --upgrade pip
C:\Users\yoshi> pip install pandas
C:\Users\yoshi> pip install pyodbc

C:\Users\yoshi>pip freeze
  numpy==1.16.1
  pandas==0.24.0
  pyodbc==4.0.25
  python-dateutil==2.7.5
  pytz==2018.9
  six==1.12.0

C:\Users\yoshi> cd/d "D:\OneDrive\ドキュメント\Project\Python"
D:\OneDrive\ドキュメント\Project\Python>

print("Hello world!")

D:\OneDrive\ドキュメント\Project\Python> python main.py
  Hello world!

D:\OneDrive\ドキュメント\Project\Python> tree /F
  D:.
  │  main.py
  └─ lib
       PyUtils.py

import lib.PyUtils

print("Hello world!")
instance = lib.PyUtils.HelloClass()
instance.HelloWorldByPyUtils()

class HelloClass:
    def HelloWorldByPyUtils(self):
        print("Hello PyUtils")

D:\OneDrive\ドキュメント\Project\Python> python main.py
  Hello world!
  Hello PyUtils

from lib.PyUtils import *

print("Hello world!")
instance = HelloClass()
instance.HelloWorldByPyUtils()

class HelloClass:
    def HelloWorldByPyUtils(self):
        print("Hello PyUtils")

D:\OneDrive\ドキュメント\Project\Python> python main.py
  Hello world!
  Hello PyUtils

CREATE TABLE 顧客 (
	  [所属] NVARCHAR(20) NULL
    , [氏名] NVARCHAR(20) NULL
    , [氏名（かな）] NVARCHAR(20) NULL
    , [メールアドレス] NVARCHAR(20) NULL
    , [住所] TEXT NULL
    , [誕生日] NVARCHAR(20) NULL
);

import pyodbc
import pandas as pd
import lib.PyUtils

# データ削除クエリを発行
SQL_TEMPLATE = "DELETE FROM [dbo].[顧客]"       # SQL原本
editSql = SQL_TEMPLATE                          # SQL原本に置換をかける
lib.PyUtils.ExecuteSQLBySQLServer(editSql)      # DELETE文の発行

# dbに突っ込むデータが入っているCSVはUTF-8
df = pd.read_csv(r"data\customer.csv")

# データ追加クエリを発行
SQL_TEMPLATE = "INSERT INTO [dbo].[顧客]([所属],[氏名],[氏名（かな）],[メールアドレス],[住所],[誕生日]) VALUES ('{0}','{1}','{2}','{3}','{4}','{5}')"
for line in df.values:
    editSql = SQL_TEMPLATE                      # SQL原本
    for i,col in enumerate(line):               # SQL原本に置換をかける
        editSql = editSql.replace('{' + str(i) + '}', col)
    lib.PyUtils.ExecuteSQLBySQLServer(editSql)  # INSERT文の発行

# 選択クエリを発行
SQL_TEMPLATE = "SELECT * FROM [dbo].[顧客]"     # SQL原本
editSql = SQL_TEMPLATE                          # SQL原本に置換をかける
df = lib.PyUtils.ReadQueryBySQLServer(editSql)  # SELECT文の発行
for line in df.values:
    print(','.join(line))                       # SQL結果を調理して提供

import pyodbc
import pandas as pd

def ExecuteSQLBySQLServer(sql):
    con = pyodbc.connect(r'DRIVER={SQL Server};SERVER=localhost\SQLExpress;DATABASE=db;UID=python;PWD=python;')
    cur = con.cursor()
    cur.execute(sql)
    con.commit()
    con.close()

def ReadQueryBySQLServer(sql):
    con = pyodbc.connect(r'DRIVER={SQL Server};SERVER=localhost\SQLExpress;DATABASE=db;UID=python;PWD=python;')
    df = pd.io.sql.read_sql(sql,con)
    con.close()
    return(df)

D:\OneDrive\ドキュメント\Project\Python> python main.py
  リクルート,本多 守,ほんだ まもる,[email protected],北海道,2019/2/1
  リクルート,早坂 健吾,はやさか けんご,[email protected],青森県,2019/2/2
  リクルート,立石 晋,たていし すすむ,[email protected],岩手県,2019/2/3
  リクルート,鷲尾 崇之,わしお たかゆき,[email protected],宮城県,2019/2/4
  リクルート,郭 卓司,かく たくじ,[email protected],秋田県,2019/2/5
  リクルート,大串 幹男,おおぐし みきお,[email protected],山形県,2019/2/6
  リクルート,島貫 典彦,しまぬき のりひこ,[email protected],福島県,2019/2/7
  リクルート,古城 英孝,こじょう ひでたか,[email protected],茨城県,2019/2/8
  リクルート,鯨井 健史,くじらい けんじ,[email protected],栃木県,2019/2/9
  リクルート,来栖 源太,くるす げんた,[email protected],群馬県,2019/2/10
  リクルート,塩井 崇浩,しおい たかひろ,[email protected],埼玉県,2019/2/11
  リクルート,諸田 清人,もろた きよひと,[email protected],千葉県,2019/2/12
  リクルート,神宮寺 善文,じんぐうじ よしふみ,[email protected],東京都,2019/2/13
  リクルート,池水 了,いけみず さとる,[email protected],神奈川県,2019/2/14
  リクルート,香椎 悠祐,かしい ゆうすけ,[email protected],新潟県,2019/2/15
  リクルート,真 修吾,ま しゅうご,[email protected],富山県,2019/2/16
  リクルート,西薗 浩彦,にしぞの ひろひこ,[email protected],石川県,2019/2/17
  リクルート,鑓田 伸洋,やりた のぶひろ,[email protected],福井県,2019/2/18
  リクルート,根塚 政晴,ねづか まさはる,[email protected],山梨県,2019/2/19
  リクルート,中室 一起,なかむろ かずき,[email protected],長野県,2019/2/20
  リクルート,三俣 健士,みつまた けんじ,[email protected],岐阜県,2019/2/21
  リクルート,目崎 千裕,めさき ちひろ,[email protected],静岡県,2019/2/22
  リクルート,滝田 祐吾,たきだ ゆうご,[email protected],愛知県,2019/2/23
  リクルート,八本 真実,やもと まこと,[email protected],三重県,2019/2/24
  リクルート,織井 章広,おりい あきひろ,[email protected],滋賀県,2019/2/25
  リクルート,能丸 裕孝,のうまる ひろたか,[email protected],京都府,2019/2/26
  リクルート,順 恭,じゅん やすし,[email protected],大阪府,2019/2/27
  リクルート,幸島 樹一郎,こうじま きいちろう,[email protected],兵庫県,2019/2/28
  リクルート,下津浦 光也,しもつうら みつや,[email protected],奈良県,2019/3/1
  リクルート,安土 たかゆき,あんど たかゆき,[email protected],和歌山県,2019/3/2

D:\OneDrive\ドキュメント\Project\Python>

import pyodbc
import pandas as pd
import lib.PyUtils

# データ削除クエリを発行
SQL_TEMPLATE = "DELETE FROM [dbo].[顧客]"       # SQL原本
editSql = SQL_TEMPLATE                          # SQL原本に置換をかける
lib.PyUtils.ExecuteSQLBySQLServer(editSql)      # DELETE文の発行

# dbに突っ込むデータが入っているCSVはUTF-8
df = pd.read_csv(r"data\customer.csv")

##################################
# ここで pandas でデータ加工します #
##################################

Python 3.7.2 (tags/v3.7.2:9a3ffc0492, Dec 23 2018, 23:09:28) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> import pandas as pd

# サンプルデータを用意
>>> df = pd.DataFrame([np.nan, 2, np.nan, 0])
>>> df
             0
        0  NaN
        1  2.0
        2  NaN
        3  0.0

# No.1 NaN(欠損値)を0へ置換
>>> df = df.fillna(0)
>>> df
             0
        0  0.0
        1  2.0
        2  0.0
        3  0.0

# No.2 文字に変換して5桁ゼロ埋め
# astype(str)   ...stringに型変換
# .str.         ...strメソッドへのアクセサ(.splitとかのコマンドが使えるようになる)
>>> df[0] = df[0].astype(str).str.zfill(5)
>>> df
               0
        0  000.0
        1  002.0
        2  000.0
        3  000.0

# No.3 dbが理解できるNullに変換
# NULLは無いこと（未定義），NaNは使えないこと(Not Available，欠損値)
# 標準ライブラリではNoneがNullに相当する．Sqlite3にNULLを入れたいときはNoneを渡す．
>>> df = pd.DataFrame([np.nan, 2, np.nan, 0])
>>> df = df.where(pd.notna(df), None)
>>> df

# No.4 列の削除（axis(意味:軸)を1にすると「列の...」の意味合いになるようだ）
>>> df = df.drop([0], axis=1)
>>> df
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]

# LotFrontageのNAを、近隣の家（Neighborhood）単位でLotFrontageのmedianを取って、その値で埋める
print(data['LotFrontage'].isnull().sum()) #欠損値259
data["LotFrontage"] = data.groupby("Neighborhood")["LotFrontage"].apply(lambda x: x.fillna(x.median()))
print(data['LotFrontage'].isnull().sum()) #欠損値0

# lambda 仮引数: 返り値
# この lambda関数 で使用する引数を x と定義する
# x は グループ別に split されたうちの 1つ の明細が全量引き渡される
# つまるところ、全量の na に対して中央値で埋める となる
lambda x: x.fillna(x.median())

# ◆インポート
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
%precision 3 # 小数点3桁表記
%matplotlib inline # jupyterのみ
sns.set()

# ◆データを読み込む
data = pd.read_csv(r'data/kaggle_housing_price_revised.csv')

# ◆確認1 データの可視化
# 【pairplot】
sns.pairplot(data, hue='Category')  # hueは指定したグループごとに色分けしてくれる
# 【ヒストグラムつきの散布図】
sns.jointplot(x = 'temperature', y = 'beer', data = beer, color = 'black')
# 【箱髭図】
sns.boxplot(x = 'Line', y = 'Density', data = data, color = 'gray')
# 【散布図】
fig, ax = plt.subplots()
ax.scatter(x = data['GrLivArea'], y = data['SalePrice'])
plt.ylabel('SalePrice', fontsize=13)
plt.xlabel('GrLivArea', fontsize=13)
plt.show()

# ◆確認2 各データに占める欠損値の割合をグラフで
all_data_na = (data.isnull().sum() / len(data)) * 100
# 全部値が入っている（＝0）レコードを削除し、降順に並べる
all_data_na = all_data_na.drop(all_data_na[all_data_na == 0].index).sort_values(ascending=False)
f, ax = plt.subplots(figsize=(15, 12))
plt.xticks(rotation='90')
sns.barplot(x=all_data_na.index, y=all_data_na)
plt.xlabel('Features', fontsize=15)
plt.ylabel('Percent of missing values', fontsize=15)
plt.title('Percent missing data by feature', fontsize=15)
plt.ylim([0,100]) # 最大値を100としてスケールを固定

# ◆欠損値を埋める（確認2といったりきたり）
# None埋め:
for col in ('GarageType', 'GarageFinish', 'GarageQual', 'GarageCond'):
    all_data[col] = all_data[col].fillna('None')
# 0埋め:
for col in ('GarageYrBlt', 'GarageArea', 'GarageCars'):
    all_data[col] = all_data[col].fillna(0)
# 中央値埋め:
data["LotFrontage"] = data.groupby("Neighborhood")["LotFrontage"].apply(lambda x: x.fillna(x.median()))

# ◆強い相関関係にある変数の削除
threshold = 0.8
# data から相関行列（Correlation Matrix）を作成して表示する。その際、絶対値を適用して負の値をプラスに変換すること（corr()は数値列のみを演算対象にするため、corr_matrix.columns は目減りする）
corr_matrix = data.corr().abs()
# 対角線上は絶対に 1 になること、および、対角線より下の部分は、上の部分と情報が重複していることから 相関行列を上三角行列に変換 （corr_matrixを 0 or !0 でbool型と見立てて !0 を where で抜き出した、ということか）
upper = corr_matrix.where(np.triu(np.ones(corr_matrix.shape), k=1).astype(np.bool))
# 上三角行列から SalePrice以外の列について threshold 以上の値が1つ以上ある列を抽出
to_drop = [column for column in upper.columns if any(upper[column] > threshold)]
print('There are %d columns to remove.' % (len(to_drop)))
to_drop.remove('SalePrice')
data_dropped = data.drop(columns = to_drop)

# ◆ダミー変数化
data_dummied = pd.get_dummies(data_dropped)
data_dummied.head()

# ◆モデルの作成
# 【最小二乗法】
lm_model = smf.ols(formula = 'beer ~ temperature', data = beer).fit()
lm_model.summary()
# 【一般化線形モデル】
glm_model = smf.glm(formula = 'beer ~ temperature', data = data, family=sm.families.Binomial()).fit()
glm_model.summary()
# 【AIC点検】NULLモデルよりもAICが小さくなるかを見る
null_model = smf.ols('beer ~ 1', data = beer).fit()
print('null_model.aic: ', null_model.aic)
print('lm_model.aic: ', lm_model.aic)
print('気温という説明変数が入ったほうがAICが小さくなったので予測精度は高くなるのではないか')

# ◆（点検1）回帰直線
sns.lmplot(x = 'temperature', y = 'beer', data = beer, scatter_kws = {'color': 'black'}, line_kws = {'color': 'black'})
# 【確認1】気温0度の予測値は切片(intercept)と一致する
lm_model.predict(pd.DataFrame({'temperature':[0]}))
# 【確認2】気温20度の予測値は seaborn 回帰直線の位置に一致する
lm_model.predict(pd.DataFrame({'temperature':[20]}))

# ◆（点検2）選択したモデルを用いてQ-Q プロットで残差の正規性を確認
sm.qqplot(lm_model.resid, line = 's')
# 予測値と実際の SalePrice を 散布図で重ねて表示できる
x = range(len(data))
y = data['SalePrice']
plt.scatter(x, y)
plt.scatter(x, lm_model.predict(data))

# ランダムフォレストを実行し、検証用データでMSEを算出
model_random_forest = RandomForestRegressor(criterion='mse').fit(X_train, y_train)
mean_squared_error(y_test, model_random_forest.predict(X_test))
> 1322565474.5486445
# 何だよこの数字！？って思ったら「検証用データと予測値の平均二条の差」で検算できる
# ◆mse（平均二乗誤差） 対 手動mse による検算で納得感を得る
np.mean((y_test - model_random_forest.predict(X_test))**2)
> 1322565474.5486445
# modelを作ったら y と y^ を散布図に並べる
fig, ax = plt.subplots()
ax.scatter(x = y_test, y = model_random_forest.predict(X_test))
plt.ylabel('predict', fontsize=13)
plt.xlabel('SalePrice', fontsize=13)
plt.show()

# モジュールの読み込み
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler

# データ読み込み
dataset = pd.read_csv('data/baseball_salary.csv')

# 中身を'打率'と'打点'の列のみにする
dataset = dataset[['打率', '打点']]

# MinMaxScalerで正規化を実施
dataset_scaled = MinMaxScaler().fit(dataset).transform(dataset)

# 正規化後の打率と打点の散布図を描画する
fig, ax = plt.subplots()
ax.scatter(x = dataset_scaled[:,0], y = dataset_scaled[:,1])
plt.ylabel('points', fontsize=13)
plt.xlabel('batting average', fontsize=13)
plt.show()

# エルボーを見てクラスタ数を決定する（6だな...）
# WCSS: ノードから最短クラスタ中心への距離の総和（within-cluster sum of squares）
wcss = []
n_comps = np.arange(1, 10)
for k in n_comps:
    # KMeansの初期化。initはデフォルトで"k-means++"
    km = KMeans(n_clusters=k, init='k-means++').fit(dataset_scaled)
    # inertia_属性に、WCSSの値が入っている
    wcss.append(km.inertia_)
fig = plt.figure(figsize=(6, 4))
plt.plot(n_comps, wcss)
plt.xlabel("# of clusters")
plt.ylabel("WCSS")
plt.show()

# fitさせて散布図にプロットする（for文はクラスタのカラーリング）
km = KMeans(n_clusters=6, init='k-means++').fit(dataset_scaled)
fig = plt.figure()
ax = fig.add_subplot(1,1,1)
colors = ['dodgerblue', 'orange', 'green', 'tomato', 'blueviolet', 'cornflowerblue']
cluster_ids = list(set(km.labels_))
for k in range(len(cluster_ids)):
    average = dataset_scaled[km.labels_ == k, 0]
    points = dataset_scaled[km.labels_ == k, 1]
    ax.scatter(average, points, c=colors[k], s=3, label=f'cluster = {cluster_ids[k]}')
    ax.scatter(average.mean(), points.mean(), marker='*', c=colors[k], s=150)
ax.set_title('Clustering')
ax.set_xlabel('batting average')
ax.set_ylabel('points')
ax.legend(loc='upper right')