Symfoware

Ubuntu 18.04 + nginx + lua拡張モジュールでRedis Serverへ接続

事の発端はLINE APIを触っていた時。
LINE API + Google App Engine + Pythonでボットを作成する

POSTされた値を処理した後にレスポンスを返すわけですが、処理に手間取るとタイムアウトするんじゃないか。
だったら、受け取ったPOSTデータを一旦退避してとりあえず200レスポンスを返す。
退避しておいたデータをじっくり眺めて処理すれば、タイムアウトを気にしなくてよいのでは。

というわけで、nginxをlua拡張モジュール付きでUbuntu Server 18.04にインストール。
Redisにpostされたデータを登録してみます。

nginx-extras

nginx-extrasをインストールすれば、lua拡張モジュール付きでビルドされた
nginxがインストールできます。
apt-getでDebian 8 + lua nginx moduleの環境構築(nginx-extras)



動作確認のため、/etc/nginx/sites-available/defaultを編集。



locationの部分を編集します。

        location / {
                default_type 'text/plain';
                content_by_lua "ngx.say('Hello,lua!')";
        }

nginxの設定ファイルをリロード



ブラウザでアクセスしてみます。



luaが動いていますね。

スクリプトファイルの準備とデバッグ設定

毎回nginxの設定ファイルを変更するのは面倒なので、プログラム部分を別ファイルに記載できるようにします。
また、プログラムを書き換えるたびに設定ファイルをリロードするのも手間なので、
「lua_code_cache off」でスクリプトファイルをキャッシュしないよう指定しておきます。
※本番環境では使用しないほうが良いです。

        location / {
                lua_code_cache off;
                default_type 'text/plain';
                content_by_lua_file /var/dev/lua/sample.lua;
        }

編集がおわったらリロード。



/var/dev/lua/sample.luaにプログラムを記載してみます。

・sample.lua

ngx.say('Hello, from script')

ちゃんと読み込まれていますね。

lua-nginx-redis

redisへの接続はlua-nginx-redisを使ってみます。
https://github.com/openresty/lua-resty-redis

aptでインストール。



サンプルを実行してみます。

local redis = require "nginx.redis"
local r = redis:new()
-- データベース接続
local ok, err = r:connect("127.0.0.1", 6379, 0)
if not ok then
    ngx.say("failed to connect: ", err)
    return
end
-- データ登録
ok, err = r:set("dog", "an animal")
if not ok then
    ngx.say("failed to set dog: ", err)
    return
end
-- データ取得
local res, err = r:get("dog")
if not res then
    ngx.say("failed to get dog: ", err)
    return
end
if res == ngx.null then
    ngx.say("dog not found.")
    return
end
-- 取得したデータを表示
ngx.say("dog: ", res)

いい感じです。

postデータの登録

postされたデータを登録してみます。
過去記事が参考になりました。
nginx + luaで簡易ファイルストレージ

・sample.lua

local method = ngx.req.get_method()
if method ~= 'POST' then
    ngx.say('post only')
    return
end
-- bodyの解析
ngx.req.read_body()
-- body_dataを取得してみる
local req_body = ngx.req.get_body_data()
-- 取得できなかったら、ファイルに保存されている
if not req_body then
    -- テンポラリファイル名を取得
    local req_body_file_name = ngx.req.get_body_file()
    -- 内容をすべて読み込み
    local file = io.open(req_body_file_name, 'rb')
    req_body = file:read('*a')
    file.close()
end
local redis = require "nginx.redis"
local r = redis:new()
-- データベース接続
local ok, err = r:connect("127.0.0.1", 6379, 0)
if not ok then
    ngx.say("failed to connect: ", err)
    return
end
-- データ登録
ok, err = r:set("body", req_body)
if not ok then
    ngx.say("failed to set body: ", err)
    return
end
ngx.say('ok')

データ登録用のPythonスクリプトです。

・post.py

# -*- coding:utf-8 -*-
import urllib.request
import json
# 登録用のデータ
data = {
    'num' : 105,
    'alphabet' : 'alphabet-value',
    'str': '日本語登録テスト'
}
# JSON形式の文字列を取得
jsonstr = json.dumps(data).encode("utf-8")
url = 'http://192.168.1.102/'
request = urllib.request.Request(url, data=jsonstr, method='POST')
request.add_header('Content-Type', 'application/json')
# 登録実行
response = urllib.request.urlopen(request)
ret = response.read()
print('Response:', ret)

実行すると「ok」と応答が帰ってきました。



次はredisに登録されているはずのpostデータを取得してみます。

# -*- coding:utf-8 -*-
import json
import redis
r = redis.StrictRedis(host='192.168.1.102', port=6379, db=0)
rawdata = r.get('body')
data = json.loads(rawdata)
print(data['num'])
print(data['alphabet'])
print(data['str'])

実行結果



ちゃんとpostされたデータをredis経由で取得できました。

Riot ajaxで取得したjsonデータをテーブルに表示する(axios使用)

lua nginx moduleでデータベースにアクセスし、json形式のデータを返却することができました。
lua nginx moduleからMariaDB(MySQL)に接続する(lua-sql-mysql)

Riotで取得したjsonを表示してみようと思います。

axios

Riotにajax通信を行う機能はないので、別途ライブラリを使用することにしました。
こちらを参考に「axios」を使ってみます。
superagentとaxiosの使い分け
https://github.com/mzabriskie/axios

CDNを使うことにしました。
https://cdnjs.com/libraries/axios

json形式のデータ

lua nginx moduleからMariaDB(MySQL)に接続する(lua-sql-mysql)
こちらで使ったluaをそのまま使用することにしました。

local driver = require 'luasql.mysql'
env = assert (driver.mysql())
con = assert (env:connect('sample', 'root', 'P@ssw0rd', 'localhost', 3306))
-- 接続文字コードを変更
assert (con:execute('SET NAMES utf8mb4'))
-- データをを取得
result = {}
cur = assert (con:execute("SELECT id, value from t"))
row = cur:fetch ({}, "a")
while row do
 local copy_row = {}
 for field in pairs(row) do
 copy_row[field] = row[field]
 end
 table.insert(result, copy_row)
 row = cur:fetch (row, "a")
end
cur:close()
con:close()
env:close()
-- テーブルをjsonに変換
local cjson = require "cjson"
json_text = cjson.encode(result)
ngx.say(json_text)

テーブルの内容をそのまま返します。


nginxの設定ファイルの抜粋はこのようになりました。



/apiでアクセスされた時はluaを実行。
それ以外は、/var/www/htmlにあるファイルを表示します。


Riot + axiosを記載するhtmlファイルは、/var/www/html/index.htmlに配置します。

<!doctype html>
<html lang="ja">
    
<html>
 <head>
    <meta charset="UTF-8">
    <title>Riot + axios</title>
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
 </head>
 <body>
    <!-- ここにタグの内容を反映 -->
    <my-tag></my-tag>
 </body>
<!-- ここからRiotプログラム -->
<!-- カスタムタグ -->
<script type="riot/tag">
<my-tag>
 <h3>ボタンクリックでデータ取得</h3>
 
 <div><input type="button" value="追加" onclick={ add }></div>
 
 <table border="1">
    <thead>
     <tr>
        <td>id</td><td>value</td>
     </tr>
    </thead>
    <tbody>
    <tr each={ items }>
        <td>{ id }</td>
        <td>{ value }</td>
    </tr>
    </tbody>
 </table>
 
 var self = this;
 self.items = []
 
 
 add(event) {
     axios.get('/api')
        .then(function (response) {
            self.items = response.data
            self.update()
        })
        .catch(function (error) {
            console.log(error)
        });
 }
</my-tag>
</script>
<!-- マウント -->
<script src="https://cdnjs.cloudflare.com/ajax/libs/axios/0.16.1/axios.min.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/riot/3.4.0/riot%2Bcompiler.min.js"></script>
<script>
riot.mount('my-tag')
</script>
    
</html>

データが再描画されなくて悩みましたが、こちらが参考になりました。
Riot.jsでAjaxを使った非同期通信について


初期状態



ボタンクリック後




ちゃんとデーブルの内容が更新されました。

lua nginx moduleでMessagePackのデータを使用(lua-MessagePack)

lua nginx moduleでいろいろ試しています。
apt-getでDebian 8 + lua nginx moduleの環境構築(nginx-extras)
lua nginx moduleでjson形式のレスポンスを返す(cjson)
lua nginx moduleからMariaDB(MySQL)に接続する(lua-sql-mysql)

jsonの使い方に続き、MessagePackが使えるか調べてみます。

lua-MessagePackとluarocks

これでMessagePack形式のデータが扱えそうです。
lua-MessagePack

インストールにはluarocksを使うのが楽そう。
まず、aptでluarocksをインストールします。



luarocksでlua-messagepackをインストール。



インストールできた模様。


nginxの設定ファイル(/etc/nginx/sites-available/default)の抜粋はこうなります。




動作確認用に用意した/var/dev/lua/sample.lua

local mp = require 'MessagePack'
value = { true, { foo = "bar" } }
mp_value = mp.pack(value)
ngx.say(mp_value)

packでmessagepack形式に変換してくれます。
ブラウザで確認してみると、こんな表示になりました。





クライアントをPythonで記載してみます。
PythonでMessagePackを使用して、Mapのシリアライズと復元

pipでmsgpack-pythonをインストール。




サンプルはこうなりました。

# -*- coding:utf-8 -*-
import urllib2
import msgpack
f = urllib2.urlopen('http://192.168.1.104/')
packed = f.read().strip()
ret = msgpack.unpackb(packed, encoding='utf-8')
print ret

レスポンスデータの最後に改行が入ります。
stripで取り除いておかないと、こんなエラーになりました。




実行してみると、ちゃんと復元できています。

MariaDBからデータ取得

lua nginx moduleからMariaDB(MySQL)に接続する(lua-sql-mysql)
こちらのサンプルを流用し、jsonではなくmessagepack形式のデータに変更してみます。

lua側のプログラム

local mp = require 'MessagePack'
-- bodyの解析
ngx.req.read_body()
-- body_dataを取得してみる
local req_body = ngx.req.get_body_data()
-- もし取得できていなかったら、データはファイルに行っている
if not req_body then
    -- テンポラリのファイル名を取得。内容を全部読み込む
    local req_body_file_name = ngx.req.get_body_file()
    if req_body_file_name then
        local file = io.open(req_body_file_name, 'rb')
        req_body = file:read('*a')
        file:close()
    end
end
if not req_body then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end
-- postされた値を解析
-- unpackでバイナリからオブジェクトに変換
local post = mp.unpack(req_body)
local driver = require 'luasql.mysql'
env = assert (driver.mysql())
con = assert (env:connect('sample', 'root', 'P@ssw0rd', 'localhost', 3306))
-- 接続文字コードを変更
assert (con:execute('SET NAMES utf8mb4'))
-- 結果を取得
result = {}
cur = assert (con:execute(post.query))
row = cur:fetch ({}, "a")
while row do
 local copy_row = {}
 for field in pairs(row) do
 copy_row[field] = row[field]
 end
 table.insert(result, copy_row)
 row = cur:fetch (row, "a")
end
-- close everything
cur:close() -- already closed because all the result set was consumed
con:close()
env:close()
-- 結果セットをpackでバイナリに変換
mp_raw = mp.pack(result)
ngx.say(mp_raw)

クライアントとなるPython側のプログラム

# -*- coding:utf-8 -*-
import urllib2
import msgpack
data = msgpack.packb({u'query':u'select * from t where id = 2'})
f = urllib2.urlopen('http://192.168.1.104/', data)
mp_raw = f.read().strip()
mp_data = msgpack.unpackb(mp_raw, encoding='utf-8')
for row in mp_data:
    print row['id'], row['value']

思いの外あっさり動きました。

lua nginx moduleからMariaDB(MySQL)に接続する(lua-sql-mysql)

Debian 8にインストールしたlua nginx moduleでいろいろ試しています。
apt-getでDebian 8 + lua nginx moduleの環境構築(nginx-extras)
lua nginx moduleでjson形式のレスポンスを返す(cjson)

MariaDB(MySQL)への接続を試してみます。

lua-sql-mysql

luaからMariaDBに接続する方法を調べてみると、lua-sql-mysqlを使用するのが良さそうでした。
https://keplerproject.github.io/luasql/

apt-getでインストールします。




同じサーバーにMariaDBをインストール。
「sample」データベース、「t」テーブルを作成しておきました。

create table t (
id int not null,
value varchar(100) not null
);

サンプル

「t」テーブルにデータを登録。
結果をjson形式で表示してみます。

local driver = require 'luasql.mysql'
env = assert (driver.mysql())
con = assert (env:connect('sample', 'root', 'P@ssw0rd', 'localhost', 3306))
-- 接続文字コードを変更
assert (con:execute('SET NAMES utf8mb4'))
-- 一旦テーブルの内容を削除
assert (con:execute('DELETE FROM t'))
-- 登録するデータ
list = {
 { id=1, value='日本語テスト１', },
 { id=2, value='日本語テスト２', },
}
for i, row in pairs (list) do
 res = assert (con:execute(string.format([[
    INSERT INTO t
    VALUES (%s, '%s')]], row.id, con:escape(row.value))
 ))
end
-- 結果を取得
result = {}
cur = assert (con:execute("SELECT id, value from t"))
row = cur:fetch ({}, "a")
while row do
 local copy_row = {}
 for field in pairs(row) do
 copy_row[field] = row[field]
 end
 table.insert(result, copy_row)
 row = cur:fetch (row, "a")
end
-- close everything
cur:close() -- already closed because all the result set was consumed
con:close()
env:close()
local cjson = require "cjson"
json_text = cjson.encode(result)
ngx.say(json_text)

コネクション作成時の「env:connect」の引数は
データベース名,ID,パスワード,ホスト,ポート
となっており文字コードの指定はありません。

「SET NAMES utf8mb4」を実行して変更してやればうまく日本語が登録できました。

ブラウザで結果を表示してみます。

もう少し汎用的に

postで実行するsql文を受け取るように変更してみます。

local cjson = require "cjson"
-- bodyの解析
ngx.req.read_body()
-- body_dataを取得してみる
local req_body = ngx.req.get_body_data()
-- もし取得できていなかったら、データはファイルに行っている
if not req_body then
    -- テンポラリのファイル名を取得。内容を全部読み込む
    local req_body_file_name = ngx.req.get_body_file()
    if req_body_file_name then
        local file = io.open(req_body_file_name, 'rb')
        req_body = file:read('*a')
        file:close()
    end
end
if not req_body then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end
-- postされた値を解析
local post = cjson.decode(req_body)
local driver = require 'luasql.mysql'
env = assert (driver.mysql())
con = assert (env:connect('sample', 'root', 'P@ssw0rd', 'localhost', 3306))
-- 接続文字コードを変更
assert (con:execute('SET NAMES utf8mb4'))
-- 結果を取得
result = {}
cur = assert (con:execute(post.query))
row = cur:fetch ({}, "a")
while row do
 local copy_row = {}
 for field in pairs(row) do
 copy_row[field] = row[field]
 end
 table.insert(result, copy_row)
 row = cur:fetch (row, "a")
end
-- close everything
cur:close() -- already closed because all the result set was consumed
con:close()
env:close()
json_text = cjson.encode(result)
ngx.say(json_text)

結果を要求するクライアントはPythonで作成してみました。

# -*- coding:utf-8 -*-
import urllib2
import json
data = json.dumps({u'query':u'select * from t where id = 2'})
f = urllib2.urlopen('http://192.168.1.104/', data)
json_text = f.read()
json_data = json.loads(json_text)
for row in json_data:
    print row['id'], row['value']

狙い通りの実行結果です。





【参考URL】

LuaスクリプトからMySQLを利用するサンプル
https://keplerproject.github.io/luasql/examples.html
Luaのお勉強　テーブルの操作

lua nginx moduleでjson形式のレスポンスを返す(cjson)

Debian 8でlua nginx moduleが動く環境を用意し、デバッグ方法を調べました。
apt-getでDebian 8 + lua nginx moduleの環境構築(nginx-extras)

簡単な文字列をngx.sayで返却しましたが、json形式の文字列を返してみます。

cjson

luaでjsonを扱うにはcjsonが便利そうです。
lua-cjson-manual

aptでインストールできるか調べたところ、




lua-cjsonでインストールできそうです。

サンプル

こちらで作成した環境を使います。
apt-getでDebian 8 + lua nginx moduleの環境構築(nginx-extras)

nginxの設定ファイル(/etc/nginx/sites-available/default)の抜粋。




/var/dev/lua/sample.luaにプログラムを記載します。

local cjson = require "cjson"
value = { true, { foo = "bar" } }
json_text = cjson.encode(value)
ngx.say(json_text)

ブラウザで確認すると、ちゃんとjson形式の文字列になっているようです。




簡単なPythonのプログラムでも読み込みを試してみます。

# -*- coding:utf-8 -*-
import urllib2
import json
f = urllib2.urlopen('http://192.168.1.104/')
json_text = f.read()
print json_text
print '-' * 10
print json.loads(json_text)

ちゃんと復元できました。

もう少し複雑な例

postでjson形式のデータを受け取り、内容に応じで値を返却してみます。

lua側のサンプル

local cjson = require "cjson"
-- bodyの解析
ngx.req.read_body()
-- body_dataを取得してみる
local req_body = ngx.req.get_body_data()
-- もし取得できていなかったら、データはファイルに行っている
if not req_body then
    -- テンポラリのファイル名を取得。内容を全部読み込む
    local req_body_file_name = ngx.req.get_body_file()
    if req_body_file_name then
        local file = io.open(req_body_file_name, 'rb')
        req_body = file:read('*a')
        file:close()
    end
end
if not req_body then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end
-- postされた値を解析
local post = cjson.decode(req_body)
data = { status = 'ok', value = '取得したvalue：' .. post['value'] }
json_text = cjson.encode(data)
ngx.say(json_text)

リクエストの内容解析は過去の記事が役に立ちました。
nginx 1.6.2 + lua-nginx-moduleで簡易ファイルアップローダー


リクエストを送信するPython側のサンプル

# -*- coding:utf-8 -*-
import urllib2
import json
data = json.dumps({u'value':u'日本語'})
f = urllib2.urlopen('http://192.168.1.104/', data)
json_text = f.read()
json_data = json.loads(json_text)
print json_data['value']

実行結果




日本語も問題なく処理できていますね。


【参考URL】

https://www.kyne.com.au/~mark/software/lua-cjson-manual.html
nginxで静的jsonファイル配信時に日本語が文字化けしないようにする