2016ǯ12��28��

�����ؽ���ǥ����ꤹ����ˡ

¤³¤Î¥¨¥ó¥È¥ê¡¼¤ò¤Ï¤Æ¤Ê¥Ö¥Ã¥¯¥Þ¡¼¥¯¤ËÄɲÃ
follow us in feedly
�Ƕ�ϳؽ��Ѥߤε����ؽ���ǥ�������饢�������Ǥ�����֤ˤ��Ƥ��륵���ӥ�����������Ƥ��ޤ�����
�����ȼ����˴ؤ��븦��⤢��ޤ���




Stealing Machine Learning Models via Prediction APIs
Florian Tramer ����EPFL
Fan Zhang����Cornell University
Ari Juels����Cornell Tech, Jacobs Institute
Michael K. Reiter����UNC Chapel Hill
Thomas Ristenpart����Cornell Tech
USENIX Security. 2016.


�����ؽ���ǥ�ϵ�̩����Τ褦��ʪ�Ǥ��뤬����ǥ�ε�ư����н���뤫�⤷��ʤ���
����ϤɤΤ褦�ʹ�����ˡ���ȸ����ȡ��֥�å��ܥå������������Ǥ��äƤ⡢�ؽ���ǥ�Υѥ�᡼���ޤ��ϥǡ����˴ؤ���������μ����ʤ�����Ԥϥ�ǥ�ε�ǽ��ʣ������ʤ��ʤ���������סˤ��Ȥ���Ū�Ȥ��롣
��ŵŪ�ؽ�����������Ȥϰۤʤ��������Υ����ӥ��Ǥϡ���ħ�٥��ȥ�����ϤȤ��Ƽ�����ꡢͽ¬�ͤ�ޤ࿮���ͤ��֤��Ƥ��롣

�����Ƨ�ޤ���С��������ƥ��å��󵢡��˥塼���ͥåȥ���������ڤʤɤΰ���Ū�ʥ�ǥ륯�饹�ˤϤܴۤ����ʳؽ���ǥ����н�����ΨŪ�ʹ�����ˡ����Ƥ��뤳�Ȥ�����롣
BigML��Amazon Machine Learning�Υ���饤�󥵡��ӥ����Ф��뤳���ι����¾ڤ�����
����ˡ���ǥ���Ϥ��鿮���ͤ��ά����Ȥ����������к��Ǥ����������Ȥ�������Ū��ͭ���ʥ�ǥ���й���������

����ʸ�Ǥϡ��ؽ���ǥ�����֤ȡ���������ǥ�����к���ɬ������Ĵ���Ƥ���





Machine learning services.
A number of companies have launched or are planning to launch cloud-based ML services.
A common denominator is the ability of users to upload data sets, have the provider run training algorithms on the data, and make the resulting models generally available for prediction queries.

table2




Service White-box Monetize Confidence Scores Logistic Regression SVM Neural Network Decision Tree ��
Amazon x x �� �� x x x ��
Microsoft x x �� �� �� �� �� ��
BigML �� �� �� �� x x �� ��
PredictionIO �� x x �� �� x �� ��
Google x �� �� �� �� �� �� ��

��White-box�פȤϡ��������줿��ǥ���������ǥ���������ɤ��ƻ��Ѥ��뤳��
��Monetize�פȤϡ��桼��������ǥ�ؤΥ֥�å��ܥå�������������¾�Υ桼�����˲ݶ⤹�뤳��




4 Extraction with Confidence Values

�ޤ����������ͤ��֤�ͽ¬API�����ܤ�����й�����ˡ
�����Ǥϡ�logistic regressions (LR), neural networks, and decision trees�����оݤȤ��Ƥ��롣
4.1 Equation-Solving Attacks

¿���ε����ؽ���ǥ�ϡ�����x�ȼ¿��ͥ�ǥ�ѥ�᡼����Ϣ³�ؿ��Ȥ��ƥ��饹��Ψ��׻����Ƥ���
���ξ�硢���Υ��饹��Ψ�򼨤�API�ϡ�̤�Υ�ǥ�ѥ�᡼�����������Ȥ��Ƹ��뤳�Ȥ��Ǥ���
����ץ� (x, f(x)) ��Ũ���󶡤�����ˤʤ�
4.1.1 Binary logistic regression


��ñ�ʽ�ȯ���Ȥ��ơ��������ƥ��å��󵢡�LR�ˤΥ�������Ƥ����
LR�Ϥ��Υ���ץ뤵�ȸ�Ψ���Τ���Ǥ����Ū������ʬ���ΰ�ĤǤ��ꡢ¿����ʬ��ǹ������Ѥ���Ƥ��ꡢtable2���ƤΥ����ӥ��ǥ��ݡ��Ȥ���Ƥ��롣


�������ƥ��å��󵢤�
stealing

�Ǥ��뤫�顢
w ����Ӧ¤������뤿��ˤϡ�d + 1�ĤΥ���ץ뤬ɬ�׽�ʬ�Ǥ����x��������Ω�Ǥ������
����ϵ����ؽ���ǥ륵���ӥ��ؤ�ñ��ΥХå��׵�ʤ����ˤ����뤳�Ȥ�����롣
������й��������ñ���������Ƥ�������ƤΥ��饦�ɥ١����Υ����ӥ��ˡ���̿Ū�ʷ�̤�⤿�餹��ǽ������������

��ǥ빽�۳ؽ��κݤϡʥǡ���D�� D>>d ���絬�ϥǡ�����ȤäƳؽ�����Τ�
�鷺��d+1��Υ��������ǥ�ǥ��Ƹ��Ǥ������Υ�ǥ�ϲݶ��ǥ�Ǥ�����⤢��Τǡ��������ʧ�äƤǤ��ǥ�������ͤϤ��롣
���פʤΤϡ���Х����Ȥ�| D |�Ȥ���Ω���Ƥ��뤳�ȤǤ���






4.1.2 Multiclass LRs and Multilayer Perceptrons


���ι���ϡ��ޥ�����饹��c> 2�ˤ�LR�䡢
Deep neural network��ޤ�֥������ƥ��å��ץ쥤�䡼����Ĥ��٤ƤΥ�ǥ륯�饹�˹���Ŭ�ѽ���롣

multiclass logistic regression��MLR�ˤϡ����줾�줬�ѥ�᡼��wi bi��ͭ����c�Х��ʥ��ǥ���Ȥ߹�碌�ƥޥ�����饹��ǥ��������롣
��Ƥ�������٤ƤΥ����ӥ���MLR�����Ѳ�ǽ�Ǥ��ä���

.......................

������ˡ���Ȥ߹�碌�ˤϡ�softmax �� one-vs-rest (OvR)������ब����

���եȥޥå����Ǥϡ����Ƥγؽ��ǡ�����Ϣ��¿��ʬ�ۤ�Ŭ�礵���롣
OvR��ǥ�ϡ��ƥ��饹���Ф����̸Ĥ�LR��ؽ��������饹��Ψ�����������롣

A common method for solving such a system is by minimizing an appropriate loss function, such as the logistic loss.
With a regularization term, the loss function is strongly convex, and the optimization thus converges to a global minimum (i.e., a function ^f that predicts the same probabilities as f for all available samples).
A similar optimization (over class labels rather than probabilities) is actually used for training logistic models. Any MLR implementation can thus easily be adapted for model extraction with equation-solving.

���Υ��ץ������ϼ�����deep�˥塼���ͥåȥ���ˤ��ĥ�Ǥ��롣
�ޤ����������Ѵ��򤹤٤Ƥ����ϡ�hidden layer�ˤ�Ŭ�Ѥ��롣
�������Ѵ����줿���֤�softmax�󵢤�Ŭ�Ѥ���¿�إѡ����ץȥ����MLP�ˤ�ͤ��롣











��й���μ���Ȥ��Ƥ�Amazon Machine Learning����

5 Online Model Extraction Attacks
5.2 Case Study 2: Amazon Web Services

Amazon Machine Learning�Ǥϥ������ƥ��å��󵢤�ȤäƤ�����������Ƥ���Τ���
https://aws.amazon.com/jp/machine-learning/details/
Amazon Machine Learning �Ǥϡ���������֥�Ƿ�ϴ�ʶȳ�ɸ��� ML ���르�ꥺ��μ�������Ѥ��Ƥ��ޤ���Amazon Machine Learning ����Ѥ���ȡ���ȯ�Ԥϡ��Х��ʥ�°���ʥХ��ʥ�ʬ��ˡ����ƥ���°����ʣ�����饹ʬ��ˡ�����°���ʲ󵢡����ͤ�ͽ¬�����ǥ������Ǥ��ޤ������Ȥ��С��Х��ʥ�ʬ���ǥ����Ѥ��ƥ����֥����ȤΥ����Ȥ����ѥ�Ǥ��뤫�ɤ����ʡ֤Ϥ��פޤ��ϡ֤������פʤɡˤ�ͽ¬�Ǥ��ޤ���ʣ�����饹ʬ���ǥ����Ѥ���ȡ��������ޡ������ӥ��Υꥯ�����ȡʡ�����ס��ֵ��ѥ��ݡ��ȡס�����ʸ���ơ������פʤɡˤ�ž�����ͽ¬�Ǥ��ޤ����󵢥�ǥ�����Ѥ���ȡ����ץꥱ�������ޤ��ϥ����ӥ��˴ؤ��뤪���ͤ���μ����䤤��碌�����������뤫��ͽ¬�Ǥ��ޤ���
4.1 ����ˡ�ǡ���ǥ��Ƹ��Ǥ��롣

................................
................................

7 Extraction Countermeasures


�����ޤǤ˼������褦�˵����ؽ���ǥ�ϥ֥�å��ܥå������������Ǥ���߽Ф����Ȥ���ǽ�Ǥ��롣

................................

����ʬ����Ƥ����ɸ�ˡ�ϡ������٤�������٤˻ͼθ��������
���٤����¤���ȡ�
��������ˡ����ξ�硢
����줿��̤ϡ���ɸf�ǤϤʤ������ΰ������ڤ�ΤƤ�ʪ�ˤʤ뤫��

�ؽ���ǥ���ݸ�뤿��Υᥫ�˥���Ȥ��ơ�
Differential privacy (DP) [DWORK, C. Differential privacy. In ICALP (2006)] �Ȥ����Ѽ�
[LI, N., QARDAJI, W., SU, D., WU, Y., AND YANG, W. Membership privacy: A unifying framework for privacy definitions. In CCS (2013), ACM.]
����Ƥ���Ƥ��롣

���󥵥�֥��ˡ�򥿡����åȤȤ��Ƽ¸����Ƥ��ޤ��󤬡�����Ԥϥ������åȴؿ������Ū�Ƥ�����������뤳�Ȥ��Ǥ��ʤ��Ȥ�����̣�ǡ���й�����Ф��Ƥ��������������ȹͤ����ޤ���
����ˤ⤫����餺�����󥵥�֥��ˡ�ϥ�ǥ����ʤɤ�¾�ι�����Ф����ȼ�Ǥ����ǽ�������롣
................................





�ȥ�å��Хå�URL

�����Ȥ���

̾��:
URL:
  ����òµ­²ï¿½ï¿½ï¿½ ɾ����  ï¿½ï¿½   ï¿½ï¿½
 
 
 
�������⸡��
¤Ë¤Û¤ó¥Ö¥í¥°Â¼ ²Ê³Ø¥Ö¥í¥°¤Ø
�ˤۤ�֥���¼
adsense
Archives
amazon
�ǿ�����
blogchart
<% for ( var i = 0; i < 7; i++ ) { %> <% } %>
<%= wdays[i] %>
<% for ( var i = 0; i < cal.length; i++ ) { %> <% for ( var j = 0; j < cal[i].length; j++) { %> <% } %> <% } %>
0) { %> id="calendar-60183-day-<%= cal[i][j]%>"<% } %>><%= cal[i][j] %>
QR������
QR¥³¡¼¥É
Recent Comments
<%==comments[n].author%>
<% } %>

'); label.html('\ �饤�֥ɥ��֥����ǤϹ���Υѡ����ʥ饤�������¬��Τ��᥯�å���(cookie)����Ѥ��Ƥ��ޤ���
\ ���ΥХʡ����Ĥ��뤫�������³���뤳�Ȥǥ��å����λ��Ѥ�ǧ������������ΤȤ����Ƥ��������ޤ���
\ �ޤ��������ͤ����ҥѡ��ȥʡ���Ȥˤ��������μ�³���ˤ�ꡢ���å����λ��Ѥ�������뤳�Ȥ�Ǥ��ޤ���
\ �ܺ٤��饤�֥ɥ����ѵ���򤴳�ǧ����������\ '); banner.append(label); var closeButton = $('