SlideShare a Scribd company logo

大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-

•
•
Yuya Unno
Yuya Unno

1. The document discusses the history and recent developments in natural language processing and deep learning. It provides an overview of seminal NLP papers from the 1990s to 2010s and deep learning architectures from 2003 to present. 2. Key deep learning models discussed include neural language models, word2vec, convolutional neural networks, and LSTMs. The document also notes the increasing interest and research in deep learning starting in 2012 by tech companies like Google, Facebook and Baidu. 3. Application examples mentioned include search engines, conversational agents, social media and news summarization tools.

1 of 96
Downloaded 85 times
- -
!  : 2006 3 !  : !  : 40 !  :
!  TopCoder’s Red Coder : 3 !  ICPC : 7 !  ICFP !  : 5 !  Publications: ACL, SIGKDD, NAACL, ALENEX, SODA, FOCS, STOC, DCC, SDM, ICDM, SPIRE, ESA, ICPR, MLJ, JMLR, NIPS, ECML/PKDD, Bioinformatics, Nucleic Acids Research !  Ex. SONY, IBM Research, Yahoo! Japan, Sun, Accenture, Microsoft, mixi, FAST Search&Transfer, TOPPAN Printing, NOMURA Security, GREE, KUMON, Google interns
!  !  !  !  ! 
!  -2008 !  !  2008-2011 !  !  2011- !  !  NLP 2014-
NLP YANS !  YANS 9 !  40 !  !  !  YANS 3 !  !  "
!  1 !  !  !  !  2 ! 
!  ! 
3 1.  2.  3. 
1.
!  !  !  !  !  !  WWW !  Blog !  SNS
!  !  !  !  !  !  SNS !  ! 
!  !  !  !  !  !  ! 
EC !  !  !  !  !  !  !  ! 
!  !  !  !  !  ! 
!  !  !  !  Google !  
 
 (
Intimate Merger !  2013/06/19 ! 
!  !  !  !  !  1 !  etc. !  UI
(1/2) !  SNS !  Twitter : 2.3 active user *1 !  Facebook : 11.9 active user *2 !  LINE : 2.0 user*3 !  !  Peer reviewed Journal 135 article / *4 !  4 10% , 15 2 !  conference proceedings *1 http://weekly.ascii.jp/elem/000/000/084/84331/ *2 http://www.prnewswire.com/news-releases/facebook-reports-third- quarter-2013-results-229923821.html *3 http://en.lineblog.naver.jp/archives/30767259.html *4 http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2909426/
(2/2) !  !  !  SNS, !  !  !  !  SNS !  ,
!  !  Google !  !  pull push twitter
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
tweet
http://gunosy.com https://www.smartnews.be/
!  !  !  !  !  !  ! 
2.
24 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h24/html/nc122310.html
!  ! 
: Siri https://www.apple.com/jp/ios/siri/ http://v-assist.yahoo.co.jp/ https://www.nttdocomo.co.jp/service/information/shabette_concier/
Gunosy, SmartNews http://gunosy.com https://www.smartnews.be/
1/2 !  !  1970 PC !  !  !  2000 ! 
2/2 !  !  RSS 2000 !  !  !  2000 ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
!  !  !  !  !  ! 
!  !  !  !  !  !  !  !  !  ! 
IoT
!  !  !  Google Now
!  !  <12:00 :25
!  !  !  !  !  !  ! 
!  !  !  !  !  !  ! 
3.
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
!  !  1993: [Brown+93] !  1996: [Berger+96] !  2001: [Lafferty+01] !  !  2003: Latent Dirichlet Allocation [Blei+03] !  2006: Pitman-Yor language model [Teh06] !  !  2006: [Clarke+06][Riedel+06] !  2010: [Koo+10][Rush+10] !  !  2003: Neural language model [Bengio+03] !  2010: Recurrent Neural Network [Mikolov+10] !  2012: Skipgram Model (word2vec) [Mikolov+13]
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
!  !  !  ! 
1. !  2011: 30% # 20% !  2012: 26% # 16% !  2013: 11% # 2014: 6.7% http://image-net.org/challenges/LSVRC/2012/ilsvrc2012.pdf
2. !  2012/3: Google Hinton DNNresearch !  2012/4: Baidu Institute of Deep Learning !  2012/8, 10: Yahoo! IQ Engines LookFlow !  2012/12: Facebook AI Lab LeCun !  2014/1: Google DeepMind !  2014/5: Andrew Ng Baidu !  2014/8: IBM SyNAPSE
3. !  2014/1 !  2014/10
!  !  !  !  !  !  ! 
!  !  !  Google !  !  ! 
Neural Network Language Model (NNLM) [Bengio +03] !  N NN !  N-1
Recurrent Neural Network Language Model (RNNLM) [Mikolov+10] !  t-1 t !  NNLM N !  !  http://rnnlm.org
Skip-gram (word2vec) [Mikolov+13] !  !  CBOW !  Analogical reasoning !  word2vec
(MV-RNN) [Socher +12] !  !  f !  Root
Dynamic Convolutional Neural Network [Kalchbrenner+14] !  CNN ! 
Long Short-Term Memory (LSTM) !  RNN !  !  tanh sigmoid sigmoid sigmoid
!  !  1 ! 
!  libsvm, liblinear !  !  JUMAN, Chasen, MeCab !  !  Moses (GIZA++) !  !  Stanford CoreNLP !  !  word2vec !  Skipgram !  Theano, Caffe, cuda-convnet !  ! 
Caffe (http://caffe.berkeleyvision.org/) !  !  !  Convolutional Neural Network !  CPU GPU !  1
!  !  1 !  !  !  ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
PFI 2010 Xappy 2012 !  2012 Gunosy !  !  ! 
Xappy !  !  Blog !  Twitter Facebook SNS !  !  4G !  !  !  etc. !  GUI
!  !  !  !  !  PC !  !  !  !  !  10 ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
40 vs 40
2008-2011 !  !  : 40 !  : R&D !  : B2B !  : 2011- !  PFI !  : 40 !  : R&D !  : B2B !  :
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
!  !  !  !  !  !  ! 
!  !  !  IBM PFI
!  !  ! 
!  !  !  !  !  !  ! 
!  !  !  !  !  !  ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
!  90 ! 
!  !  !  !  95 !  5 !  ! 
!  !  ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
1 12
503i 1 10KB iPhone6 1 10MB 12
CPU Pentium III 500MHz PC Apple A8 1.4GHz iPhone6 12
MD: 1 60 iPod shuffle: 500 30 12 wikipedia
!  !  !  ! 
12 !  !  !  DVD Blue-ray
!  !  ! 
!  I T π 

1 !  !  !  ! 
!  !  !  !  !  ! 
!  !  !  !  !  ! 
大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-
(1/4) !  [Brown+93] Peter F. Brown, Vincent J. Della Pietra, Stephen A. Della Pietra, Robert L. Mercer. The mathematics of statistical machine translation: parameter estimation. Computational Linguistics Vol. 19 (2), 1993. !  [Berger+96] Adam L. Berger, Vincent J. Della Pietra, Stephen A. Della Pietra. A Maximum Entropy Approach to Natural Language Processing. Computational Linguistics, Vol. 22 (1), 1996. !  [Lafferty+01] John Lafferty, Andrew McCallum, Fernando C. N. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML2001.
(2/4) !  [Blei+03] David M. Blei, Andrew Y. Ng, Michael I. Jordan. Latent Dirichlet Allocation. JMLR Vol. 3, 2003. !  [Teh06] Yee Whye Teh. A Hierarchical Bayesian Language Model based on Pitman-Yor Processes. ACL 2006. !  [Clarke+06] James Clarke, Mirella Lapata. Constraint-Based Sentence Compression: An Integer Programming Approach. COLING/ACL 2006. !  [Riedel+06] Sebastian Riedel, James Clarke. Incremental Integer Linear Programming for Non-projective Dependency Parsing. COLING/ACL 2006.
(3/4) !  [Koo+10] Terry Koo, Alexander M. Rush, Michael Collins, Tommi Jaakkola, David Sontag. Dual Decomposition for Parsing with Non-Projective Head Automata. EMNLP 2010. !  [Rush+10] Alexander M. Rush, David Sontag, Michael Collins, Tommi Jaakkola. On Dual Decomposition and Linear Programming Relaxations for Natural Language Processing. EMNLP 2010. !  [Bengio+03] Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin. A Neural Probabilistic Language Model. JMLR, 2003.
(4/4) !  [Mikolov+10] Tomas Mikolov, Martin Karafiat, Lukas Burget, Jan "Honza" Cernocky, Sanjeev Khudanpur. Recurrent neural network based language model. Interspeech, 2010. !  [Mikolov+13] Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. CoRR, 2013. !  [Socher+12] Richard Socher, Brody Huval, Christopher D. Manning, Andrew Y. Ng. Semantic Compositionality through Recursive Matrix-Vector Spaces. EMNLP2012. !  [Kalchbrenner+14] Nal Kalchbrenner, Edward Grefenstette, Phil Blunsom. A Convolutional Neural Network for Modelling Sentences. ACL2014.

More Related Content

大規模データ時代に求められる自然言語処理 -言語情報から世界を捉える-