第15回 Solr勉強会 #SolrJP Amazon CloudSearch Deep Dive
1. Amazon CloudSearch Deep Dive 2014年年12⽉月8⽇日 第15回 Solr勉強会 #SolrJP ã‚¢ãƒžã‚¾ãƒ³ãƒ‡ãƒ¼ã‚¿ã‚µãƒ¼ãƒ“ã‚¹ã‚¸ãƒ£ãƒ‘ãƒ³æ ªå¼ä¼šç¤¾ ç¯ åŽŸè‹±æ²» 2. Amazon CloudSearch Deep Dive ! Agenda • Who am I • Amazon CloudSearch Overview • Amazon CloudSearch Update • Inside Amazon CloudSearch • Amazon CloudSearch Pro Tips • Wrap up 3. Amazon CloudSearch Deep Dive ! Agenda • Who am I • Amazon CloudSearch Overview • Amazon CloudSearch Update • Inside Amazon Clou
Solrã®Spatial Searchを試ã—ã¦ã¿ãŸ - Y's note
å‰æ›¸ã 10代ã®é ƒã¯(ゴースト)ライターã¨ã„ã†è·æ¥ã«æ†§ã‚Œã¦ã„ãŸæ™‚期もã‚ã‚Šã¾ã—ãŸ@yutakikuchi_ã§ã™ã€‚ Geospatial Indexes and Queries ― MongoDB Manual 2.4.9 MySQL :: MySQL 4.1 リファレンスマニュアル :: 10.6.1 空間インデックスã®ä½œæˆ ä½ç½®æƒ…å ±Indexã‚’MongoDBã§ç®¡ç†ã™ã‚‹æ‰‹æ³•ã«ã¤ã„ã¦ã¯å‰ã«èª¿æŸ»æ¸ˆã¿ã§ã€mysqlã«ã‚‚Spatialindexã¯ã‚ã¾ã‚Šæ™®åŠã—ã¦ã„ãªã„å°è±¡ã€ã¨ã„ã†ã“ã¨ã§...今日ã¯æ¤œç´¢Solrã®Spatial Searchã«ã¤ã„ã¦èª¿ã¹ã¦ã¿ã¾ã™ã€‚最終的ã«ã¯Fessã‚„Nutchã§WebPageã‚’Crawlingã—ã¦å¾—ãŸä½æ‰€ãƒ‡ãƒ¼ã‚¿ã‚’Geocodingã§Lat/Lngデータã«å¤‰æ›ã—ã¦è‡ªå‰ã®Serverã«Indexingã—ã¦ã„ã事を考ãˆã¦ãŠã‚Šã€ãã®å‰æ®µéšŽã®ä½œæ¥ã§ã™ã€‚Solrã‚’é¸ã¶ç†ç”±ã§ã™ãŒSpa
solr3.6ã®èµ·å‹•æ™‚ã®ã‚¨ãƒ©ãƒ¼ï¼šorg.apache.solr.common.SolrException: undefined field text - 文系プãƒã‚°ãƒ©ãƒžã«ã‚ˆã‚‹TIPSブãƒã‚°
solr3.6をダウンãƒãƒ¼ãƒ‰ã—ã¦ã€ example â””solr â””conf ã®confを使用ã—ã¦ã„ã¦ã€tomcatã‚’èµ·å‹•ã™ã‚‹ã¨ã€ä»¥ä¸‹ã®ã‚¨ãƒ©ãƒ¼ãŒç™ºç”Ÿã—ã¾ã™ã€‚ 致命的: org.apache.solr.common.SolrException: undefined field text ãªã‚“ã ã‚ã†ã“ã‚Œã¯ã€‚ schema.xmlを見ã¦ã‚‚よã解りã¾ã›ã‚“。んんん？？ ã§ã¯solrconfig.xmlã®æ–¹ã‹ãªã€‚ジーーーッã¨è¦‹ã¦ã¿ã‚‹ã€‚ <listener event="newSearcher" class="solr.QuerySenderListener"> <arr name="queries"> </arr> </listener> <listener event="firstSearcher" class="solr.QuerySenderListener"> <arr name="querie
Sunburnt: a python-solr interface | Timetric Blog
Over the last few months, we’ve been hard at work behind the scenes at Timetric, and a few of the results are now to be seen on the website. If you’ve been paying close attention, you might have noticed the appearance of machine tags, and of the ability to search series by value. These are both reflections of one of the biggest changes we’ve made – we’ve entirely replaced the search infrastructure
solr3.6ã®pingã®ã‚¨ãƒ©ãƒ¼ï¼šorg.apache.solr.common.SolrException: undefined field text - 文系プãƒã‚°ãƒ©ãƒžã«ã‚ˆã‚‹TIPSブãƒã‚°
ã¾ãŸã“ã®ã‚¨ãƒ©ãƒ¼ãŒã§ãŸã®ã§ã¾ã¨ã‚ã¾ã™ã€‚ 2箇所ã§ã€Œorg.apache.solr.common.SolrException: undefined field textã€ãŒèµ·ãã¾ã—ãŸã€‚ solr adminã®ping solr admin㧠[ping] を押下ã™ã‚‹ã¨ä»¥ä¸‹ã®ã‚ˆã†ãªã‚¨ãƒ©ãƒ¼ãŒèµ·ãã¾ã—ãŸã€‚ HTTPステータス 500 - Ping query caused exception: undefined field text org.apache.solr.common.SolrException: Ping query caused exception: undefined field text at solrjã®solrServer.ping() solrjã§ä»¥ä¸‹ã®ã‚ˆã†ã«pingを実行ã™ã‚‹ã¨ã€ SolrServer solrServer = new LBHttpSolrServer("
MySQL ã®ãƒ‡ãƒ¼ã‚¿ã‚’ Solr ã«ã¶ã¡ã“ã‚€: ãŠã¡ã‚¨ãƒ³ã®ãƒ–ãƒã‚°
ã§ã€ãƒ†ãƒ¼ãƒ–ルã¯åˆ¶ç´„ã¯ã¤ã‘ã¦ã„ã¾ã›ã‚“ãŒã€ER図を書ãã¨ä»¥ä¸‹ã®ã‚ˆã†ãªæ„Ÿã˜ã€‚ データãŒå…¥ã£ã¦ã„ãªã„ã¨æ„味ãŒãªã„ã®ã§ã€ä¸‹è¨˜ã® SQL ã§ãƒ‡ãƒ¼ã‚¿ã‚’入れã¦ãŠãã¾ã™ã€‚ INSERT INTO maker(name) VALUES('apple'); INSERT INTO maker(name) VALUES('SONY'); INSERT INTO maker(name) VALUES('MicroSoft'); INSERT INTO product(mid, name) VALUES (1, 'iPhone'); INSERT INTO product(mid, name) VALUES (1, 'iPod'); INSERT INTO product(mid, name) VALUES (1, 'iPad'); INSERT INTO product(mid, name) VALUES (2,
SchemaXml - Solr - Apache Software Foundation
The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding documents to the index, or when querying those fields. Analysis for Multiterm queries can be separately specified, see: Multiterm Query Analysis, which handles automatically lowercasing wildcard queries under most circumstances. Solr3.6 Solr4.0 A samp
Solrã®å°Žå…¥è³‡æ–™ã‚’公開ã—ã¾ã™ - Hatena Developer Blog
ã“ã‚“ã«ã¡ã¯ã€ id:yanbe ã§ã™ã€‚ 全文検索エンジンLucene上ã«æ§‹ç¯‰ã•ã‚ŒãŸSolrã¨ã„ã†æ¤œç´¢ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ãŒã‚ã‚Šã¾ã™ã€‚拡張性・カスタマイズ性ã«å¯Œã¿ã€æ—¢å˜ã®ãƒ‡ãƒ¼ã‚¿ã®ã‚¤ãƒ³ãƒãƒ¼ãƒˆæ©Ÿèƒ½ãŒè±Šå¯Œãªã®ã‚‚ã‚ã£ã¦ã€åºƒã利用ã•ã‚Œã¦ã„ã¾ã™ã€‚ å‚考: Solr - Wikipedia 国内ã®ã‚¦ã‚§ãƒ–サービスã§ã®Solrã®æŽ¡ç”¨äº‹ä¾‹ã‚’挙ã’ã‚‹ã¨NAVERã‚„Cookpadã€ã‚¢ãƒ¡ãƒ¼ãƒãªã©ãŒã‚ã‚Šã¾ã™ãŒã€ã¯ã¦ãªã§ã‚‚以å‰ã‚ˆã‚Šä¸€éƒ¨ã®ã‚µãƒ¼ãƒ“スã§Solrを採用ã—ã¦ã„ã¾ã™ã€‚ Solrã®å…¬å¼ãƒ‰ã‚ュメント(英語)ã¯wikiå½¢å¼ã§æä¾›ã•ã‚Œã¦ãŠã‚Šã€ç¶²ç¾…çš„ãªæƒ…å ±ã¯ã“ã¡ã‚‰ã§æ‰‹ã«å…¥ã‚Šã¾ã™ã€‚ã¾ãŸã€Solrã®åŸºæœ¬çš„ãªä½¿ã„方をå¦ã¹ã‚‹ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«ã‚‚ã‚ã‚Šã¾ã™ãŒã€ã€Œã™ã§ã«ã‚る典型的ãªLAMP構æˆã®ã‚¦ã‚§ãƒ–サービスã«Solrã«ã‚ˆã‚‹æ¤œç´¢æ©Ÿèƒ½ã‚’組ã¿è¾¼ã‚€ã€ã¾ã§ã«ã¯ã€ã“ã“ã‹ã‚‰ã•ã‚‰ã«å¤šãã®æƒ…å ±ã‚’èª¿ã¹ã‚‹å¿…è¦ãŒã‚ã‚Šã€Solrã®å°Žå…¥ã®ãƒãƒ¼ãƒ‰ãƒ«ã¨ãªã£ã¦ã„ã‚‹ã¨æ„Ÿã˜ã¾ã—ãŸã€‚ ãã“ã§
検索エンジンã®å¸¸è˜ã‚’Apache Solrã§èº«ã«ã¤ã‘ã‚‹
表ã®ã‚ˆã†ãªè»¢ç½®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹å®Œæˆå¾Œã¯ã€ã‚¯ã‚¨ãƒªã«å¯¾ã™ã‚‹çµæžœã‚’è¿”ã™å‡¦ç†ã¯ç°¡å˜ã§ã™ã€‚例ãˆã°ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒã€ŒVimã€ã¨ã„ã†ã‚¯ã‚¨ãƒªã‚’発行ã™ã‚‹ã¨ã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã¯ã€ŒVimã€ã‚’å«ã‚€æ–‡æ›¸IDリストを返ã—ã¾ã™ã€‚表ã§ã¯æ–‡æ›¸IDã®ã€Œ2ã€ã‚’è¿”ã—ã¾ã™ã€‚ 検索エンジンをå–ã‚Šå·»ã7ã¤ã®æŠ€è¡“ 検索エンジンã®ã‚³ã‚¢æŠ€è¡“ã¯å‰ç¯€ã§ç´¹ä»‹ã—ãŸã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã§ã™ã€‚ã—ã‹ã—実際ã«ã€æ¤œç´¢ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã ã‘ã§æ§‹æˆã™ã‚‹æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‹ã‚‰ã€æ¤œç´¢ã‚µãƒ¼ãƒ“スを構築ã™ã‚‹ã«ã¯å¤šå¤§ãªã‚³ã‚¹ãƒˆãŒæŽ›ã‹ã‚Šã¾ã™ã€‚以下ã®ç¯€ã§æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚’利用ã—ãŸã‚·ã‚¹ãƒ†ãƒ ã€æ¤œç´¢ã‚µãƒ¼ãƒ“スを構築ã™ã‚‹éš›ã«ä¾¿åˆ©ãªã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã‚’紹介ã—ã¾ã™ã€‚ ã“れらã®æ©Ÿèƒ½ã®ã„ãã¤ã‹ã¯ã€å¤šãã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ãŒçµ„ã¿è¾¼ã‚“ã§ã„ã¾ã™ã€‚一方ã§ã€ç°¡ç´ ãªæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã¯ã€ä»¥ä¸‹ã§ç´¹ä»‹ã™ã‚‹ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã‚’サãƒãƒ¼ãƒˆã—ã¦ã„ãªã„ãŸã‚ã€ãƒ¦ãƒ¼ã‚¶ãƒ¼ãŒç‹¬è‡ªã«é–‹ç™ºã™ã‚‹ã‹ã€ãã®æ©Ÿèƒ½ã‚’æŒã¤ã‚³ãƒ³ãƒãƒ¼ãƒãƒ³ãƒˆã‚’組ã¿è¾¼ã‚€å¿…è¦ãŒã‚ã‚‹ã‚‚ã®ã‚‚ã‚ã‚Šã¾ã™ã€‚ ã€1】トークナイザ 検索エン
第3回solr勉強会(アメーãƒã«ãŠã‘ã‚‹solrã®åˆ©ç”¨)
Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 第3回solr勉強会(アメーãƒã«ãŠã‘ã‚‹solrã®åˆ©ç”¨) - Presentation Transcript 第3回 Solr勉強会 æ ªå¼ä¼šç¤¾ã‚µã‚¤ãƒãƒ¼ã‚¨ãƒ¼ã‚¸ã‚§ãƒ³ãƒˆ æ–°è¦é–‹ç™ºå±€ 安田 å¾å¼˜ 第3回 Solr勉強会 自己紹介 ・ 安田å¾å¼˜ï¼ˆã‚„ã™ã ã¾ã•ã²ã‚） ・ 2008å¹´ã‹ã‚‰ã‚¢ãƒ¡ãƒ¼ãƒã§åƒã ・ 今ã¾ã§é–¢ã‚ã£ãŸã‚µãƒ¼ãƒ“ス 2008å¹´ ～ 2010å¹´ - ブãƒã‚°ãƒã‚¿ 2010å¹´ ～ 2010å¹´6月 - アメーãƒã‚µãƒ¼ãƒ - ãªã†æ¤œç´¢ - タレント検索 ç¾åœ¨ã®æ‹…当 - アメーãƒã‚µãƒ¼ãƒã®è² è·æ”¹å–„åŠã³æ©Ÿèƒ½è¿½åŠ
æ…Žã¾ã—ã„構æˆã§ä½¿ã†Solr « NAVER Engineers' Blog
ãŠä¸–話ã«ãªã£ã¦ãŠã‚Šã¾ã™ã€é–‹ç™ºãƒãƒ¼ãƒ ã®æ± 上ã§ã™ã€‚ 最近ã¡ã‚‡ã£ã¨ã—ãŸæ¤œç´¢æ©Ÿèƒ½ã«Solrã‚’å°Žå…¥ã—ã¾ã—ãŸã€‚Solrã¯æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã®ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã§ã”å˜çŸ¥ã®æ–¹ã‚‚多ã„ã¨æ€ã„ã¾ã™ã€‚大è¦æ¨¡ãªæ§‹æˆã«ã‚ˆã‚‹å°Žå…¥å®Ÿç¸¾ãŒè±Šå¯Œã§Web上ã«ã‚‚ãŸãã•ã‚“ã®äº‹ä¾‹ãŒã‚ã‚Šã¾ã™ãŒã€ä»Šå›žã¯æ…Žã¾ã—ã„構æˆã®äº‹ä¾‹ã‚’紹介ã•ã›ã¦é ‚ã“ã†ã¨æ€ã„ã¾ã™ã€‚ 使用ã—ã¦ã„ã‚‹Solrã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯2012å¹´1月時点ã§æœ€æ–°ã®3.5.0ã§ã™ã€‚ ãªãŠã€æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚„Solrã«é–¢ã™ã‚‹åŸºç¤Žçš„ãªæƒ…å ±ã«ã¤ãã¾ã—ã¦ã¯ã€æœ‰ç”¨ãªè§£èª¬ãŒã™ã§ã«å¤šæ•°å˜åœ¨ã—ã¦ã„ã¾ã™ã®ã§å‰²æ„›ã•ã›ã¦é ‚ãã¾ã™ã€‚ 今回ã¯ã¤ãŽã®å‰ææ¡ä»¶ã¨è¦ä»¶ã‚’æ„è˜ã—ã¦æ§‹ç¯‰ã—ã¾ã—ãŸã€‚ å‰ææ¡ä»¶ サーãƒã¯æ¥µåŠ›å°‘ãªã‚㧠ミッションクリティカルãªæ©Ÿèƒ½ã§ã¯ãªã„ データé‡ã¯ãã‚Œã»ã©å¤šããªã„ è¦ä»¶ æ›´æ–°ã¯ã‚ã‚‹ç¨‹åº¦é »ç¹ é…ãã¨ã‚‚数分以内ã«ã¯ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã«æ›´æ–°ã‚’åæ˜ ã•ã›ãŸã„ 一般的ãªWeb検索ã®ã‚ˆã†ã«ã€Œã„ã„æ„Ÿã˜ã«è¦‹ã¤ã‘ã‚‹ã€ã‚ˆã‚Šã¯ã€Œï¼ˆå…¥åŠ›ã•ã‚ŒãŸã‚
全文検索サーãƒ: ã“ã‚Œã‹ã‚‰Solrを始ã‚る人ã®ãŸã‚ã®Apache Solr概è¦ã¨ä¾¿åˆ©ãªæƒ…å ±ãƒªã‚¹ãƒˆé›†
ã¯ã˜ã‚ã¾ã—ã¦ã€‚ プãƒãƒ€ã‚¯ãƒˆ&サービス事æ¥éƒ¨ リーダーã®ä¹…ä¿ã§ã™ã€‚ 今日ã¯ã€å½“社ã§åˆ©ç”¨ã—ã¦ã„ã‚‹OSSã®å…¨æ–‡æ¤œç´¢ã‚¢ãƒ—リケーションã§ã‚ã‚‹Apache Solrã«ã¤ã„ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Googleã§Solrを検索ã—ã¦ã‚‚ã€æ—¥æœ¬èªžåœã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã¯ã¾ã ã¾ã å°‘ãªã„よã†ã§ã™ã€‚ 当社ãŒSolrを使ã„始ã‚ãŸæ˜¨å¹´ã¯ç¾åœ¨ã‚ˆã‚Šã‚‚ã•ã‚‰ã«å°‘ãªãã€çµæ§‹è‹¦åŠ´ã—ã¾ã—ãŸã€‚ 今回ã¯ã‚„や雑多ãªå†…容ã¨ãªã‚Šã¾ã™ãŒã€æ–°ã—ãSolrを使ã†éš›ã«å¿…è¦ã¨è€ƒãˆã‚‰ã‚Œã‚‹æƒ…å ±ã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ 本エントリーã§ã¯ã€Solr1.3を対象ã¨ã—ã¦ã„ã¾ã™ã€‚ Solr1.3ãŒç¾åœ¨ã®å®‰å®šç‰ˆã§ã€Solr1.4-devãŒé–‹ç™ºç‰ˆã¨ãªã‚Šã¾ã™ã€‚ 目次 Solrã¨ã¯ 機能一覧 実績/事例 Solrを使ã£ãŸã‚·ã‚¹ãƒ†ãƒ ã®é–‹ç™ºæ–¹æ³• ãŠã™ã™ã‚ã™ã‚‹æ–¹ データé‡/性能ã¨ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ マルãƒã‚³ã‚¢æ§‹æˆ 様々ãªæ¤œç´¢ スケールアウト 検索ã¨æ›´æ–° Solrを始ã‚ã‚‹ãŸã‚ã®æƒ…å ±ãƒªã‚¹ãƒˆ å…¨
Solr ã«ã‚ˆã‚‹ N-Gram 検索 - MOYO Laboratory
日本語ã®æ–‡ç« ã«å¯¾ã—ã¦å…¨æ–‡æ¤œç´¢ç”¨ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’作æˆã™ã‚‹æ–¹æ³•ã¨ã—ã¦ã¯ã€å½¢æ…‹ç´ 解æžã«ã‚ˆã‚Šåˆ†è§£ã—ãŸå˜èªžã‚’インデックスã™ã‚‹æ–¹æ³•ã‚„ã€N-Gram ã«ã‚ˆã£ã¦ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’作æˆã™ã‚‹æ–¹æ³•ãªã©ãŒã‚ã‚Šã¾ã™ã€‚å½¢æ…‹ç´ è§£æžã¯ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ãŒå°ã•ã検索ãŒæ—©ã„ã“ã¨ã€N-Gram ã¯æ¥ç•Œç”¨èªžãªã©ã®ç‰¹å®šãƒ‰ãƒ¡ã‚¤ãƒ³ã®è¨€è‘‰ã‚„日本語以外ã«ã‚‚対応ã§ãã¦éƒ¨åˆ†ä¸€è‡´æ¤œç´¢ãŒå¯èƒ½ã§ã‚ã‚‹ã“ã¨ãªã©ã€åŒæ–¹ã«åˆ©ç‚¹ãŒã‚ã‚Šã¾ã™ã€‚ 今回㯠Solr を使用ã—㟠N-Gram 系トークナイザーã«ã¤ã„ã¦è¨˜è¿°ã—ã¾ã™ã€‚ N-Gram 検索を行ã†ã«ã¯ Solr コア㮠schema.xml ã‚’é–‹ã„ã¦ãƒ•ã‚£ãƒ¼ãƒ«ãƒ‰åž‹ã‚’定義ã—ã¾ã™ã€‚ <fieldtype name="text" class="solr.textField" positionIncrementGap="100"> <analyzer> <tokenizer class="solr.CJKTokenizerFac
Solr at cookpad
This document discusses setting up Elasticsearch to make the Nicovideo video dataset searchable and analyzable. It describes importing over 25 billion comments from the 60GB JSON dataset into an Elasticsearch cluster on AWS in under 4 hours. Key steps included installing plugins, configuring the cluster, importing the data in bulk, and optimizing mappings and settings for efficiency. The dataset c
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
IBM Developer
{{#tags}}- {{label}}
{{/tags}}