fc2ブログ

検索避け実用部分をまとめました

「裏サイトオーナーのための Small Tips」さんが消えてなくなってしまったからなのか、このブログに実際の検索避けテクニックを求めて来る人が増えてしまいました。と、言うかほとんどの人が検索よけの方法を求めて来ています。
もともと、しばらく黙っていたにもかかわらず戻って来たのは「裏サイト〜」さんが消えてしまったので、補足記事を書こうと思っての事ですが、実際、書いてみるとブログでは、情報を探しにくいし何より見にくい!
なので検索避けの実用部分を別サイトにまとめました。

http://kensakuyoke.web.fc2.com/

検索よけに対する是非は、とりあえず横に置いておきます。
個人的には、オンラインブックマーク禁止もそうですが、色々奇妙なルールを言い出す人は単純に勉強不足なだけな事も多いので、こう言うサイトがやっぱり一つはあった方が良いと思うのですよ。

ただ、やっぱり、少しでも検索にヒットしたら「マナー違反だから移転・閉鎖」、検索よけしていない同人サイトは「悪いサイト」などといった検索よけに対する考えは、行きすぎていると感じます。
一方、検索よけを主張しながらレンタルブログを使っている人も多いので、「検索よけ=マナー」で思考停止してしまって、実際の効果や意味をあまり考えていない事も伺えます。
うーん、なんて言うか、自分たちで作ったルールの形式的な部分に、どんどんがんじがらめになって、周りが見えなくなってるような、そんな印象でしょうか。

作ったサイトには、この辺の苦言も少々入っています。あとは個人のわがままとマナーを取り違えないように、とかです。(わがままだと分かってのお願いなら、従ってあげようかなと思えるのですが、それを当たり前のルールのように語るのはちょっとね。あと勉強不足をわがままでカバーしようとするのもちょっと)
しっかり自分の運営ポリシーを持って運営している人には、今更な説教でしかないと思いますが、ネットに出てきたばかりで失敗が多い人向けと言う事でご容赦ください。
技術的な面では、このブログに書いたものを焼き直しただけです。

まとめるにあたっては、このブログに書く時以上に調べたり実験したりしていますが、私も素人ですので間違いがあったら教えてください。
文章の推敲も足りない気がするので、しばらくは修正が多いかもしれません。

一方このブログはまたしばらく黙っていようと思います。

有料サーバを借りてみよう

先日、無料サーバで精度の高い検索よけは難しいよ、と書きました。 じゃあ、有料サーバを借りる事にしたけど、どこが良いの?と言う話。

どこを選べば良いんだろう

サイトの規模ややりたい事によって変わって来ますが、ざっと調べたところ、同人サイトでは以下のサーバが人気のようです。

ロリポップ
月額263円、初期費用3,150円(半額キャンペーン有)、200MB
CGI、SSI、PHP、.htaccess利用可能。メールアドレス:1。エロ不可
同人エロについての規約がありますのでそちらを参考にしてください。(文章表現において伏せ字ならOKとの事です。)
XREA +
月額200円〜、初期費用無料、2,000MB
CGI、SSI、PHP、.htaccess利用可能。メールアドレス:1。エロ不可
さくらインターネット
月額125円〜、初期費用1000円、300MB
CGI、SSI、.htaccess利用可能。メールアドレス:無限。同人エロ黙認
PHPは上位コースから
西院ネットワークス
月額150円〜、初期費用無料、100MB
CGI、SSI、PHP、.htaccess利用可能。メールアドレス:1。同人エロOK
(生ログが見れない?)

アダルト表現については、結局は程度の問題になりますので、直接サーバ会社に問い合わせる方が確実です。

女性に人気なのはロリポップさくらインターネットかな?
西院ネットワークスXREAは初心者向けでは無い感じですね。
個人的にはさくらインターネットが無難だと思っています。URLを後から変更可能なので、隠れたい人には特に。
そういえば、ロリポップはYahooから検索されにくいとウワサされています(サーバ側の設定でそうなっているらしい…?)。どうなんでしょう。
ステップサーバーも同人OK、エロOK、生ログ提供だと情報をいただきました。月額250円からです。お絵描き掲示板などを簡単に自分のスペースへ設置できるサービスがあるようです。(サーバの調子が不安定?)

大体のレンタルサーバは契約まで以下のような流れになります。
「申し込み」→「試用期間(10日前後)」→「気に入ったら料金支払」
それぞれ会社によって違うのでサーバ会社の説明をよく読んでください。

当然ながら、上記のサーバ会社はほんの一例です(しかもかなり偏ってます)。レンタルサーバは下記のようなサイトで探す事ができます。

格安レンタルサーバー検索 SERVER RETRIEVA
わかる!レンタルサーバ比較
レンタルサーバー比較情報
レンタルサーバー価格比較

...続きを読む

検索よけと無料サーバ

検索エンジンにちょっとでもヒットしたらアウト!な人は必ず、CGI、.htaccessが使える有料サーバを借りましょう。使用サーバのサービス内容にもよりますが、基本的に無料サーバを転々とするのは無意味です。

ほとんどの人が初めてサイトを持つ時につかうのは無料サーバではないでしょうか。入っているプロバイダのスペースとか、広告の入る無料スペースとかですね。 無料と言うことで、何かと貧乏な学生さんにも使いやすく、敷居も低いです。 ざっと同人サイトを見て回って、人気の無料スペースは忍者ツールズFC2などでしょうか。 しかし、検索よけを気にする場合、以下のような欠点があります。

検索よけに影響ある欠点

広告が入る
広告が邪魔…というのはさておき。広告会社によっては、表示回数が多いサイトを公開していたりします。(忍者では少し前まで50回程度(50/day?書いてなかった)参照されたページが、沢山、一覧となって一般公開されていました)
また、直接広告主サイトにリンクされているような広告では、広告主がアクセス解析を公開していないとも限りません(こんなふうにね)。広告主の所に、どんなサイトに広告が掲載されているのか情報が行く可能性も高いです。
正直、そこまで気にするのもナンセンスかと思いますが、情報のチョロチョロ漏れが最初から有ると言う事です。検索よけやオンラインブクマ禁止を神経質に主張しているのに、広告付きサーバでは冗談にしかなりません。
自分でCGIを設置する事ができない
CGI。日記や掲示板、カウンター・アクセス解析などをまとめてこう呼びます。これらを自分で設置できない無料サーバだと、レンタル掲示板やブログなどを使っている人が多いですね。これらレンタルは検索よけが出来ない。出来たとしても精度が低いと思ってください。
レンタルお絵かき掲示板は検索よけ不可。
レンタルブログはもの凄く検索にひっかかりやすいので使わないように。
レンタルWEB拍手も検索にひっかかります。
.htaccessが使えない
.htaccess(アクセスコントロールを行うファイル)が使えないと、精度の高い検索よけは不可能です。
METAタグ、robotos.txtを導入すれば、検索にヒットする確率はがくんと下がりますが、決して、完璧に隠れられるものではありません。過信は禁物。

ちなみにFC2は.htaccessが使えます(知らなかった)。CGIが使えないので、どうしてもその辺が甘くなりますが忍者ツールズに比べると、検索除けには有利です。トップからはダメなもののBasic認証も利用可能です。

プロバイダのサーバは、プロバイダによってCGIを許可していたりします。許可されている場合は、レンタルより自分で設置した方が安心感があるでしょう。
しかし.htaccessが使えない以上、精度の高い検索よけは望めません。閲覧者に不自由を強いるほど、検索よけを主張したいのなら、やはり有料サーバが無難です。

...続きを読む

Yahooブックマークに登録されると検索にヒットする?改訂版

Yahooブックマークのリニューアルに伴い、Yahooの検索結果に「ブックマーク:○○人が登録」などと表示されて、また妙なウワサが出そうなので、Yahooにもう一度問い合わせてみました。
その返事が来たので公開します。
何回もメールしてYahooの中の人にはごめんなさい…。

以下、引用はすべてYahooからのメールになります。

お問い合わせくださいました件について回答いたします。

■ウェブ検索の表示について
Yahoo!ブックマークでは、登録したサイト1件ごとに「公開・非公開」の設定を行うことがでます。その際に、非公開として登録したサイトは、検索エンジン用ロボットの巡回対象となりません。

しかしながら、Yahoo!ブックマークに「公開」登録したサイトにつきましては、通常のウェブサイト同様、インターネット上に公開されることになりますので、検索エンジン用ロボットの巡回対象になる可能性があります。

ただし、Yahoo!ブックマークに「公開」登録したサイトでありましても、該当の登録サイト自体が検索エンジン用ロボットの巡回拒否対策をとっている場合、巡回対象となりません。


非公開ブックマークが検索にヒットして、そこから人が来るような事はありません。
公開登録されると検索よけしていないページからリンクされるのと同様の状態になります。しかし、Yahooブックマークに登録される事によって、自分のサイトに施した検索よけが無駄になる事はありません

Yahoo!検索など検索エンジンでの検索結果にサイトを表示させたくない場合は、それぞれのサイトで検索エンジン用ロボットの巡回拒否対策をご検討ください。

◇特定のページ、キャッシュを検索結果から削除したい
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-12.html


実際には、ブックマークの有無に関わらず、METAタグ、robotos.txtのみで完全に隠れるのは難しいです。少しでもヒットするのがイヤなら、素直に.htaccessを導入した方が良いでしょう。

(07/07/15追記)
METAレベルでよけていても、ブックマークに関係なく、外部からのリンクが多いページが下記のように表示される感じですね。説明文なしでサイト名とURLのみ。
  1. サイト名
    example.ne.jp

結局、この中途半端な仕様が混乱の原因だと思うのですが。

なお、ウェブ検索結果の「ブックマーク:○○人が登録」は、ブックマーク上で
サイトを「非公開」にして登録している人も人数に含まれます。

また、ウェブ検索の表示は、キーワードと関連のあるサイト内の以下のような特徴を分析し、より関連性が強いと判断したページから上位に表示されるようにランク付けを行っています。

・サイト内で公開している文字列
・サイトのタイトル
・サイト内情報の情報源
・サイト内に存在するリンク
・Yahoo!カテゴリや他社のディレクトリに記載されている紹介文など

この仕組みは、検索結果の品質向上のため、適宜見直しを行っており、また、
非公開とさせていただいております。ご理解くださいますようお願いいたします。


検索結果の表示順位に関する解答です。
Yahoo!検索 スタッフブログによるとYahooブックマークに沢山登録されていると、上位表示されやすいようです(が、10や20では影響ないんじゃないかな。その程度で影響あるならSEOスパムの温床だ)。しかし、上位だろうが下位だろうがヒットしたら検索よけが失敗している状態ですから、気になるならやっぱり.htaccessを導入しましょう。

■ブックマークにおけるサイトイメージの表示について
Myブックマークや人気ブックマークでは、サイトが登録された時点でのサイトの内容が保存され、サイトのイメージ画像として表示されます。

このイメージ画像は、Yahoo! JAPAN独自開発のシステムを使用して自動的に生成されますが、現在のところ生成を拒否することはできません。

お客様におかれましてはご迷惑をおかけし申し訳ございませんが、何卒ご容赦くださいますようお願い申し上げます。

ご指摘の点につきましては、Yahoo!ブックマークのサービス向上・改善の検討課題とさせていただきます。また何かお気づきの点などございましたら、お気軽にご意見・ご感想をお寄せください。

これからもYahoo! JAPANをよろしくお願いします。


ブックマークのスクリーンショットとキャッシュの拒否は不可能とありますが、実は..htaccessで拒否可能です。これらは専用のユーザーエージェント(UA=ブラウザ。ロボット。またはその名前)が来ているので、.htaccessでそれを弾いてしまえば良いのです。これは実際に下記のUAを弾いて、キャッシュ・スクリーンショットの生成をブロックできたので、間違いない…と思うんですが、違ってたら誰か教えて下さい。

【スクリーンショット用UA】
 Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.13) Gecko/20060501 Fedora/1.7.13-1.1.fc5
 203.216.192.0/18
【キャッシュ用UA】
 Mozilla/5.0 (compatible; BMF/1.0 (Y!J-AGENT))
 bm-proxy01.ssearch.ogk.yahoo.co.jp(124.83.128.0/17)
 bm-proxy02.ssearch.ogk.yahoo.co.jp (124.83.128.0/17)
 http://bookmarks.yahoo.co.jp/my(リファラ)

ブックマークから来ること自体許せない人は、http://bookmarks.yahoo.co.jp/myのリファラを制限しちゃえば、まるっとキャッシュまで制限できるって事かな。おすすめしませんが…。

ちなみに、自分のサイトのあちこちを登録してテストした結果、生成されるキャッシュは、ブックマークにログイン中、自分のブックマーク内でのみ検索対象されます。しかし他の人には検索されません。そもそも他の人がキャッシュを参照する事は出来ません。
参考:http://help.yahoo.co.jp/help/jp/bookmarks/bookmarks-06.html

非公開ブックマークにあった言葉(サイト名、コメント)も他の人から検索はされません。(ブックマークをログアウトして、自分のブクマに入れた言葉を色々検索したけどまったくひっかかりませんでした)
URLで検索した場合は、完全に一致した場合のみ、誰にでも○○人が登録と言う形で表示されます。が…、完全に一致したURLを知られている時点で、その人はそのサイトを知っている(=既に訪問済みである)ので、これが問題になるとは思いません。

ああもう、めんどうだな。
以下の引用は少し前にYahooからいただいたメールです。

お問い合わせくださいました件について回答いたします。

ウェブ検索では、弊社検索エンジン用ロボットが自動的に収集したデータベースの中から、検索に使用したキーワードと関連性が強いページが表示されます。

上記のデータベースに、Yahoo!ブックマークに登録されているデータを取り込むことはありません。

また、弊社では、下記の方針にのっとり各サービスのデータを管理しております。

◇プライバシーの考え方
http://privacy.yahoo.co.jp/privacy/jp/

◇個人情報保護方針
http://docs.yahoo.co.jp/info/principle/

◇情報セキュリティ宣言
http://docs.yahoo.co.jp/info/security/

提供しているサービスや広告および内容を、よりご利用のお客様に適したものとするため、また、新しいサービスを検討する際などに利用させていただくことがあります。

これからもYahoo! JAPANをよろしくお願いします。


Yahooの検索結果はYahoo! slurpと言うロボットで集めたデータを元に作っているのですが、そのデータとブックマークのデータが混ざる事は無いって事ですね。
最後のあたりは、ブックマークデータを社内会議などの資料として使う事もあるかも…って感じじゃないかと思います。


結論。前とあんまり変わらないですね。公開されなければ何ら影響は無いと思って良いでしょう。
ブックマークに神経質になってる時間があるなら、.htaccessを使えるサーバに引っ越して、さっさと導入した方が良いです。ブックマークの規制にも検索よけにもね。
公開前提・リンクフリー前提のネットに自分から好きで出てきたくせに、イヤだイヤだと我が儘言ってるんだから、それを通すにはそれなりの代償や努力が必要って事です。

おしらせとメモ

お久しぶりです。
二次創作+オンラインブックマーク総括」と言うサイトが出来たり、話題も少なくなって来たし、余計な事を書くより良いと思って黙っていたのですが、「裏サイトオーナーのための small tips」が見れないようなので、補足記事をいくつか書こうと戻って来ました。
また過去の記事も合わせておいおい修正します。

それと、Yahooのブックマークもリニューアルされて、また妙な疑惑が生まれそうですね。現在、ウワサされそうな疑惑をまとめてYahooに問い合わせ中です。(Yahooの中の人にはイヤなメールをよこすヤツだと思われてるんだろうなあ)
ごちゃごちゃ質問を並べたので、返事はなかなか来ないと思いますが。

でもまあ、以前の問い合わせで、「Yahoo!ブックマークに「公開」登録したサイトでありましても、その 登録サイト自体が検索エンジン用ロボットの巡回拒否対策をとっている場合、 巡回対象となりません。」と返答をいただいているし、同じ頃にYahooの検索アルゴリズムが刷新された模様なので、最近、Yahooにヒットするようになったんだけど、どうして?と言う人は、検索アルゴリズムの変更によってMETAタグやrobots.txtの影響力が変化したからと考えるのが良いのではないかと思います。(アルゴリズムのアップデートはよく行われているし)

Yahoo検索アルゴリズムが、そのまんまYahooのロボット(Yahoo!Slurp)のアルゴリズムとイコールな訳じゃないと思うけど。
ただ、Yahoo!Slurpのホストがinktomisearch.comからcrawl.yahoo.netに変更になったとの事だし、やはり色々変わっていそうです。(参考:ヤフーのクローラ Yahoo! Slurpがinktomisearch.comからcrawl.yahoo.netに移行完了

そんな最近の動きはともかく、調べてみると、Yahooのロボットはもともとあまり行儀がよくない…と言うか、METAやrobots.txtに対してあやふやとのウワサ。
私のMETAとrobots.txtのみで制御しているサイトは、index.htmlその他のクロールを許可しているので問題は感じて無いのですが(指示通りにヒットしてる)、まったく見つかりたくない人は.htaccessを使うしか無いらしいです。
ちなみに、.htaccessでよけている方の私の個人サイトは相変わらず検索エンジンにはヒットしていません。
やっぱりアルゴリズムの変更のたびに、影響力が変わるであろうMETAなんて、信用するなと言う事でしょう。

話はまったく変わりますが、消したページがいつまでたってもYahooから消えない、と言う人に、関係あるかも知れない情報をみつけたので、リンクを貼ってみます。
http://enohouse.s35.xrea.com/negoto/2006_1209.php
なるほどなー。
と、思ったらYahooのヘルプにもバッチリありました。
http://help.yahoo.co.jp/help/jp/search/indexing/indexing-19.html

Template Designed by DW99