robots.txtを活用して検索エンジンに命令する!WordPressのここは見ちゃダメ!

 

robots,txtというファイルについて

聞いたことはないでしょうか?

 

なんか見たことがある気もするけどなんだか難しそう…。

 

そんなrobots.txtについて説明していきます。

 

 

そもそもrobots.txtってなに?

 

robots.txtはただのテキストファイルですが、

この中にはロボットへの命令が書いてあります。

 

ロボットというのは何かというと

検索エンジンが使っているクローラーのことです。

 

つまりクローラーに対してrobots.txtの中で

命令を書いておくことで、

クローラーが変な動作をしないようにすることができます。

 

 

robots.txtでどんなことができるの?

 

robots.txtでは検索エンジンに表示させたくない

ページを見せないように設定することができます。

 

ブログを作っていると検索エンジンに

クロールされたくないページができることがあります。

 

重複した内容のページや

問い合わせページなどの

検索結果に表示されたくないページです。

 

そんな時にあなたのブログのSEO評価を下げないために

そのようなページをクロールさせないようにすることができます。

 

WordPressのrobots.txtを見てみる

 

WordPressでrobots.txtを確認するには

あなたのWordpressサイトのホームページのアドレスに

"/robots.txt"を足すことで表示させることができます。

 

このアドレスを入力するとWordpressは

動的にrobots.txtファイルを作成するので

仮想robots.txtとも呼ばれているようです。

 

ただし、仮想robots.txtは表示させることはできますが、

中身を書き換えることはできません。

 

そのため、書き換える必要があるのであれば、

仮想robots.txtではなく、実際にrobots.txtファイルを

WordPressにアップロードする必要があります。

 

robots.txtでクロールをブロックしてみる

 

robots.txtでブロックするように命令するには

以下の命令文をrobots.txtに記載する必要があります。

 

Disallow: /ディレクトリ名/

 

/ディレクトリ名/にはブロックしたい

ディレクトリ(フォルダ名)を指定してあげます。

 

例えば"test"というディレクトリへの

クロールをブロックするには以下の命令を

robots,txtファイル内に記載する必要があります。

 

Disallow; /test/

 

この命令をあなたがブロックしたい

ディレクトリの数だけ行を分けて記載してあげれば、

クロールの必要がないページを教えてあげる事ができます。

 

まとめ

 

robots.txtはあなたのブログに

クローラーに見られたくない情報がないのであれば

特に設定する必要はありませんが、

 

重複コンテンツで評価が下がってしまった時のために

覚えておくと便利です。

カテゴリ:SEO  [コメント:1]

コメント1件

コメントフォーム

名前

メールアドレス

URL

コメント

トラックバックURL: 

ページの先頭へ