robots.txtとは？書き方と設定例、確認方法、noindexとの違いを解説

robots.txtとは、検索エンジンのクローラーに、サイトのどのURLを読みに来てよいかを伝えるテキストファイルです。

検索結果から消すための仕組みではないため、止める目的を見極めてから書くことが、SEOで失敗しない近道です。本記事では、書き方の基本と目的別の例、確認の方法、よくある間違いを解説します。

なお、robots.txtの設定が正しいか不安な方は、カルテットコミュニケーションズのSEOコンサルティングの無料相談もご活用ください。

今のrobots.txtとSearch Consoleの状態を一緒に確かめ、止めるべきURLと止めてはいけないURLを整理します。

robots.txtとは？クローラーに読む場所を伝えるファイル

検索エンジンは、クローラーと呼ばれるプログラムでサイトを巡回し、ページの内容を読み取ってから検索結果に載せます。

robots.txtは、そのクローラーがサイトに来たときに最初に確かめる「立ち入りの案内板」のような役割を持っています。

定義①｜robots.txtは、クローラーに「読んでよい場所」を伝える

クローラーとは、Googlebotのように、ウェブ上のページを自動で読みに来るプログラムのことです。

robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。これは主に、サイトでのリクエストのオーバーロードを避けるために使用するもので、Google にウェブページが表示されないようにするためのメカニズムではありません。

引用元：Google検索セントラル「robots.txt の概要」

つまり、robots.txtの役目は、クローラーの交通整理です。

robots.txtは、検索結果の表示ではなく、クローラーの出入りを決めるファイルだと覚えておきましょう。

定義②｜止めても、検索結果から消えるとは限らない

robots.txtでクロールを止めたページでも、ほかのページからリンクされていれば、URLだけが検索結果に出ることがあります。

Googleの説明では、ブロックされたページは、説明文が表示されない形で検索結果に出る場合があるとされています。

検索結果に出したくないページには、noindexを使います。

noindexとは、ページのmetaタグやHTTPヘッダーで「このページを検索結果に載せないでください」と伝える指定です。

検索結果から消したいならnoindex、クロールを止めたいならrobots.txtと使い分けましょう。

定義③｜置き場所はルートに1つ、ホストごとに別

robots.txtは、サイトの一番上の階層（ルート）に、robots.txtという名前で置きます。

robots.txt ファイルは、適用するサイトホストのルートに配置する必要があります。

引用元：Google検索セントラル「robots.txt ファイルを作成して送信する方法」

たとえば https://www.example.com/robots.txt に置いたルールは、https://shop.example.com/ のようなサブドメインや、http:// のURLには当てはまりません。

サブドメインでブログやショップを運営している場合は、それぞれのホストのルートにrobots.txtを用意します。

robots.txtはホストごとに1つ、ルートの /robots.txt に置きましょう。

定義④｜SEOで使うのは、クロールの無駄を減らしたいとき

Googleの説明では、robots.txtは、クローラーのリクエストでサーバーが重くなるときや、重要でないページ・よく似たページのクロールを防ぎたいときに使うものとされています。

たとえば、サイト内検索の結果ページや、並べ替え・絞り込みでURLが増えるページは、内容が似たページが大量にできやすい代表です。

一方で、ページ数が少ない会社のサイトでは、robots.txtで止めるべきものがほとんどないことも珍しくありません。

robots.txtは、止める理由があるURLだけに使い、何でも止める道具にしないようにしましょう。

定義⑤｜指示に従うかどうかは、クローラー次第

robots.txtは、クローラーに対する「お願い」であって、アクセスを強制的に止める鍵ではありません。

Googlebotのような信頼できるクローラーは指示に従いますが、すべてのクローラーが従うとは限らないと、Googleも説明しています。

人に見られては困る情報は、robots.txtではなく、パスワードによる保護などで守ります。

守りたい情報は、robots.txtではなくパスワードなどの仕組みで守りましょう。

robots.txtの書き方｜基本の5つのルール

robots.txtは、メモ帳のようなテキストエディタで書ける、ふつうのテキストファイルです。

Googleは、ワープロソフトではなくテキストエディタを使い、文字コードはUTF-8で保存するよう案内しています。

書き方①｜User-agentで、ルールを当てるクローラーを決める

robots.txtは、User-agentの行から始まる「グループ」の集まりで、各グループの下に、そのクローラーへのルールを書きます。

User-agentとは、クローラーの名前のことで、「*」と書くと、名前で指定していないすべてのクローラーが相手になります。

User-agent: Googlebot
Disallow: /nogooglebot/

User-agent: *
Allow: /

Googleのクローラーは、自分の名前にいちばん具体的に当てはまるグループのルールだけを使い、グループを書く順番は関係ありません。

まずは「User-agent: *」のグループを作り、特定のクローラーへのルールは別のグループに分けましょう。

書き方②｜Disallowで止め、Allowで例外を開ける

Disallowにはクロールしてほしくないパスを、Allowにはクロールしてよいパスを、サイトのルートから「/」で始めて書きます。

パスは頭から一致を見るため、「Disallow: /private/」と書くと、/private/ の下のURLがすべて対象になります。

User-agent: *
Disallow: /private/
Allow: /private/guide.html

DisallowとAllowが両方当てはまるときは、パスが長く、より具体的なルールが使われます。

上の例では、/private/ の下は止めつつ、/private/guide.html だけは読んでよいことになります。

広く止めてから、読ませたい場所だけをAllowで開ける書き方を基本にしましょう。

書き方③｜* と $ で、まとめて指定する

Googleは、パスの中に「*」（0文字以上の任意の文字）と「$」（URLの末尾）の2つの記号を使えると説明しています。

User-agent: *
Disallow: /*?sort=
Disallow: /*.pdf$

1行目は「?sort=」を含むURLを、2行目は「.pdf」で終わるURLを止める書き方です。

パスの値は大文字と小文字が区別されるため、「/Fish」と「/fish」は別のものとして扱われます。

記号を使うときは、止めたいURLの例をいくつか書き出し、当てはまり方を確かめてから使いましょう。

書き方④｜Sitemapで、サイトマップの場所を知らせる

Sitemapの行には、XMLサイトマップの場所を、https:// から始まる完全なURLで書きます。

Sitemap: https://www.example.com/sitemap.xml

Sitemapの行は、User-agentのグループとは関係なく書けるため、ファイルの最後にまとめて置くと見やすくなります。

サイトマップが複数ある場合は、Sitemapの行を並べて書けます。

robots.txtにSitemapの行を入れ、クローラーにページの一覧の場所を知らせましょう。

書き方⑤｜Googleが読むのは4つの項目だけ

robots.txtの解説には、さまざまな書き方が紹介されていますが、Googleが読む項目は限られています。

Google は次のフィールドをサポートしています（crawl-delay などの他のフィールドはサポートしていません）。

引用元：Google検索セントラル「Google による robots.txt の指定の解釈」

同じ文書で挙げられているのは、user-agent、allow、disallow、sitemapの4つです。

また、Googleはrobots.txtのファイルの大きさの上限を500KiBとしており、それを超えた内容は無視されます。

Googleに向けては、user-agent・allow・disallow・sitemapの4つだけで書きましょう。

目的別のrobots.txtの書き方の例

robots.txtを書く前に、「何のために止めたいのか」を先に決めると、書くべきルールがはっきりします。

ここでは、会社のサイトでよくある4つの場面の書き方を紹介します。

例①｜すべてのクローラーに、すべてを許可する

止めたいURLが特にない場合は、すべてを許可し、サイトマップの場所だけを伝える書き方で十分です。

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

robots.txtに何も書かれていないURLは、もともとクロールが許可されているため、Allowの行を省いても意味は同じです。

止める理由がないなら、すべてを許可してサイトマップの場所を書くだけにしましょう。

例②｜管理画面や、サイト内検索の結果を止める

管理画面やサイト内検索の結果ページは、検索から来た人に見せるページではないため、クロールを止める候補になります。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /search/

WordPressでは、robots.txtのファイルを置いていなくても、/robots.txt を開くと、WordPressが自動で作った内容が表示されることがあります。

自分でファイルを置く場合は、その内容を引き継ぐかどうかを確かめてから書き換えます。

管理画面やサイト内検索の結果は、表示に使うファイルを止めないよう注意して止めましょう。

例③｜並べ替えや絞り込みのパラメータ付きURLを止める

ネットショップなどでは、並べ替えや絞り込みのたびに「?sort=price」のようなURLが増え、同じ商品の一覧が何通りもできます。

User-agent: *
Disallow: /*?sort=
Disallow: /*&sort=

ただし、絞り込んだ一覧が「〇〇 メンズ」のような検索の受け皿になっている場合は、止めると検索からの入口を失います。

パラメータ付きURLは、検索の入口になっていないことを確かめてから止めましょう。

例④｜公開前のテストサイトを止める

公開前のテストサイトでは、サイト全体のクロールを止める書き方が使われることがあります。

User-agent: *
Disallow: /

ただ、robots.txtは強制力のないお願いであり、テストサイトのURLが外に漏れると、URLだけが検索に出ることもあります。

テストサイトはパスワードで守るのが基本で、本番に移すときにこの1行を持ち込まないことが何より大切です。

テストサイトはパスワードで守り、「Disallow: /」は本番に持ち込まないようにしましょう。

robots.txtの確認方法｜Search Consoleで読まれているかを見る

robots.txtは、書いたつもりの内容と、Googleが実際に読んでいる内容が食い違うことがあります。

書き換えたあとは、ブラウザとSearch Consoleの両方で、意図どおりに読まれているかを確かめます。

確認①｜ブラウザで /robots.txt を開いて中身を見る

いちばん簡単な確認は、ブラウザで「https://自社のドメイン/robots.txt」を開くことです。

ファイルが見つからない、HTMLのページが表示される、文字化けしている、といった場合は、置き場所やファイル形式を見直します。

サブドメインを使っている場合は、それぞれのホストの /robots.txt も開いて確かめます。

書き換えたら、まずブラウザで /robots.txt を開き、公開されている中身を目で確かめましょう。

確認②｜Search Consoleのrobots.txtレポートで、取得の状態を見る

Search Consoleのrobots.txtレポートでは、サイトの上位20個のホストについて、Googleが見つけたrobots.txt、前回のクロール日、警告やエラーを確認できます。

このレポートは、ドメイン単位のプロパティなど、パスを指定していないプロパティで使えます。

大事なURLのブロックを外したときや、取得のエラーを直したときは、レポートから再クロールをリクエストできます。

Search Consoleの基本は、Google Search Consoleの解説記事で紹介しています。

robots.txtを変えたら、Search Consoleのレポートで、エラーなく取得されているかを確かめましょう。

確認③｜URL検査で、大事なページが止まっていないか確かめる

Search ConsoleのURL検査に、トップページやサービスのページなど、大事なURLを入れて、クロールが許可されているかを確かめます。

あわせて、ページのインデックス登録のレポートで、robots.txtによってブロックされているURLの一覧を見ると、止めすぎに気づけます。

止めるつもりのなかったURLが並んでいたら、どのルールが当てはまっているかを、パスの書き方から見直します。

止めるURLだけでなく、止めてはいけないURLが読まれているかも確かめましょう。

確認④｜変更は、反映まで最大1日ほどかかる

Googleの説明では、robots.txtの内容は通常、最大24時間キャッシュに保存されます。

そのため、書き換えた直後にGooglebotの動きが変わらなくても、すぐに慌てる必要はありません。

急いで反映させたいときは、確認②のレポートから再クロールをリクエストします。

robots.txtの変更は、1日ほど様子を見てから効果を確かめましょう。

robots.txtのよくある間違い5つ

robots.txtの間違いは、たった1行でサイト全体の検索流入に影響することがあります。

ここでは、会社のサイトでよく見かける5つの間違いと、その直し方を紹介します。

間違い①｜検索から消したいページをDisallowで止める

古いページや社内向けのページを検索結果から消したくて、robots.txtのDisallowで止めてしまうことがあります。

noindex ディレクティブを有効にするためには、robots.txt ファイルでページやリソースをブロックせず、クローラがページにアクセスできるようにする必要があります。

引用元：Google検索セントラル「noindex を使用して検索インデックス登録をブロックする」

robots.txtで止めていると、ページに付けたnoindexをGooglebotが読めず、URLが検索結果に残り続けることがあります。

検索から消したいページは、robots.txtで止めずにnoindexを付けましょう。

間違い②｜robots.txtにnoindexと書く

robots.txtに「Noindex: /old/」のように書いても、Googleには効きません。

Googleのnoindexの説明では、robots.txtでnoindexのルールを指定することはサポートしていないと明記されています。

noindexは、ページの<head>の中のmetaタグか、HTTPヘッダーで指定します。

<meta name="robots" content="noindex">

noindexとnofollowの使い方は、noindexとnofollowの解説記事で詳しく紹介しています。

noindexはrobots.txtではなく、ページのmetaタグかHTTPヘッダーに書きましょう。

間違い③｜CSSやJavaScriptまで止めてしまう

「/assets/」や「/js/」のようなフォルダを、まとめてDisallowで止めているサイトがあります。

Googleは、ページの表示に欠かせない画像やスクリプト、スタイルのファイルを止めると、そのページを正しく分析できなくなるとして、こうしたファイルはブロックしないよう案内しています。

止めてよいのは、なくてもページの表示や内容の理解に大きな影響が出ないファイルだけです。

ページの見た目や内容の理解に要るCSSやJavaScriptは、読めるままにしておきましょう。

間違い④｜テスト用の「Disallow: /」を本番に持ち込む

サイトのリニューアルの公開日に、テスト環境のrobots.txtをそのまま本番にコピーしてしまう事故は少なくありません。

「Disallow: /」が残ると、Googlebotはサイト全体を読みに来なくなり、新しいページも、直したページも検索に反映されなくなります。

公開の作業表に「本番のrobots.txtを開いて中身を確かめる」という項目を入れ、公開の直後に確認します。

公開の日には、本番の /robots.txt を開いて「Disallow: /」が残っていないかを確かめましょう。

間違い⑤｜robots.txtがエラーを返している

Googleの説明では、robots.txtのURLが429以外の4xxのエラーを返すと、Googleは有効なrobots.txtがないものとみなし、クロールの制限はないものとして扱います。

一方、500番台のサーバーエラーが続くと、最初の12時間はサイトのクロールを止め、その後も一定期間は前に取得できた内容を使い続けるとされています。

ファイルを置かない場合は、/robots.txt が正しく404を返すようにし、サーバーの不具合でエラーが出ていないかをレポートで確かめます。

robots.txtやサーバーの設定に不安がある場合は、カルテットコミュニケーションズのSEOコンサルティングでもご相談を承っています。

robots.txtのURLが、置いてあれば200、置いていなければ404を返しているかを確かめましょう。

AIのクローラーとrobots.txt｜止める前に知っておきたいこと

生成AIの広がりとともに、robots.txtでAIのクローラーを止めるべきか、という相談も増えています。

AIの会社は、検索に使うクローラーと、AIの学習に使うクローラーを分けている場合があるため、名前と役割を確かめてから書きます。

AI①｜Google-Extendedは、Geminiでの利用を管理するトークン

Googleは、Geminiのモデルの学習などに自社サイトのコンテンツを使わせるかどうかを、「Google-Extended」というトークンで管理できるようにしています。

Google-Extended が Google 検索でのサイトの登録に影響したり、Google 検索でのランキング シグナルとして使用されたりすることはありません。

引用元：Google検索セントラル「Google の一般的なクローラー」

Google-Extendedには専用のクローラーがあるわけではなく、robots.txtのUser-agentに書くための名前として使います。

Geminiでの利用を止めたい場合は、Googlebotではなく、Google-Extendedを指定しましょう。

AI②｜OpenAIは、検索用と学習用でクローラーを分けている

OpenAIは、ChatGPTの検索機能に使うOAI-SearchBotと、生成AIのモデルの学習に使うGPTBotを分けて案内しています。

Disallowing GPTBot indicates a site’s content should not be used in training generative AI foundation models.（和訳：GPTBotを拒否すると、そのサイトのコンテンツを生成AIの基盤モデルの学習に使わないでほしいという意思を示すことになります。）

引用元：OpenAI「Overview of OpenAI Crawlers」

同じページでは、OAI-SearchBotを拒否したサイトは、ナビゲーション用のリンクとして出ることはあっても、ChatGPTの検索の回答には表示されないと説明されています。

学習だけを止めたいならGPTBotを、検索の回答に出たいならOAI-SearchBotは許可したままにしましょう。

AI③｜止めるかどうかは、AIの回答に出たいかで決める

AIの検索や回答の中で自社のサイトが紹介されることは、新しい集客の入口になりつつあります。

検索用のクローラーまで止めると、その入口を自分で閉じることになるため、止めるのは学習用のトークンだけにする、という選び方もあります。

社内で判断するときは、コンテンツを学習に使われたくない理由と、AIの回答で紹介されたい気持ちのどちらを優先するかを整理します。

AIの回答に選ばれるための考え方は、LLMO最適化とはで詳しく解説しています。

AIのクローラーは、検索用と学習用を分けて考え、止める理由がはっきりしたものだけを止めましょう。

robots.txtのよくある質問

robots.txtについて、会社のWeb担当者からよく受ける質問に答えます。

迷ったときは、止めたいのは「クロール」なのか「検索結果への表示」なのかを、まず切り分けて考えます。

質問①｜robots.txtがないと、SEOで不利になりますか？

robots.txtがなくても、それだけで不利になることはありません。

Googleは、/robots.txt が404を返す場合、クロールの制限はないものとして扱うと説明しています。

ただし、サイトマップの場所を伝えたい場合や、止めたいURLがある場合は、robots.txtを用意しておくと便利です。

止めたいURLがなければ、robots.txtは「すべて許可＋サイトマップの場所」だけで十分です。

質問②｜robots.txtを書けば、検索順位は上がりますか？

robots.txtは、ページの評価を上げるためのファイルではありません。

ページ数の多いサイトで、似たページや不要なページのクロールを減らし、大事なページが読まれやすくなる、という間接的な効果にとどまります。

順位を上げたいなら、robots.txtよりも、ページの中身やタイトル、内部リンクを見直すほうが近道です。

robots.txtは順位を上げる道具ではなく、クロールの無駄を減らす道具と考えましょう。

質問③｜WordPressやWixでは、どこで設定しますか？

Googleの説明では、WixやBloggerのようなサービスでは、robots.txtを直接編集する必要がない、または編集できない場合があるとされています。

その場合は、各サービスの検索エンジン向けの設定画面で、ページを検索に出すかどうかを切り替えます。

WordPressでは、サーバーにrobots.txtを置くか、SEO用のプラグインの設定画面で編集する方法がよく使われます。

使っているサービスのヘルプで、robots.txtや検索エンジン向けの設定の場所を確かめましょう。

質問④｜robots.txtの中身は、誰でも見られますか？

robots.txtはサイトのルートに公開されているファイルなので、URLを知っていれば誰でも中身を見られます。

「/secret-campaign/」のように、知られたくないフォルダの名前をDisallowに書くと、かえってその場所を知らせることになります。

知られたくないページは、robots.txtに書かず、パスワードで守るか、公開の準備が整うまでサーバーに置かないようにします。

robots.txtには、知られて困るフォルダの名前を書かないようにしましょう。

質問⑤｜ブロックしたのに検索結果に出ているのはなぜ？

robots.txtで止めたURLでも、ほかのサイトや自社のページからリンクされていると、URLだけが検索結果に出ることがあります。

この場合、Googleはページの中身を読めていないため、検索結果には説明文が表示されません。

検索結果から外したいなら、robots.txtのブロックを外して、ページにnoindexを付け、Googlebotに読ませる必要があります。

検索結果から外したいURLは、いったんブロックを外し、noindexを読ませましょう。

まとめ｜robots.txtは「止める目的」を決めてから書く

robots.txtは、数行のテキストファイルですが、1行の間違いがサイト全体の検索流入を左右することもあるファイルです。

止める目的を決め、書いたあとに確かめる、という手順を守れば、クローラーにとっても、検索する人にとっても分かりやすいサイトになります。

自社のrobots.txtやインデックスの状態を一度見直したい方は、カルテットコミュニケーションズのSEOコンサルティングの無料相談もご活用ください。

Search Consoleのデータを一緒に確かめ、止めるべきURLと、読ませるべき大事なページを整理します。