robots.txtで検索結果から消したいのに「この結果の説明は、このサイトの robots.txt により表示されません」と表示されて意味ない件

robots_txt

とあるサイトをインデックスから完全に削除しようと思ってrobots.txtを記載していたのですが、これだけは甘かったようです。SEOのホワイトハットジャパンさんの記事で詳しく記載されていたので引用します。

絶対に検索結果に表示させたくないページを指定するには、robots.txtファイルでブロックするのではなく、noindex robots metaタグを使うか、X-Robots-Tagを使います。 なお、noindex robots metaタグを記述する場合、noindex robots metaタグとrobots.txtファイルを併用してはいけません。(中略)noindex robots metaタグを用いて確実に検索結果で非表示にさせたい場合は、robots.txtファイルでクローラーの巡回を許可させましょう。

クローラーはrobots.txtファイルの内容を優先するためnoindex robots metaタグが記述されているページにアクセスできない、つまりnoindex robots metaタグを読み込めないということらしいです。こんな仕様にする意味あったのかなぁ…