2008-05-22から1日間の記事一覧

Webクローラからのアクセスをサイト内全てのページに対して拒否したい場合

IT

めもめも。Webサイトのドキュメントルートに"robots.txt"を設置して、以下の記述を実施。 User-agent: * Disallow: / 例外的に許可したいページがある場合は、Allowを使って記述したり、そのページのMETAタグに以下を記載しておけばいい。 User-agent: * Dis…