CatalogSearcherBot について

CatalogSearcherBot は、企業が一般公開している製品カタログ・技術資料(PDF)を収集するクローラーです。

• robots.txt に従います。User-agent: CatalogSearcherBot で拒否できます。
• 同一サイトへのアクセスは間隔を空け、サーバーに負荷をかけないようにしています。
• ログインが必要なページ・会員限定資料は取得しません。ボット対策のあるサイトは回避せずに取得を止めます。
• 資料そのものは再配布せず、出典として元の URL にリンクします。

お問い合わせ・停止のご依頼は こちら から。