UserAgent「lwp- trivial」の正体
投稿者：めか 
現在モバイルSEOのテスト用にDocomoのDOCTYPE宣言を入れたxhtmlのページを泳がせているんですが、
ログを見ていたらクローラーの中でこんなやつがいました。
- IP： 209.191.126.182
- HOST: cr06.wap.search.mud.yahoo.com
- UA: lwp-trivial/1.41
HOSTからしてどうやらYahooのモバイルクローラー？（wapってあるし。でも情報が少ないからなんとも）
しかしUAが違うしなあ...と思って調べていたら、
このUAはperlがページを取得した時に残されるもの(LWP::Simple)とのこと。
mixiのRSS fetcherも以前はこれだったとか、そうでないとか。
とにかくこのクローラー、ひたすらrobots.txtとサイトマップをセットで拾っていきます。
Whois見ても本物のYahooの様なので、ちょい様子見で。
« PHPでテキストファイルのX行目を読み込む | ホーム | google- analyticsの外部javascript化について »
http://pulltab.info/mt/mt-tb.cgi/24
