CSS、デザイン、プログラミング等などWebに関する事を更新しています。

1. クローラのIPを制限していないか
   もしIPで携帯以外のアクセスを制限していた場合、クローラーも同時に弾かれることになります。 携帯は各キャリアがIP帯域を公開していて携帯のIPのみを許可することが容易なため、結構落とし穴です。 この場合は検索エンジンのクローラーIPを開放することでクロールしてくれるようになります。 クローラーIPは公式で公開されていないので、追いかけるのが超めんどいです...。
2. クローラーのUserAgentを制限していないか
   UserAgentでアクセスを制限している場合、クローラーのUserAgentも開放してあげないとクロールする前に弾かれてしまいます。 UserAgentはIPよりは把握が楽です。（Yahoo!モバイルは公式で公開してるし）
3. クローラーが使用している機種情報が制限されていないか
   機種別に見せるページを変えている、アクセス制限をしている場合、これもクローラーが弾かれる原因になります。 なぜなら各モバイル検索エンジンクローラーは機種情報を付与しつつクロールに来るからです。 つまり、携帯に成りすましてクロールに来ていると言うこと。 なのでクローラーが成りすましている機種にアクセス制限がかかっていると、内部が見られないためインデックスされても「対応していない機種なのでアクセスできません...うんたら」のページしかインデックスされない状況に。 この偽装している機種も公式で公開していないので全ての把握が難しい＆めんどいです。

個人的に今まで集めてきたモバイルクローラーのIP、UserAgent、機種情報を公開します。クローラー自体が随時増えているので、このサイトでも随時追いかけていきます～。 (というか、ちゃんとした一覧ページ作ったほうがいいかな...)

Yahoo!

• Y!J-SRD
  IP
  • 124.83.159.
  • 203.216.197.xxx
  機種情報
  • J-PHONE/4.3/V603T
  • J-PHONE/2.0/J-SH03
  • J-PHONE/3.0/V403SH
  • DoCoMo/2.0/SO502i
  • DoCoMo/1.0/SO506iC
  • KDDI-CA23 UP.Browser/6.2.0.5
• Y!J-MBS
• Y!J/1.0
  IP
  • 211.14.8.2xx
• lwp-trivial/1.41（cr0x.wap.search.mud.yahoo.comでやってくる）
  IP
  • 209.191.126.xxx
• Yahoo　Seeker
  IP
  • 66.94.229.146
  • 66.94.233.75
  • 66.196.93.xxx
  • 68.142.195.xxx
  • 216.109.126.143
  機種情報
  • KDDI-TS24
  • J-PHONE/2.0/J-SH03
  • DoCoMo/1.0/SO502i

Google

• Googlebot-mobile
  IP
  • 66.249.64.0/20
  • 222.238.81.xxx
  • 207.44.196.xxx
  • 125.177.35.xxx
  • 216.239.39.xxx
  機種情報
  • KDDI-CA33
  • DoCoMo/1.0/N505i/c20/TB/W20H10
  • Nokia7110/1.0
  • Nokia6820/2.0