robots怎么限制蜘蛛抓取后缀页面比如.php这类的？

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一个*，后面一个$，代表后缀。