6 z4 V- d1 S0 \9 U# K 0 c+ l% B \ s- a! u2 V% [$ L7 ^拆分一下,才有1000次的抓取。这么重要的页面,爬虫竟然只用了10%多一点的精力,我一共30000个产品,就算爬虫这1000次抓取的都是不重复的页面,也要30天遍历一遍!所以,我的一个主要的SEO的行为,就是要爬虫纠偏,让爬虫花更多的精力放在我的产品详情页面上。这里,我们忽略到一个现实,产品列表,品牌列表,品牌专区页面都很重要,为了说明问题,我们都把他们忽略吧。就认为这个网站唯一重要的是产品详情页面,家要记住这个前提,好了,我们怎么做?来给爬虫纠偏。前面说了,纠偏之后,最少能增长30~50的流量。搜索我们要知道,剩下80%的爬虫都去了哪里了?我们通过拆分发现,抓JS竟然抓了2000次!看看CSS,只有419次。JS和CSS加起来也要有2200多次了,一个大头找到了。那在SEO代码优化中对于JS和CSS应该如何处理,直接用robots.txt把JS和CSS屏蔽掉吗?; e& A' l) l C8 w! l