吉林seo公司提供吉林网站优化、网站推广、网络推广！【注册商标：同信网络®】 | 24小时服务热线：18943130809（微电同号） |
SEOURL规划应该怎么做
<
URL的问题是SEO进程中的一个基本问题，做一个新网站也好，优化现有的网站也好，都绕不开这一点。这两篇文章就来大体总结一下URL的计划应当怎么做。
在开端讲这些问题之前，须要先浏览完以下文档：
《优化网站的抓取与收录》
《谷歌搜查引擎入门指南》第7页到11页。 点此下载
《创建便利 Google 处理的网址结构》
这些都是google官方的文档，讲述了各种各样的规矩。这些对百度也是同样实用的，因为它是针对爬虫的特点提出来的，并不是只有某个搜查引擎才实用。
看完上面的那些这些规矩，发明翻来覆去讲得都是怎么让爬虫能十分顺畅的抓取完全个网站。切实绝大局部网站都存在这样或那样的问题的，也包含我这个博客，在抓取方面也存在一些问题。然而看在每篇博文都能被收录的情况下，也就不去优化了。然而对很多收录还成问题的网站来说，就要好好计划一下了。大家可能用HTTrack抓取semyj这个博客看看，就能发明为什么我这么说了。
还是先从搜查引擎的处境讲起吧。正如Google在文章中写道的那样：
网络世界极其宏大；每时每刻都在产生新的内容。Google 自身的资源是有限的，当面对多少近无穷无尽的网络内容的时候，Googlebot 只能找到跟抓取其中一定比例的内容。而后，在咱们已经抓取到的内容中，咱们也只能索引其中的一局部。
URLs 就像网站跟搜查引擎抓取工具之间的桥梁： 为了可能抓取到你网站的内容，抓取工具须要可能找到并超出这些桥梁。
这段话很好的总结了搜查引擎所面临的处境，那么爬虫在处理URL的时候会碰到哪些问题呢？
咱们先来器重复URL的问题，这里说的重复URL是指同一个网站内的不同页面，都存在很多完全雷同的URL。网站优化通过对网站功能、网站结构、网页布局、网站内容等要素的合理设计，使得网站内容和功能表现形式达到对用户友好并易于宣传推广的最佳效果，充分发挥网站的网络营销价值，是一项系统性和全局性的工作，包括对用户的优化、对搜索引擎的优化、对运营维护的优化。网站优化已经成为网络营销经营策略的必然要求。如：
跟这两个页面。
模板局部的URL是一样的
诚然页面不同，然而他们公用的局部，URL地址是一样的。看起来假如不同的爬虫抓取到这些页面的时候，会重复抓取，从而挥霍很多不必要的时光。 这确切是一个问题，不过这个问题搜查引擎倒是基本解决好了。实际上，爬虫的抓取模式不是像咱们理解的那样看到一个网页就开端抓取一个网页的。
爬虫顺着一个个的URL在互联网上抓取网页，它一边下载这个网页，一边在提取这个网页中的链接。假设从搜查引擎某一个节点出来的爬虫有爬虫
A、爬虫
B、爬虫C，当它们达到semyj这个网站的时候，每个爬虫都会抓取到很多URL，而后他们都会把那个页面上所有的链接都放在一个公用的里。
待抓取列表
这样一来，在里，那些重复的URL就可能被去重了。这是一个节点在一种幻想状况下的情况，不过实际上因为搜查引擎当前还要更新这个网页等等一些起因，一个网站每天还是有很多重复抓取。所以在以前的文章中，我告诉大家用一些方法减少重复抓取的多少率。
这里有一个问题，很多人判断想问是不是一个网页上所有的链接搜查引擎都会提取的，谜底是判断的。然而在《google网站品质指南》中，有这样一句：有些人把这句话理解为：这是错误的。
因为在里的URL，爬虫并不会每一个链接都会抓取的。 链接放在这个列表里是没问题的，然而爬虫不那么多时光也没必要每个链接都要去抓取，须要有一定的优先级。在里，爬虫一边依照优先级抓取一局部的URL，一边把还未被抓取的URL记录下来等待下次抓取，只是这些还未被抓取的URL，下次爬虫来拜访的频率就每个网站都不一样了， 每一类URL被拜访的频率也不一样。
按优先级抓取
那么在里的URL，哪些是能被优先抓取，哪些是被次要抓取的呢？
咱们略微思考一下都能明白这个抓取的优先级策略应当怎么定。首先，那些目录层级比较深的URL是次要抓取的；那些在模板局部的或重复率十分高的URL是被次要抓取的；那些动态参数多的URL是次要抓取的…。
这么做的起因，就是因为搜查引擎的资源是有限的，一个网站实际领有的内容也是有限的，然而URL数量是无穷的。爬虫须要一些来判断哪些值得优先抓取，哪些不值得。
在《谷歌搜查引擎入门指南》中，google倡导要优化好网站的URL结构，如倡导不要用这样的多层嵌套。就是因为在待抓取列表里，在其余前提雷同的情况下，爬虫会优先抓取目录层级浅的URL。如用Lynx在线版查看本网站的页面：
抓取优先级
假如说，在这17个链接里，爬虫只能选多少个链接抓取的话，红色箭头所指的链接在其余前提雷同的情况下是要优先的。
然而这里又有一个误区，有人在SEO进程中，把所有的网页都树破在根目录下，认为这样能有排名的上风。这样也是不理解这个起因。而且爬虫在这个网站上先抓取哪些URL后抓取哪些URL，都是自己的URL跟自己的URL比，假如所有网页都是在同一个目录下，那就不差别了。
最好的计划URL目录层级的方法，就是依照业务方的逻辑来计划，从内容上应当是什么从属关联就怎么计划URL就是。就像《谷歌搜查引擎入门指南》中举的那些例子一样。
爬虫有一个特点，就是它不能实时的比较它正在抓取的内容是不是重复的内容。因为假如要做到实时的比较，那它至少要把正在抓取的页面跟那些已经在索引库的页面做对比，这是不可能短时光内可能实现的。 前面把所有URL同一放到一个待抓取列表中的方法只能避免那种URL完全截然不同的重复抓取，然而无奈应答URL不一样、然而内容一样的抓取。
正如所有搜查引擎都强调的那样，动态参数是一个经常产生URL不一样、然而内容一样的景象的起因。所以搜查引擎倡导大家用静态化的方法去掉那些参数。静态化的实质是URL唯一化，在《优化网站的抓取与收录》这篇文章中，曾经用的这个描述就很贴切的表白了这个意思。静态化只是一个手段而不是目标，为了保障URL的唯一化，可能把URL静态化、也可能用robots.txt或nofollow屏蔽动态内容、可能用rel=canonical属性、还可能在webmaster tool里屏蔽一些参数等等。
而静态化也会有好的静态化跟不好的静态化之别。咱们这里不说那种把多个参数直接静态化了的案例，而是单纯来看看如下两个URL：
这两个URL中，这个静态化的是不是就比动态的好呢？ 实际上这两个URL的差别很小。首先这两种URL搜查引擎都能收录，假如说动态URL可能产生大量重复的内容让爬虫抓取，那这个静态的URL也不能保障不会产生大量重复的内容。特别是爬虫在抓取时碰到大量有ID的静态的URL时，爬虫无奈判断这个网站是不是把session ID等参数静态化了才造成的，还是这个网站原来就有这么多内容。 所以更好的静态化是这样的：
这种URL就能保障唯一化而不会跟其余情况混淆了，所以URL中要尽量用有意思的字符。搜索排名指用户在搜索引擎上输入关键词所呈现在首页的相关链接。 搜索引擎根据用户搜索关键词的热度进行排序显示。这不是因为要在URL增加要害词密度而这么做的，是为了便利搜查引擎抓取。
以上是因为爬虫固有的特点造成的抓取妨碍，而有时网站的结构也能造成爬虫的抓取妨碍。这种结构在《优化网站的抓取与收录》一文中用的名字是。文中举了一个日历的例子：如很多博客上都会有一个日历，顺着这个日历的日期始终往下点，永远都有链接供你点击的，因为时光是无穷的。
切实还有更多的的例子，只是这个名词没怎么翻译好，翻译做就轻易理解多了。 举一个例子：
京东商城笔记天职类页面：
筛选前提
当点击+这2个前提后能出来一个页面，点击++也能出来一个页面。搜索排名指用户在搜索引擎上输入关键词所呈现在首页的相关链接。 搜索引擎根据用户搜索关键词的热度进行排序显示。那总共能出来的页面有多少呢？
这个页面中，品牌有18个分类、价格9个分类、尺寸7个分类、平台3个分类、显卡2个分类。 那么可能组合成的URL个数为：
按1个前提筛选： 18+9+7+3+2 = 39 。
按2个前提筛选：18×9+18×7+18×3+18×2+9×7+9×3+9×2+7×3+7×2+3×2=527 。
按3个前提筛选：18×9×7+18×9×3+18×9×2+18×7×3+18×7×2+18×3×2+9×7×3+9×7×2+9×3×2+7×3×2=3093。
按4个前提筛选：18×9×7×3+18×9×7×2+18×7×3×2+18×9×3×2+9×7×3×2=7776。
按5个前提筛选：18×9×7×3×2=6804。
总共可能组合出的URL数量为：39+527+3093+7776+6804=18239 个。
笔记天职类里总共才 624个商品，要放在18239个页面中，而有的页面，一个页面就能放32个产品。势必造成大量的页面是不商品的。如点击这多少个筛选前提后，就不匹配的商品出来了：
无结果
这样的结果，就是造成大量重复的内容以及消耗爬虫很多不必要的时光，这也可能认为是。 这类情况非经常见。如
某房产网的无穷空间
上面举的京东商城的例子还是不怎么重大的，有的网站能组合出多少亿甚至无穷无尽个URL出来。我在国内跟国外看过那么多同类的网站，竟然发明迄今为止只有两家网站留神到了这个问题。究其起因，还是因为很多SEO人员不太器重数据，这种问题略微剖析爬虫的日志就可能看出来的。直到当初，还有一些SEOer认为把这些以前是动态的页面静态化是个有踊跃意思的事件，没看到不好的一面就是这样的动作制造出了大量重复的页面，向来就是一个在SEO方面不好的修改。
http://jlseo.236e.com
>
吉林网站推广
网站排名/百度排名/seo
吉林网站推广
网站排名/百度排名/seo
微信电话同步
18943130809
