个人工具
名字空间
变换
操作

河内2分彩怎么玩:网页抓取

来自站长百科
跳转到: 导航, 搜索

网页抓取主要有三个方面:1、搜集新出现的网页;2、搜集那些在上次搜集后有改变的网页;3、发现自从上次搜集后已经不再存了的网页,并从库中删除。

目录

网页抓取的优先策略

通常是尽可能的首先抓取重要性的网页,这样保证在有限的资源内尽可能地照顾到那些重要性高的网页。

什么是重要性高的网页呢,主要由这三个方面决定的:

链接欢迎度

链接欢迎度主要是由反向链接的数目和质量决定的。

链接重要度

链接重要度它是关于一个URL字符串的函数,仅仅考察字符串本身,它主要通过一些模式,如认为包含|“。com”,“HOME”的URL重要度高,以及包含较少斜杠的URL重要度高等。

平均链接的深度

平均链接的深度表示在一个种子站点集合中,每个种子站点如果存在一条链路到达该网页,那么平均链接深度又是该网页的一个链接指标,因为距离种子站点越近说明被访问的机会越多。

相关条目

参考来源

留言

  • 2017中央经济工作会议 2019-06-05
  • 晋中交警严查“四类车辆”违法行为 2019-06-05
  • 商务部:前5月高技术制造业利用外资同比增61.9% 2019-06-02
  • 办公游戏通杀 微软最强笔记本15寸Surface Book 2即将上市 2019-06-02
  • 事实告诉中国,与外界有限交流,是保障国民经济安全的不二法门。换句话说,必须独立自主、自力更生、艰苦奋斗、勤俭建国。那种疯狂消耗型需求经济不适合中国。 2019-05-28
  • 回复@海之宁:俗话说:物以类聚人以群分,你跟你认定为老蚕的人在一个阵营中,不证明你也很老蚕? 2019-05-23
  • [雷人]然后大家都一起跟你一样混起? 2019-05-19
  • 2016“环球视角·活力中国”高峰论坛 2019-05-19
  • 梨子的滋味说不清楚就要亲口偿偿,什么不提倡在一些省搞社会主义,在一些省搞自由市场经济呢,却把这一理念转移方向呢? 2019-05-06
  • 讲法治说情操 江北党员干部听“老马”宣讲“两会”精神 2019-05-06
  • 王云飞:打美军我们东海弱,南海强!凤凰军机处 2019-05-05
  • DJ音乐绽放江西之巅 萍乡武功山帐篷节成功举办 2019-05-03
  • 圣洁的雪山文章中国国家地理网 2019-04-30
  • 杭州市上城区:“民情E点通”打造基层社会治理的创新样板 2019-04-20
  • 董卿白岩松朱广权 看看央视主持人大学就读啥院系 2019-04-12
  • 77| 208| 881| 378| 117| 354| 621| 477| 828| 711|