个人工具
名字空间
变换
操作

重庆时时彩走势图:网页抓取

来自站长百科
跳转到: 导航, 搜索

网页抓取主要有三个方面:1、搜集新出现的网页;2、搜集那些在上次搜集后有改变的网页;3、发现自从上次搜集后已经不再存了的网页,并从库中删除。

目录

网页抓取的优先策略

通常是尽可能的首先抓取重要性的网页,这样保证在有限的资源内尽可能地照顾到那些重要性高的网页。

什么是重要性高的网页呢,主要由这三个方面决定的:

链接欢迎度

链接欢迎度主要是由反向链接的数目和质量决定的。

链接重要度

链接重要度它是关于一个URL字符串的函数,仅仅考察字符串本身,它主要通过一些模式,如认为包含|“。com”,“HOME”的URL重要度高,以及包含较少斜杠的URL重要度高等。

平均链接的深度

平均链接的深度表示在一个种子站点集合中,每个种子站点如果存在一条链路到达该网页,那么平均链接深度又是该网页的一个链接指标,因为距离种子站点越近说明被访问的机会越多。

相关条目

参考来源

留言

  • 晋中将开展为期半个月的食药安全风险大排查——食品安全频道——黄河新闻网 2019-03-26
  • 【访民情 惠民生 聚民心】多措并举拓宽村民脱贫路 2019-03-19
  • 首粒点球诞生!C罗KO德赫亚+冲纳乔坏笑 2019-03-19
  • 张雪迎搞笑配音“小猪佩奇” 与粉丝庆祝生日 2019-03-16
  • 用责任制拧紧安全阀(快评) 2019-03-16
  • 中国革命为什么要有井冈山与延安呢 2019-03-15
  • 骆惠宁:聚焦深度贫困 下足绣花功夫——黄河新闻网 2019-03-13
  • 酒店美女试睡员竟有这惊人发现 瞠目一夜 2019-03-13
  • 州市 —频道 春城壹网 七彩云南 一网天下 2019-03-11
  • 内蒙古蒙牛乳业(集团)股份有限公司获第十二届人民企业社会责任奖年度扶贫奖 2019-03-04
  • 比肩郭艾伦之人欲联手新疆冲冠?国产助攻王成X因素 2019-02-07
  • 新疆伊犁:薰衣草香飘万里 “紫色经济”成产业 2018-12-03
  • 2017年度中国城市网盟奖揭晓 广州日报大洋网捧回5项大奖!还不来为我们打call? 2018-12-03
  • 我的中国医改建议,彻底解决看病难看病贵 2018-11-20
  • 大学毕业生是不是越来越过剩?当然大学毕业生可以在多种行业就业,比如农村、服务业等等。不过,过剩还是一种极大的浪费。 2018-08-14
  • 392| 605| 30| 465| 619| 424| 805| 795| 765| 469|