山东科学 ›› 2015, Vol. 28 ›› Issue (2): 101-107.doi: 10.3976/j.issn.1002-4026.2015.02.017
李晨，朱世伟，赵燕清，于俊凤
LI Chen, ZHU Shi-wei, Zhao Yan-qing,YU Jun-feng
摘要： 针对单机爬虫效率低、可扩展性差等问题，本文设计并实现了一种基于MapReduce的网络爬虫系统。该系统首先采用HDFS和HBase对网页信息进行存储管理，基于行块分布函数的方法进行网页信息抽取；然后通过URL和网页信息相似度分析相结合的去重策略，采用Simhash算法对抓取的网页信息进行相似度度量。实验结果表明,该系统具有良好的性能和可扩展性，较单机爬虫相比平均抓取速度提高了4.8倍。
中图分类号:
开放获取 本文遵循知识共享-署名-非商业性4.0国际许可协议（CC BY-NC 4.0），允许第三方对本刊发表的论文自由共享（即在任何媒介以任何形式复制、发行原文）、演绎（即修改、转换或以原文为基础进行创作），必须给出适当的署名，提供指向本文许可协议的链接，同时表明是否对原文作了修改，不得将本文用于商业目的。CC BY-NC 4.0许可协议详情请访问 https://creativecommons.org/licenses/by-nc/4.0
