楼上说的很多,我(wo)补充(chong)一下,正(zheng)确的应(ying)该(gai)叫(jiao)网络蜘蛛,又(you)称爬虫,本质是(shi)搜索引擎(qing)派(pai)出的一个执(zhi)行(hang)抓取任务的(de)程序蜘蛛池的本质是大(da)量(liang)的(de)网站互相链接,每个站(zhan)单独产生(sheng)大量(liang)的内容吸引蜘(zhi)蛛来爬,几千(qian)个网(wang)站互链时,可以想象(xiang)蜘(zhi)蛛的链接
Copyright © 2008-2018