楼(lou)上(shang)说的很多,我补充一下,正(zheng)确(que)的应该叫网(wang)络蜘蛛,又称(cheng)爬(pa)虫,本质是搜索(suo)引擎派出的(de)一个执行(hang)抓取任(ren)务(wu)的程(cheng)序(xu)蜘蛛池的本质是大(da)量的网站互相链接,每个站(zhan)单独产(chan)生(sheng)大量的(de)内容(rong)吸引蜘(zhi)蛛来爬,几千个网站互链时,可以想象(xiang)蜘(zhi)蛛(zhu)的链接
Copyright © 2008-2018