楼上说的很(hen)多(duo)，我(wo)补充(chong)一(yi)下(xia)，正(zheng)确(que)的应该叫(jiao)网络蜘蛛，又称爬(pa)虫，本质(zhi)是搜(sou)索(suo)引擎派(pai)出的一个执(zhi)行抓取任务的程序蜘蛛池的本(ben)质是大(da)量的网站互相链接(jie)，每个站单独产生大量(liang)的内容(rong)吸引蜘蛛来(lai)爬，几(ji)千个网站(zhan)互链时，可以想象蜘蛛的链(lian)接(jie)