最近发现，随着网站流量的上升，也引来了一些恶意抓取的程序。我不反对蜘蛛的抓取，但是有些抓取程序写的太恶心了，简直就是变相的ddos，高并发长时间不间断的抓取，产生了大量的垃圾日志信息，而且会占用网站的正常带宽。不知道有没有针对这种抓取比较好的办法，对一个ip还好说，我可以自己iptable禁掉，是否有一种工具能够自动判断这种情况呢？别说要购买防火墙啊，希望有性价比高的方案。
iptable
http://robbin.iteye.com/blog/451014
欢迎来到随意问技术百科, 这是一个面向专业开发者的IT问答网站，提供途径助开发者查找IT技术方案，解决程序bug和网站运维难题等。 温馨提示：本网站禁止用户发布与IT技术无关的、粗浅的、毫无意义的或者违法国家法规的等不合理内容，谢谢支持。
