proxifier代理服务器ip
互联网充斥着来自搜索引擎、虚拟助理和聊天机器人等来源的自动化流量。但是,在高效的自动化流量的对立面是恶意爬虫程序——恶意攻击者使用这些软件程序来自动发起攻击。
Forrester最新发布的报告指出,“为了应对这些最为复杂的爬虫程序,安全专业人员需要爬虫程序管理工具来对检测方法进行分层(比如针对用户行为的统计分析)、收集生物统计信息以检测异常以及不断更新信誉评分。”
对此,环球网科技记者就“爬虫的识别和管理”采访了Akamai中国区企业事业部总经理何铭(Jerry He)和Akamai大中华区产品市场经理刘炅(John Liu)。
Akamai大中华区产品市场经理刘炅指出,互联网流量中有40%的流量是bot(机器爬虫或自动化软件)产生的,其中包括恶意爬虫和善意爬虫,前者是通过远程自动化的方式,经过互联网对目标的站点和网站进行攻击,以达到一些商业化的欺诈目的;后者指的是利用类似搜索引擎的软件做一些增加搜索流量的工作。
恶意爬虫的影响不能小觑,以游戏和电商行业为例,如果一些账号经常被恶意盗用或复制,用户的抱怨和投诉便会增多,最终会对企业造成经济上损失。Ponemon Institute的调查显示,由爬虫引起的“撞库”攻击每年会给企业带来高达270万美元的损失,因此,对于企业而言,善意爬虫和恶意爬虫的区分就显得格外重要。刘炅对记者表示,善意爬虫其实有迹可循,“针对搜索引擎发出的爬虫,我们可以定位它们的指纹脚本特征。另外,作为全球最大的智能边缘平台,Akamai本身已具备威胁情报及数据,可以据此判别爬虫来源是有效IP还是恶意IP。恶意爬虫也有自己的特征,比如较高的爬取频率和在单位时间内的较高抓取次数。”
在刘炅看来,爬虫的攻击演进大概分为四个阶段,“从简单的IP、浏览器到模仿人的行为,爬虫现在已发展到第四个阶段,呈现分布式的攻击特点——即利用更多的僵尸网络发起攻击,伴随更多的拟人行为。”对此,Akamai开发出Bot Manager(爬虫管理器)解决方案,用于帮助企业管理和甄别爬虫流量。
就在三月,Akamai对Bot Manager进行了升级proxifier代理服务器ip,此举更注重攻防能力的提升。具体而言,首先,新的产品更新提供了更多和更精准的爬虫检测方法。例如,POW(Proof of Work)挑战检测方法可以在防护设备或防护端对网页的请求端发出挑战,通过检测请求端的回应,可以精准地检测“幕后操作手”是爬虫还是真人。第二个特色是基于人工智能的评分机制,新的Bot Manager可以利用Akamai的云端数据和威胁情报对爬虫流量进行自动评分,并根据这些分值进行更细粒度的防护。第三,新的Bot Manager增加了很多场景的支持,尤其是对于跨域的场景支持。最后,新的Bot Manager可以和Akamai的mPulse产品(主要对于真实用户的检测)进行集成,进而对爬虫对网站性能产生的影响进行可视化展现。
Akamai中国区企业事业部总经理何铭告诉记者:“准确来讲,爬虫会影响所有的行业,只要跟互联网相关的企业都会受到影响。”从行业分布影响角度来看,金融行业是第一重灾区,因为金融行业的每一位客户对攻击者而言都是高价值资产。其次,由于电商几乎覆盖了人们日常生活的方方面面,所以电商行业受到的爬虫攻击亦很频繁,而攻击则有可能导致整个电商网站的交易失败,更可怕的是当电商跟支付系统捆绑在一起,网络欺诈也会发生。再次,媒体行业也是爬虫攻击的主要目标,特别是爬虫伪造信息从而影响舆论,会对社会造成很重大的影响。最后,网络游戏里的每一个帐号或多或少都会存在虚拟装备,一旦游戏被爬虫攻击,玩家的虚拟资产便有可能被盗取,而这也直接影响游戏平台的信誉。
“所以,只要与互联网相关的企业就一定要有爬虫防范意识,要随时随地去甄别这些爬虫,并及时拦截恶意爬虫流量。”对此何铭给出了自己的具体建议,“虽然很多企业都设有首席安全官职位,但爬虫管理需要企业的综合考量,而不是仅依靠某一个特定部门或职位。另外,管理爬虫要考虑一些深层次的影响,因为爬虫的攻击方式一直在变,企业需要一个很有经验的厂商来帮助制订应对策略。”
值得关注的是,随着全球范围内居家办公成为一种主流方式,办公地点的变化对于网络攻击和防护而言也产生了新的问题。
对此,何铭表示,“从网络环境的安全性来讲,企业办公场所通常比居家好。因此,员工居家办公对于那些平日就躲在暗处的攻击者,意味着更容易找到安全漏洞。另一方面,远程办公让企业对于突发事件的反应和处理不如以往及时,因此攻击者就更容易采取更恶劣的手段。所以,在当前情况下,企业更要加强安全防护。”
“原来企业的办公环境可能是一个内网,而现在办公室就是互联网,这是一个最大的变化。随着工作地点的分散,企业的业务系统便暴露在互联网之上。这样就会衍生出更多基于恶意爬虫的攻击方法,企业需要让安全管理人员乃至所有员工重视自身的网络安全。”刘炅进一步补充道,“就Akamai来讲,我们会针对各个企业安排相对应的服务团队进行7×24小时的值守,同时应用各种先进技术全方位保护企业免遭攻击。”