雨哲浅谈关于防采集而不影响收录内容篇
网络编程 2021-07-05 10:58www.168986.cn编程入门
防采集是很麻烦而且累人的事,你做的再好,别人要采还得采。累人就在于要防别人采集,还要不影响搜索引擎收录(大部分个人站长的站的生存都寄于百度和Google)。所以要防采集,就得先不影响收录,所以我们先要分析到如何分辨搜索爬虫。
让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。
一、如何分辨搜索爬虫
以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。
Function CheckSearchRobots(SearchRobotsAgent)
CheckSearchRobots = False
'自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录
Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo"
dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots
SearchRobotsTrue = False
ArrSearchRobots = split(SearchRobots,chr(124))
For iSearchRobots = 0 To Ubound(ArrSearchRobots)
ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@")
If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then
SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for
End If
Next
If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息
CheckSearchRobots = True
End If
End Function
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用 If CheckSearchRobots(SearchRobotsAgent) = False Then
Response.Write "非搜索引擎,可作部分限制!" '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。
End If
二、限制超常规访问。
狼蚁网站SEO优化说说如何限制别人的超常规访问。狼蚁网站SEO优化代码来源于互联网(原作者未能找到)。我作了部分修改和说明。
Sub CheckAppeal()
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒内请求限制次数
'雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。
'雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。
AppealCount=Request.Cookies(AppealCookies)
If AppealCount="" Then
Response.Cookies(AppealCookies)=1
AppealCount=1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
Else
response.Cookies(AppealCookies)=AppealCount+1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!"
'这里的提示完全可以自定义,我的做法是转到一个和当前文章模板完全一致的页面,内容是自定义的。
'有兴趣的朋友也可以采集<a class="channel_keylink" href="http://.yuzhe.name">雨哲</a>在线的http://.yz81./wanzhuan/频道狼蚁网站SEO优化的文章。
Response.end
End If
End Sub
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用
Call CheckAppeal()
一、如何分辨搜索爬虫
以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。
代码如下:
Function CheckSearchRobots(SearchRobotsAgent)
CheckSearchRobots = False
'自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录
Dim SearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo"
dim ArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots
SearchRobotsTrue = False
ArrSearchRobots = split(SearchRobots,chr(124))
For iSearchRobots = 0 To Ubound(ArrSearchRobots)
ArrSearchRobots2 = split(ArrSearchRobots(iSearchRobots),"@")
If Instr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0))) > 0 then
SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exit for
End If
Next
If SearchRobotsTrue and len(SearchRobotsName)>0 then'如果是爬虫,就更新爬虫信息
CheckSearchRobots = True
End If
End Function
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用 If CheckSearchRobots(SearchRobotsAgent) = False Then
Response.Write "非搜索引擎,可作部分限制!" '这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。
End If
二、限制超常规访问。
狼蚁网站SEO优化说说如何限制别人的超常规访问。狼蚁网站SEO优化代码来源于互联网(原作者未能找到)。我作了部分修改和说明。
代码如下:
Sub CheckAppeal()
Dim AppealNum,AppealCount
AppealNum=10 '同一IP60秒内请求限制次数
'雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。
'雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。
AppealCount=Request.Cookies(AppealCookies)
If AppealCount="" Then
Response.Cookies(AppealCookies)=1
AppealCount=1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
Else
response.Cookies(AppealCookies)=AppealCount+1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
End If
if int(AppealCount)>int(AppealNum) then
Response.Write "兄弟,爬了这么久,歇会儿吧,别累坏了身体!"
'这里的提示完全可以自定义,我的做法是转到一个和当前文章模板完全一致的页面,内容是自定义的。
'有兴趣的朋友也可以采集<a class="channel_keylink" href="http://.yuzhe.name">雨哲</a>在线的http://.yz81./wanzhuan/频道狼蚁网站SEO优化的文章。
Response.end
End If
End Sub
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用
Call CheckAppeal()
上一篇:asp数据库连接函数
下一篇:雨哲防采集策略之列表篇
编程语言
- 宿迁百度关键词排名指南:实现精准营销的关键
- 四川SEO优化怎么做网络推广
- 立昂技术备案老域名收购:如何为您的业务赋能
- 安徽百度关键词seo贵不贵,一般需要多少钱
- 吉林百度快照排名怎么做电话营销
- 多伦新手做SEO怎么做
- 甘肃优化关键词排名推广怎么做论坛营销
- 沙雅SEO网站推广:提升您的在线可见性
- 四川SEO优化如何提升销售额和销售量
- 聂荣网站排名优化:提升网站可见性的全方位指
- 涞水SEO:提升地方企业在线可见性的策略
- 辽宁百度seo排名怎样做网站排名
- 临湘哪有关键词排名优化:提升网站可见度的关
- 黑龙江百度网站优化有没有优惠
- 凉城优化关键词排名推广:提升您的网络可见性
- 萝北整站优化:提升您网站流量和排名的全面指