ASP 自动采集实现代码

通过XMLHTTP组件远程获取网页内容并将其转化为数据库中的变量——自动化信息管理的新纪元

在这个数字化时代，我们不再需要手工录入大量信息，而是可以通过编程技术实现信息的自动化获取和存储。一种新兴的技术方案就是利用XML中的XMLHTTP组件来远程调用其他网站上的网页内容，然后批量截取或替换原有信息，将其转化为变量后储存到数据库中。这种方法的最大优点在于极大地节省了时间和人力，实现了信息的批量处理。

不同于传统的ASP小偷程序，这种方法不再依赖于目标网站。我们可以自定义规则，指定对某一网站的特定信息截取进行批量录入，大大提升了工作效率。

下面是一段示例代码，展示了如何通过XMLHTTP组件获取远程网页内容：

```xml

<%

'定义获取目标信息的函数，通过XML组件实现

Function Geturl(url)

Set Retrieval = CreateObject("Microsoft.XMLHTTP")

With Retrieval

.Open "GET", url, False

.Send

GetURL = bytes2bstr(.responsebody) '获取响应内容，并进行二进制转字符串处理

End With

Set Retrieval = Nothing

End Function

'二进制转字符串函数，避免乱码

function bytes2bstr(vin)

strreturn = ""

For i = 1 to lenb(vin)

thischarcode = ascb(midb(vin,i,1))

If thischarcode < &h80 Then

strreturn = strreturn & chr(thischarcode)

Else

nextcharcode = ascb(midb(vin,i+1,1))

strreturn = strreturn & chr(clng(thischarcode) &h100 + cint(nextcharcode))

i = i + 1

End If

Next

bytes2bstr = strreturn

End Function

'声明截取格式的函数

Function GetKey(HTML,Start,Last)

filearray=split(HTML,Start)

filearray2=split(filearray(1),Last)

GetKey=filearray2(0) '返回截取的关键信息

End Function

'获取页面ID和URL，以天空软件的软件名为例

Dim Softid,Url,Html,Title

SoftId=Request("Id")

Url="

Html = Geturl(Url)

Title = GetKey(Html,"","") '根据特定格式截取信息

'将截取的信息存入数据库

Dim connstr,conn,rs,sql

connstr="DBQ="+server.mappath("db1.mdb")+";DefaultDir=;DRIVER={Microsoft Aess Driver (.mdb)};"

set conn=server.createobject("ADODB.CONNECTION")

conn.open connstr

set rs=server.createobject("adodb.recordset")

sql="select from 表名 where 列名='"&Title&"'" '根据截取的信息查询数据库是否已存在相同记录

rs.open sql,conn,3,3

If rs.eof and rs.bof Then '若不存在相同记录，则将截取的信息存入数据库新记录中

rs("列名")=Title

rs.update

End If

Response.Write"采集完毕!" %> ​​cambrian.render('body')`上述代码首先声明了用于获取远程网页内容的函数Geturl()，该函数通过XMLHTTP组件发送GET请求并获取响应内容。然后定义了二进制转字符串的函数bytes2bstr()，以避免乱码问题。接下来，定义了截取关键信息的函数GetKey()，能够根据指定的起始和结束标记截取HTML中的内容。然后获取页面ID和URL，并通过Geturl()函数获取远程网页内容。将截取的信息存入数据库中。整个过程实现了自动化获取远程网页内容并将其存入数据库的功能，大大节省了手工录入信息的时间和人力成本。通过特定的截取规则，可以精确地获取所需的信息并存储到数据库中，提高了信息管理的效率和准确性。这种方法在自动化信息管理领域具有广泛的应用前景。