【资料图】

1、这个可挺难的。

2、 首先需要你有一定数量的机器来采集页面。

3、 然后就是有一套较好的数据采集策略。

4、从网页等资源中抽取有用资源。

5、 还有就是一套较优的数据结构。

6、 通常下载都采用广度搜索策略。

7、 提取就要用到正则表达式开处理。

8、补充(2008-10-1 18:33:16)这个不是一两句话能说清楚的. 需要有一定编程基础和一定的理论知识. 不知道你具备这些不?多线程下载器比较容易编写. 不好弄的就是数据结构部分. 还有就是主题抽取. 如果想简单也可以, 就是编写下载器, 然后将下载的网页的Html代码去除. 将抽取到的正文部分储存到数据库中(比如MSSQL), 然后利用数据库的全文检索功能提供查询服务.。

本文到此分享完毕，希望对大家有所帮助。