apache nutch(java搜索引擎框架)v1.9 免费版

apache nutch电脑版简介

它提供了运行自己的搜索引擎所需要的全部工具，包括全文搜索和web爬虫，使用nutch不仅可以建立自己内部网的搜索引擎，同时也可以针对整个网络建立搜索引擎。除了基本的功能之外，nutch也还有不少自己的特色组件

apache nutch软件特色

1、为这些网页维护一个索引

2、每个月取几十亿网页

3、提供高质量的搜索结果

4、对索引文件进行每秒上千次的搜索

5、nutch致力于让每个人能很容易，同时花费很少就可以配置世界一流的web搜索引擎

功能介绍

1、支持将起始url集合注入到nutch系统之中

2、根据url地址在互联网上抓取相应的内容

3、支持生成片段文件，其中包含了将要抓取的url地址

4、解析所抓取到的网页，并分析其中的文本和数据

5、同时，对抓取到的网页内容建立索引，生成索引文件存放在系统之中

6、根据新抓取的网页中的url集合来更新起始url集合，并再次进行抓取

更新日志

1、增加了可爬取的数据类型

2、增加对web爬虫的管理功能

3、解决了一些格式上的已知问题

4、修复了一些bug，优化了软件界面