apache开源项目--nutch
2024-09-17 19:04:59
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch的创始人是Doug Cutting，他同时也是Lucene、Hadoop和Avro开源项目的创始人。
Nutch诞生于2002年8月，是Apache旗下的一个用Java实现的开源搜索引擎项目，自Nutch1.2版本之后，Nutch已经从搜索引擎演化为网络爬虫，接着Nutch进一步演化为两大分支版本：1.X和2.X，这两大分支最大的区别在于2.X对底层的数据存储进行了抽象以支持各种底层存储技术。
在Nutch的进化过程中，产生了Hadoop、Tika、Gora和Crawler Commons四个Java开源项目。如今这四个项目都发展迅速，极其火爆，尤其是Hadoop，其已成为大规模数据处理的事实上的标准。Tika使用多种现有的开源内容解析项目来实现从多种格式的文件中提取元数据和结构化文本，Gora支持把大数据持久化到多种存储实现，Crawler Commons是一个通用的网络爬虫组件。
Nutch 致力于让每个人能很容易, 同时花费很少就可以配置世界一流的Web搜索引擎. 为了完成这一宏伟的目标, Nutch必须能够做到:
每个月取几十亿网页
为这些网页维护一个索引
对索引文件进行每秒上千次的搜索
提供高质量的搜索结果
以最小的成本运作
在线Javadoc：http://tool.oschina.net/apidocs/apidoc?api=nutch2.0
最新文章
- Openfire 4.1.0
- Sqlserver中 登录用户只能看到自己拥有权限的库
- 你好，欢迎来到我的博客，我是博主royalmice1
- xmind的第六天
- github 多帐户使用
- (一)Windows下搭建PHP开发环境及相关注意事项
- 刨根究底字符编码之十二——UTF-8究竟是怎么编码的
- POJ 3683 Priest John's Busiest Day / OpenJ_Bailian 3788 Priest John's Busiest Day(2-sat问题)
- Spring+SpringMVC+MyBatis+easyUI整合基础篇（四）代码简化
- Makefile学习(三)[第二版]
- C# 方法扩展
- Django之django模型层一单表操作
- Burp Scanner Report
- Oracle亿级数据查询处理（数据库分表、分区实战）
- link元素 rel src href属性
- postgresql时间处理
- [日常] go语言圣经-声明,变量,赋值,类型,包和文件习题
- 重构 MVC； 代码分享工具（重构，改进，打分）
- The Architecture of Open Source Applications——阅读笔记part 1
- verilog系统函数用法