1.1 项目结构
1.2 项目主要依赖
项目主要依赖如下，有两个地方需要注意：
- 这里由于我服务器上安装的是 CDH 版本的 Hadoop，在导入依赖时引入的也是 CDH 版本的依赖，需要使用 标签指定 CDH 的仓库地址；
- 、、 均需要排除 依赖，原因是 中已经有该依赖，不排除的话有 JAR 包冲突的风险；
1.3 DataSourceSpout
产生的模拟数据格式如下：
1.4 将数据存储到HDFS
这里 HDFS 的地址和数据存储路径均使用了硬编码，在实际开发中可以通过外部传参指定，这样程序更为灵活。
1.5 启动测试
可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 进行打包，打包命令如下：
运行后，数据会存储到 HDFS 的 目录下。使用以下命令可以查看目录内容：
2.1 项目结构
集成用例： 进行词频统计并将最后的结果存储到 HBase，项目主要结构如下：
2.2 项目主要依赖
2.3 DataSourceSpout
产生的模拟数据格式如下：
2.4 SplitBolt
2.5 CountBolt
2.6 WordCountToHBaseApp
2.7 启动测试
可以用直接使用本地模式运行，也可以打包后提交到服务器集群运行。本仓库提供的源码默认采用 进行打包，打包命令如下：
运行后，数据会存储到 HBase 的 表中。使用以下命令查看表的内容：
2.8 withCounterFields
在上面的用例中我们是手动编码来实现词频统计，并将最后的结果存储到 HBase 中。其实也可以在构建 的时候通过 指定 count 字段，被指定的字段会自动进行累加操作，这样也可以实现词频统计。需要注意的是 withCounterFields 指定的字段必须是 Long 类型，不能是 String 类型。
到此这篇cephfs架构（ceph hdfs）的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章，希望大家都能在编程的领域有一番成就！版权声明：
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！
转载请注明出处，原文链接：https://www.xkablog.com/kjbd-jg/53805.html