ava基础知识回顾之一 ----- 基本数据类型 发表于 2018-03-18 | 分类于 java 前言在开始工作至今,学习各种各样的技术之中发现自己的很多Java的基础知识都忘了⊙﹏⊙b汗。。。 而且越是学习越是发现Java基础的重要性,所以准备单独抽一下时间进行Java基础的重新学习。在重新学习的时候,对这些又有了不同的感悟,于是准备将这些都记载下来,并整理成博客,希望能够帮助那些需要的人。 ... 阅读全文 »
Storm 入门的Demo教程 发表于 2018-03-16 | 分类于 storm Storm介绍Storm是Twitter开源的分布式实时大数据处理框架,最早开源于github,从0.9.1版本之后,归于Apache社区,被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票) ... 阅读全文 »
Linux CentOS 安装MySql以及搭建MySql主从复制 发表于 2018-03-05 | 分类于 sql 前言在之前的博客中,有过几篇都写了关于mysql在linux下的搭建教程,可能以后还会再写,但是又不想重复在写, 于是便想单独将此抽出来,单独写成一篇博客,并详细记录一些安装过程以及遇到的问题解决办法。顺便也将MySql的主从搭建教程也写在一起,方便以后查阅。 一、MySql安装在安装MySql之 ... 阅读全文 »
springBoot配置文件的读取以及过滤器和拦截器的使用 发表于 2018-02-28 | 分类于 java 前言在之前的学习springBoot中,成功的实现了Restful风格的基本服务。但是想将之前的工程作为一个项目来说,那些是仅仅不够的。可能还需要获取自定义的配置以及添加过滤器和拦截器。至于为什么将这些写在一起,只是因为这些比较简单而且也会经常用到,所以干脆就一起写出来了。 读取配置文件在使用ma ... 阅读全文 »
关于Kafka 的 consumer 消费者手动提交详解 发表于 2018-02-08 | 分类于 kafka 前言在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景在上一篇kafka的consumer消费者,我们使用的是自动提交offset下标。但是offset下标自动提交其实在 ... 阅读全文 »
Kafka 使用Java实现数据的生产和消费demo 发表于 2018-01-28 | 分类于 kafka 前言在上一篇中讲述如何搭建kafka集群,本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候,还是应该简单的了解下kafka。 Kafka的介绍Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。Kafka 有如下特性: 以时间复杂度为 ... 阅读全文 »
kafka和storm集群的环境安装 发表于 2018-01-26 | 分类于 kafka 前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起。若只需一个,只需挑选自己选择的阅读即可。 这两者的依赖如下: Storm集群:JDK1.8 , Zo ... 阅读全文 »
Logback日志配置的简单使用 发表于 2018-01-25 | 分类于 java Logback介绍Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块:logback-core,logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的一个 ... 阅读全文 »
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试 发表于 2018-01-20 | 分类于 hadoop 前言 在之前的大数据学习系列之七 —– Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapReduce。因此就将spark作为hive的引擎来对hbase进行查询 ... 阅读全文 »
基于SpringBoot开发一个Restful服务,实现增删改查功能 发表于 2018-01-10 | 分类于 springBoot 前言在去年的时候,在各种渠道中略微的了解了SpringBoot,在开发web项目的时候是如何的方便、快捷。但是当时并没有认真的去学习下,毕竟感觉自己在Struts和SpringMVC都用得不太熟练。不过在看了很多关于SpringBoot的介绍之后,并没有想象中的那么难,于是开始准备学习Spring ... 阅读全文 »