3 篇博文 含有标签「实验楼」

kafka 介绍与实践​

基本概念​

topic: Kafka处理的消息源

partition: topic物理上的分组，partition中每条消息都会被分配一个有序的id(offset)

message: 消息，通信的基本单位，每个producer可以向一个topic发布一些消息

broker:缓存代理，Kafka集群中的一台或多台服务器统称为broker

leader: 负责处理消息的读和写

replicas: 副本节点

isr: 正在服务中的节点

安装部署​

启动hadoop:

$ hadoop/sbin/start-all.sh

Redis数据类型​

字符串​

设置值：set key value 获取值：get key 没有相同key时才设置值：set key newval nx 拥有相同key时才设置值：set key newval xx

增加1：incr key 增加x：incrby key x

同时设置多个值：mset key1 value1 key2 value2 同时获取多个值：mget key1 key2

列表​

PUSH: lpush 插入新元素到头部；rpush 插入新元素到尾部（一次可以push多个元素） POP: lpop 删除头部元素；rpop 删除尾部元素

HBase环境搭建与配置​

HBase解压即可使用。

【注意】伪分布模式下，HBase需要与Hadoop版本匹配，可以看HBase的lib里Hadoop的jar文件版本。

需要配置hbase-site.xml，可以使用自带的Zookeeper。

单机模式配置如下：

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>file:///tmp/hbase-${user.name}/hbase</value>
    </property>
</configuration>