clickhouse安装部署


简介

ClickHouse 是俄罗斯的 Yandex 于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。它主要有如下特点:

  • 列式存储与数据压缩
  • 向量化执行引擎
  • 关系模型与SQL查询
  • 多样化的表引擎
  • 多线程与分布式
  • 多主架构
  • 数据分片与分布式查询

使用ClickHouse作为OLAP服务的常见的应用场景包括:

  • 大多数是读请求
  • 数据批写入
  • 不修改已添加的数据
  • 查询为多行少列
  • 存储宽表
  • 单查询行数较大
  • 无事务要求,对数据一致性要求低
  • 数据被过滤或聚合后能够被盛放在单台服务器的内存中
  • 处理单个查询时需要高吞吐量
  • 每一个查询除了一个大表外都很小

部署

1. 操作系统配置

1)CPU是否支持SSE 4.2

grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported”

如果CPU不支持SSE4.2,需要进行源码安装

2)修改资源限制

#/etc/security/limits.conf在文件末尾添加:* soft nofile 65536* hard nofile 65536* soft nproc 131072* hard nproc 131072

3)取消SELINUX

#vi /etc/selinux/configSELINUX=disabled

4)关闭防火墙

service iptables stopservice ip6tables stop

5)安装依赖

yum install -y libtoolyum install -y *unixODBC*yum search libicuyum install libicu.x86_64

6)创建系统用户及数据目录

#创建用户useradd clickhouse#创建clickhouse数据目录、配置文件目录、启动文件目录、日志目录mkdir /data1/clickhouse/{cnf,data,bin,logs,tmp}chown -R clickhouse.clickhouse /data1/clickhouse

2. Clickhouse部署

1)软件安装

本文件使用二进制文件进行安装,需从https://repo.clickhouse.tech/tgz/下载如下类型包:

  • clickhouse-common-static:安装ClickHouse编译的二进制文件
  • clickhouse-server:为clickhouse-server创建符号链接并安装默认服务器配置
  • clickhouse-client:为clickhouse-client和其他与客户端相关的工具创建符号链接。并安装客户端配置文件
  • clickhouse-common-static-dbg — 安装带有调试信息的ClickHouse编译的二进制文件

每个tgz包中都有一个doing.sh脚本,用于安装相应文件,把clickhouse配置文件存放至/etc下,并配置clickhouse开机自启动服务。

本文件采用手工方式安装软件,以便于日后单机部署多个clickhouse实例。

#解压tgz包

tar -xzf clickhouse*.tgz

#手工拷贝文件夹下文件至相应目录,除etc/install目录外,如

clickhouse安装部署

2)编辑配置文件

  • 拷贝配置文件
#拷贝clickhouse-server包下etc目录文件至/data1/clickhouse/cnfcp etc/* /data1/clickhouse/cnf
#创建附加配置文件目录mkdir /data1/clickhouse/cnf/{config.d,users.d}
  • 编辑clickhouse服务配置文件
    /data1/clickhouse/cnf/config.xml

#日志配置

clickhouse安装部署
clickhouse安装部署

#侦听配置

clickhouse安装部署
clickhouse安装部署

#数据、临时目录

clickhouse安装部署
  • 编辑clickhouse用户配置文件

##配置默认用户密码

xi /data1/clickhouse/cnf/users.d/default-password.xml

clickhouse安装部署

3. 创建启动脚本

  • 编辑clickhouse启动脚本

vi /data1/clickhouse/bin/ch.sh

clickhouse安装部署
clickhouse安装部署
  • 启动clickhouse

/data1/clickhouse/bin/ch.sh start

clickhouse安装部署

4. 创建数据库、普通用户使用default用户登陆clickhouse

clickhouse安装部署

 创建数据库

clickhouse安装部署
clickhouse安装部署

创建用户

clickhouse安装部署
clickhouse安装部署

 使用新用户登陆

clickhouse安装部署
clickhouse安装部署

总结

Clickhouse做为OLAP数据库,使用列式及压缩存储数据,使用向量化执行查询,其性能非常高效,本文仅部署clickhouse单节点,以进行测试,但生产环境为了保证数据的高可用及性能,可使用分片、副本等方式构建高可用集群。

发表评论

登录后才能评论
服务中心
服务中心
联系客服
联系客服
返回顶部