什么是ClkLog

ClkLog是一款支持快速私有化部署的开源埋点分析系统。
兼容Web、App、小程序等多端埋点数据采集，帮助你快速洞察用户访问路径、行为轨迹，并生成多维用户画像。

系统基于神策开源SDK，使用ClickHouse构建高性能数据分析能力，采用主流技术栈、架构清晰、易于维护，提供灵活快速的部署方法。
旨在助力企业低成本构建可靠、可扩展的用户行为数据分析平台。

核心功能

• 数据采集：支持网页、小程序、IOS、Android等多端数据采集

• 数据治理：制定清洗规制、实现数据自动化清洗和治理

• 流量概览：提供流量渠道、设备、地域、访客类型等多维度分析

• 用户画像：解析用户唯一ID，定位追踪用户全生命周期画像

• 数据下载：支持各项汇总数据、明细数据的下载

技术栈选择

• 后端：Java、Redis 、Zookeeper、Kafka 、Flink

• 前端：vue、vue-element-admin、element-ui 、echarts

• 数据：Clickhouse、mysql

系统架构

标准模式

采集日志数据先存入kafka，经由flink处理后再存入clickhouse.

快速模式

采集日志直接存入clickhouse.

模式区别

提示

可根据实际情况选择标准模式还是快速模式部署，后续也可进行模式切换。

Docker部署模式切换参考

源码部署模式切换参考receiver配置的enable-simple-version配置

项目组成

• 初始化服务【clklog-init】：初始化服务，用于clickhouse数据库初始化和定时脚本任务配置。

• 接收服务【clklog-receiver】：数据接收服务，接收客户端采集的日志数据并存入kafka。

• 处理服务【clklog-processing】：数据处理服务，依托flink，消费kafka数据并存入clickhouse。

• 管理接口【clklog-manage】：管理接口，提供clklog-ui前端项目管理、账号管理及数据清洗过滤配置相关接口。

• 统计接口【clklog-api】：统计接口，提供前端各维度数据查询统计分析接口。

• 统计展示 【clklog-ui】：基于 vue-element-admin 实现的相关统计分析及系统相关功能配置的前端应用。

• SQL查询 【clklog-tabix】：基于tabix二开的ClkLog自定义SQL查询前端项目，提供可视化的前端连接clickhouse数据库服务，可直接在线查看或手写SQL查询clickhouse中Clklog相关数据库表的结构和数据。 [付费版]

• 用户画像模块接口 【clklog-ups】：用户画像相关接口，提供clklog-ui前端用户画像相关功能接口服务。 [付费CDP版]

示意图