专业编程教程与实战项目分享平台

网站首页 > 技术文章 正文

大数据处理神器!推荐一款简单好用的开源大数据平台

ins518 2025-01-18 20:37:14 技术文章 52 ℃ 0 评论

平台简介

Lacus是一个简单、易用的开源大数据处理平台,集元数据、数据采集、Flink开发,Spark开发和资源管理于一身,专注解决解决大数据的采集、存储、分析与计算难题。

代码全开源,平台提供友好交互的前端界面,层级结构清晰,使用者可以快速上手搭建属于自己的大数据处理平台。


核心功能和结构

1、核心功能

2、项目结构

lacus
├── lacus-admin  -- api接口模块
├── lacus-common -- 公共模块
├── lacus-core  -- 核心基础模块
├── lacus-dao  -- 数据库交互模块
├── lacus-dist  -- 打包模块
├── lacus-domain  -- 业务领域模块
├── lacus-service  -- 服务层
├── lacus-rtc-engine  -- 实时采集引擎
└── sql  -- sql脚本

3、技术栈

功能展示

1、功能首页


2、元数据-数据源类型


3、元数据-数据源定义


4、元数据-数据表查询


5、数据采集-任务分组


6、数据采集-任务定义


7、数据采集-任务实例


8、flink开发-任务定义


9、flink开发-任务实例


10、配置中心-环境管理


11、配置中心-资源管理


快速开始

1、前置准备

安装 Mysql
安装 Redis
安装 kafka
安装 hadoop

2、flink 资源准备

hdfs 中上传flink 1.16.2 所需的jar包,目录为:/flink/libs;
flink配置文件目录:/flink/conf;
flink 任务所需的 jar 包目录为:/flink/jobs/flink-jobs.jar,此 jar 包由lacus-rtc-engine项目打包而来 目录结构如下所示。


3、后端启动

- 生成所需的数据库表
找到后端项目根目录下的 sql 目录中的 lacus.sql 脚本文件,导入到你新建的数据库中。

- 修改配置文件:lacus-core
application-dev.yml:修改 Mysql 数据库以及 Redis 信息。
application-basic.yml:修改 yarn、hdfs 和 kafka 等信息。

- 项目编译
在根目录执行 mvn install

- 启动项目
找到lacus-admin模块中的 LacusApplication 启动类,直接启动即可。

4、前端启动

- cd lacus-ui
- npm install
- npm run dev

平台获取

关注后 到个人主页置顶的 微头条 获取!

写在最后

1000+优质开源项目更新进度:124/1000。如需更多类型优质项目推荐,请在文章后留言。

如果这篇文章对您有帮助, "彦祖们" 一定帮我点个 "关注" "点赞" ,这对我非常重要。我将会继续推荐更多优质项目和新闻

#开源项目精选#

#Github#

#记录我的12月#

本文暂时没有评论,来添加一个吧(●'◡'●)

欢迎 发表评论:

最近发表
标签列表