一款比ELK更强大，更好用的日志收集分析告警系统

部署丝滑，管理方便，有web后台管理。比起传统的elk更加灵活，而且还集成了日志分析和告警。除了按配置好的目录收集日志还提供了api接口实时调用。可以给所有程序使用，具备通用性。性能强大，分布式。

啊咧蒋大叔

3112人浏览 · 2024-08-16 15:33:45

啊咧蒋大叔 · 2024-08-16 15:33:45 发布

介绍

日志收集智能分析系统-LCA

快速部署：部署丝滑，管理方便，有web后台管理。
高效的数据采集：LCA 支持多种数据源，无论是服务器日志、应用日志还是网络设备日志，都能一键配置，快速部署。
灵活的数据处理：比起传统的elk更加灵活，而且还集成了日志分析和告警，内置强大的数据处理功能，包括过滤、聚合、关联等，让您轻松应对复杂的数据处理需求，除了按配置好的目录收集日志还提供了api接口实时调用,吞吐率高。
直观的数据可视化：通过丰富的图表和仪表板，LCA 让数据分析变得更加简单直观，让您一目了然地了解业务状况。
智能告警机制：实时监控关键指标，一旦发现异常立即触发告警，确保问题第一时间得到解决。
安全可靠：web管理后台访问控制策略，保障您的数据安全无忧。

git地址：日志收集智能分析系统

软件架构

输入图片说明

通过在运维平台上配置日志收集项，或者通过api接口调用推送日志，logagent从etcd中获取要收集的日志信息从业务服务器读取日志信息，发往kafka，logtransfer负责从kafka读取日志，写入到Elasticsearch中，通过Kibana进行日志检索。loganalysis将安装规则分析日志，将告警，报错日志信息推给企业微信。

可实时收集常用的软件的日志，比如nginx，项目系统，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志例如：/logs/2024-07-01.log,/admin/lum-2024-07-02.log
可以通过api调用主动推送日志到日志分析系统（吞吐率高）
可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错）
实现如阿里sls一般查询日志

安装教程

视频教程一款比ELK更强大，更好用的日志收集分析告警系统_哔哩哔哩_bilibili

首先通过git下载程序：

 git clone  https://gitee.com/phpjc/log-collect-ai-analytics.git

etcd
```
cd docker/etcd 

docker-compose up -d
```

MySQL

cd docker/mysql 

docker-compose up -d

root 密码：max2024

导入 logmanager.sql

Redis
```
cd docker/redis 

docker-compose up -d
```

Elasticsearch

创建映射目录 
mkdir -p /data/backups/es 
给足够的权限 如果不知道什么权限就 chmod 777 es 
mkdir -p /data/es01/data 给足够的权限 如果不知道什么权限就 chmod 777 data 
mkdir -p /data/es02/data 给足够的权限 如果不知道什么权限就 chmod 777 data 
记得修改 docker-compose.yaml 里面的ES_JAVA_OPTS=-Xms256m -Xmx256m，ELASTICSEARCH_HOSTS=http://172.16.0.70:9200 按照自己实际情况 
cd docker/elasticsearch 
docker-compose up -d

Kafka
```
cd docker/kafka 

docker-compose up -d
```

启动教程

启动后台管理【先修改好logManager/conf/app.conf】文件监听端口可修改
```
cd cmd/logManager 

nohup ./logmanager &
```
账号：admin 密码：admin
启动接口【先修改好etc/config.ini】监听8086端口固定了
```
cd cmd/api 

nohup ./api &
```
启动收集日志【先修改好etc/config.ini】
```
cd cmd/logAgent 

nohup ./logagent &
```
启动消费【先修改好etc/config.ini】
```
cd cmd/logTransfer 

nohup ./logtransfer &
```
启动日志分析【先修改好etc/config.ini】
```
cd cmd/analysis 

nohup ./analysis &
```

使用说明

日志收集通过把需要收集的日志文件或者日志文件通配符配置到etcd，logAgent会实时自动收集好需要收集的日志。 [ {"path":"/data/wwwlogs/preapi_maxengine_cn_access_nginx.log","topic":"ai_nginx"}, {"path":"/data/wwwroot/maxengine/storage/logs/lumen-Y-M-D.log","topic":"ai_api"} ]
Y年 M月 D日 H时可以随意组合列如需要收集的日志目录为 /logs/202408/15/12.log 可以这样标识：/logs/YM/D/H.log
api调用通过调用 http://192.168.10.118:8086/send 这个接口可以实时把日志写入分析系统当中事例：curl -X POST "http://自己的地址/send" -H "Content-Type: application/x-www-form-urlencoded" -d "topic=ai_api&data=你的日志内容"
topic 必须是系统已经配置好的cmd/logTransfer/etc/config.ini topic = ai_nginx,ai_api
data 日志内容可以是任意字符串，如果是json字符串 {"msg":"这是一个隐藏的功能"} 可以定义一个msg 字段会被单独解析跟阿里云sls日志一样

1.登录

输入图片说明