比特微 华为鸿蒙 loam算法测试 后台管理界面模板 oracle修改字段默认值 idea生成main方法 java通用版qq浏览器下载 mysql汉化包 centos查看python版本 hbuilder插件 python编程 python开发环境 java继承 java编程学习 java字符串反转 jdbc连接mysql tftpd64 oxm qq免安装版 getelementbyid mathcad15 多面硬币 暴力猴插件 babelrc 方正徐静蕾字体 全能音频转换通 lol不能全屏 非凡资源搜索器 ps怎么去痘痘 方正兰亭大黑简体 ansys安装 大话5g 存档转换器 ajax上传文件 quadro显卡 win10截屏 屏幕录像工具 python图像处理 微信石头剪刀布 tiff是什么格式
当前位置: 首页 > 学习教程  > 编程语言

ELK搭建过程重点问题集锦和资源下载最佳来源

2020/7/24 9:52:52 文章标签:

*版本	elastic-7.8.0  要求jdk版本在11以上
		JDK-11.0.5
		node-v10.xx
		*D:\java\jdk8 改为了 C:\Program Files\Java\jdk-11.0.5
软件下载地址
	http://elasticsearch.cn/download/
	http://nodejs.cn/download/
	
空间地理分析kibana 官方地址 https://www.elastic.co/guide/en/kibana/current/maps.html
1.elastic版本与kibana版本号一致 logstash版本一致 避免版本冲突

2.kibana安装前提需要安装jdk、node、elasticsearch

3.地图配置
	kibana 6.x 
		tilemap.url:
			Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时,Kibana 从外部的元数据服务读取 url,用户也可以覆盖该参数,使用自己的 tile 地图服务。例如:"https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana"
		tilemap.options.minZoom:
			默认值: 1 最小缩放级别。
		tilemap.options.maxZoom:
			默认值: 10 最大缩放级别。
		tilemap.options.attribution:
			默认值: "© [Elastic Tile Service](https://www.elastic.co/elastic-tile-service)" 地图属性字符串。
		tilemap.options.subdomains:
			服务使用的二级域名列表,用 {s} 指定二级域名的 URL 地址。
	kibana 7.x 
		map.tilemap.url:
			Kibana 用来在 tile 地图可视化组件中展示地图服务的 URL。默认时,Kibana 从外部的元数据服务读取 url,用户也可以覆盖该参数,使用自己的 tile 地图服务。例如:"https://tiles.elastic.co/v2/default/{z}/{x}/{y}.png?elastic_tile_service_tos=agree&my_app_name=kibana"
		map.tilemap.options.minZoom:
			默认值: 1 最小缩放级别。
		map.tilemap.options.maxZoom:
			默认值: 10 最大缩放级别。
		map.tilemap.options.attribution:
			默认值: "© [Elastic Tile Service](https://www.elastic.co/elastic-tile-service)" 地图属性字符串。
		map.tilemap.options.subdomains:
			服务使用的二级域名列表,用 {s} 指定二级域名的 URL 地址
		
4.kibana的地图都是英文的,加载也慢。换成高德地图的api,使加载和观赏都更加直观  底图切换
	修改kibana.yml
		map.tilemap.url: "http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}"
		map.tilemap.options.minZoom: 1
		map.tilemap.options.maxZoom: 18
		重启kibana然后进web界面进行设置
	
5.elasticsearch-head是一个用于管理Elasticsearch的web前端插件
	Running with built in server
	git clone git://github.com/mobz/elasticsearch-head.git		//这是一个前端项目,我们需要安装node环境 利用node安装grunt插件
	cd elasticsearch-head
	npm install													//然后对项目进行初始化依赖
	npm run start 或者 grunt server
	open http://localhost:9100/
	*注意切勿在elasticsearch-head/Gruntfile.js 中配置hostname 会导致elasticsearch启动失败

6.三者中数据存储和使用流程?

7.Kibana定义索引模式
	1.在Kibana中,打开“Management管理”,然后单击“Index Patterns索引模式”。
	2.如果这是您的第一个索引模式,则会自动打开“Create index pattern创建索引模式”页面。 否则,单击左上角的“Create index pattern创建索引模式”。
	3.在索引模式Index pattern 字段中输入xxxx*。
	4.单击下一步Next step.。
	5.在配置设置Configure settings中,单击创建索引模式Create index pattern。 对于此模式,您无需配置任何设置。
	6.定义名为yyyy*的第二个索引模式您不需要为此模式配置任何设置。

8.filebeat 吸收log文件中内容 到logstash时的logstash接收配置 logstash-geo.conf如下
input {
  beats {
	port => 5044
  }
}
filter {
  mutate {
	  add_field => ["[geoip][location]", "%{rdc_lon}"]
	  add_field => ["[geoip][location]", "%{rdc_lat}"]
  }
  mutate {
	  convert => ["[geoip][location]", "float"]
  }
}
  
output {
  elasticsearch {
	  index => "logstash-geo_demo"
	  hosts => ["0.0.0.0:9200"]
  }
}

示例(数据中的经纬度信息进行分析挖掘)如下
数据内容 
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302411,863010030035393,39.2055473,117.1409302,10,66.1,1,12,2,9,1070,14.4,65,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030039387,38.9934654,116.9013672,36,178.3,1,12,2,36,2628,14.1,93,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030043751,39.2268219,117.0283508,36,152.6,1,12,2,37,769,14.2,69,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302412,863010030031244,,,0,-1.0,0,0,2,27,1113,14.4,87,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302413,863010030031269,38.9425621,116.9591980,48,71.7,1,12,2,48,1519,14.8,83,0,0,0,0.0,0.0,
[com.test.nlbs.filter.MsgDecodeFilter] - SoutheastMessage:#,1521302414,863010030039387,38.9932823,116.9013748,35,178.6,1,12,2,35,2626,14.1,91,0,0,0,0.0,0.0,

对应logstash的conf文件内容

Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

filter {
	grok {
			match => { "message" => "\[com\.test\.nlbs\.filter\.MsgDecodeFilter\] \- \SoutheastMessage\:(?<SoutheastMessa>(.*\n){0,}.*)" }
			remove_field => ["message"]
			add_field => {"head" =>"SoutheastMessage"}
	}
	csv {
			source => "SoutheastMessa"
			separator => ","
			columns => [ "#","time", "imei", "latitude", "longitude" ]
			remove_field => ["column6","column7","column8","column9","column10","column11","column12","column13","column14","column15","column16","column17","column18","column19","column20"]
			add_field => ["[geoip][location]","%{longitude}"]
			add_field => ["[geoip][location]","%{latitude}"]
	}
	mutate {
			convert => ["[geoip][location]", "float"]
	}
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logstash-geodemo"
  }
}	

9.Kibana加载样本数据
	# 莎士比亚经典作品
	wget https://download.elastic.co/demos/kibana/gettingstarted/shakespeare_6.0.json

# 一组虚拟生成的账户数据
wget https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip

# 一组虚拟生成的日志数据
wget https://download.elastic.co/demos/kibana/gettingstarted/logs.jsonl.gz

10.制作各种图例时 一定要注意上面时间的选择范围 否则可能会没有任何数据返回 制作图例自然失败
11.制作地图的数据 地理坐标经纬度格式
	{"lon":-88.98547778,"lat":36.38025} 或 {"lat":36.38025,"lon":-88.98547778}
	不分经度在前还是纬度在前

ELK环境启动顺序

启动顺序
	elasticsearch
	elasticsearch-head
	kibana
	logstash
	filebeat 
	
或者 不使用logstash的环境
	elasticsearch
	elasticsearch-head
	filebeat 
	kibana

ELK整套内容下载中心

http://elasticsearch.cn/download/

标题使用Kibana或API导入数据到Elasticsearch(数据导入时索引一起带上)

https://support.huaweicloud.com/usermanual-css/css_01_0024.html

标题如何在ELK中解析各类日志文件

https://cloud.tencent.com/developer/article/1116059

标题windows 10下ELK环境快速搭建实践

https://www.cnblogs.com/taoweizhong/p/10462194.html

标题Logstash介绍 + filebeat

https://www.cnblogs.com/cjsblog/p/9459781.html

标题Kibana加载样本数据

https://www.cnblogs.com/shiyu404/p/10571901.html

标题Kibana 官方示例

http://blog.sina.com.cn/s/blog_8ea8e9d50102wubt.html

标题FileBeat发送日志到logstash、ES、多个output过滤配置

https://www.cnblogs.com/wangzhuxing/p/9678578.html#_label4

本文链接: http://www.dtmao.cc/news_show_50162.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?