全文搜索 on F嘉阳

elasticsearch原生json操作笔记

Mon, 21 May 2018 07:28:00 +0800

建立结构

建People表

方法：PUT 发送地址：http://192.168.79.138:9200/people

{
	"setting": {
		"number_of_shards": 3,
		"number_of_replicas": 1
	},
	"mappings": {
		"man": {
			"properties": {
				"name": {
					"type": "text"
				},
				"country": {
					"type": "keyword"
				},
				"age": {
					"type": "integer"
				},
				"data":{
					"type": "date",
					"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
				}
			}
		}
	}
}

建book表

方法：PUT 发送地址：http://192.168.79.138:9200/book

{
	"setting": {
		"number_of_shards": 3,
		"number_of_replicas": 1
	},
	"mappings": {
		"novel": {
			"properties": {
				"word_count": {
					"type": "integer"
				},
				"author": {
					"type": "keyword"
				},
				"title": {
					"type": "text"
				},
				"publish_date":{
					"type": "date",
					"format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
				}
			}
		}
	}
}

插入数据

指定ID插入数据到people.man

方法：PUT 发送地址http://192.168.79.138:9200/people/man/1

{
	"name": "F嘉阳",
	"country": "China",
	"age": 21,
	"date": "1990-05-18"
}

图形化查询检验

不指定ID插入数据到people.man

方法：PUT 发送地址http://192.168.79.138:9200/people/man/

{
	"name": "FJY",
	"country": "China",
	"age": 28,
	"date": "1990-05-18"
}

图形化查询检验

更新

更新字段数据

方法：POST 发送地址：http://192.168.79.138:9200/people/man/1/_update

{
	"doc": {
		"name": "符嘉阳"
	}
}

图形化查询检验

使用脚本语言更新数据

方法：POST 发送地址：http://192.168.79.138:9200/people/man/1/_update

{
	"script": {
		"lang": "painless",
		"inline": "ctx._source.age += 5"
	}
}

图形化查询检验

使用脚本语言分离参数更新数据

方法：POST 发送地址：http://192.168.79.138:9200/people/man/1/_update

{
	"script": {
		"lang": "painless",
		"inline": "ctx._source.age = params.age",
		"params": {
			"age": 21
		}
	}
}

图形化查询检验

删除

指定ID删除一行数据

方法：DELETE 发送地址：http://192.168.79.138:9200/people/man/1

图形化查询检验

删除表

方法：DELETE 发送地址：http://192.168.79.138:9200/people

查询

指定ID查询

方法：GET 发送地址：http://192.168.79.138:9200/book/novel/H5LbbWMBzFxBPWV2GG9d

查询所有

方法：GET 发送地址：http://192.168.79.138:9200/book/_search { “query”: { “match_all”: {} } }

指定查询结果大小

{
	"query": {
		"match_all": {}
	},
	"from": 1,
	"size": 1
}

查询

{
	"query": {
		"match": {
			"title": "Java"
		}
	}
}

指定查询结果排序方法

{
	"query": {
		"match": {
			"title": "Java"
		}
	},
	"sort": [
		{
			"publish_date": {
				"order": "desc"
			}
		}
	]
}

聚合

{
	"aggs": {
		"group_by_word_count": {
			"terms": {
				"field": "word_count"
			}
		}
	}
}

多字段聚合

{
	"aggs": {
		"group_by_word_count": {
			"terms": {
				"field": "word_count"
			}
		},
		"group_by_author": {
			"terms": {
				"field": "author"
			}
		}
	}
}

聚合

{
	"aggs": {
		"grades_by_word_count": {
			"stats": {
				"field": "word_count"
			}
		}
	}
}

模糊匹配(默认匹配法则)

{
	"query": {
		"match": {
			"title": "Java虚拟机"
		}
	}
}

习语匹配

{
	"query": {
		"match_phrase": {
			"title": "Java虚拟机"
		}
	}
}

多字段模糊匹配查询

{
	"query": {
		"multi_match": {
			"query": "F嘉阳",
			"fields": ["author","title"]
		}
	}
}

语法查询

{
	"query": {
		"query_string": {
			"query": "ElasticSearch AND 入门"
		}
	}
}

{
	"query": {
		"query_string": {
			"query": "(ElasticSearch AND 入门) OR PS"
		}
	}
}

语法查询指定字段

{
	"query": {
		"query_string": {
			"query": "ElasticSearch OR 瓦",
			"fields": ["title","author"]
		}
	}
}

结构化查询(指定字段)

{
	"query": {
		"term": {
			"word_count": 1000
		}
	}
}

{
	"query": {
		"term": {
			"author": "F嘉阳"
		}
	}
}

结构化查询(指定范围)

gte->大于等于 lte->小于等于 e->equal(等于)

{
	"query": {
		"range": {
			"word_count": {
				"gte": 1000,
				"lte": 2000
			}
		}
	}
}

结构化查询(指定日期范围)

{
	"query": {
		"range": {
			"publish_date": {
				"gte": "2018-01-01",
				"lt": "2018-12-31"
			}
		}
	}
}

结构化查询(指定当前时间)

{
	"query": {
		"range": {
			"publish_date": {
				"gte": "2018-01-01",
				"lte": "now"
			}
		}
	}
}

子条件查询，使用filter

使用filter过滤器后产生缓存，下次查询速度更快

{
	"query": {
		"bool": {
			"filter": {
				"term": {
					"word_count": 1000
				}
			}
		}
	}
}

复合条件查询-固定分数查询

{
	"query": {
		"constant_score": {
			"filter": {
				"match": {
					"title": "Java"
				}
			}
		}
	}
}

复合条件查询-指定分数查询

{
	"query": {
		"constant_score": {
			"filter": {
				"match": {
					"title": "Java"
				}
			},
			"boost": 2
		}
	}
}

复合条件查询-布尔查询-指定应当满足的条件(满足其一即可)

{
	"query": {
		"bool": {
			"should": [
					{
						"match": {
							"author": "F嘉阳"
						}
					},
					{
						"match": {
							"title": "Java"
						}
					}
				]
		}
	}
}

复合条件查询-布尔查询-指定必须满足的条件(两个都必须匹配)

{
	"query": {
		"bool": {
			"must": [
					{
						"match": {
							"author": "F嘉阳"
						}
					},
					{
						"match": {
							"title": "Java"
						}
					}
				]
		}
	}
}

复合条件查询-布尔查询-过滤器

{
	"query": {
		"bool": {
			"must": [
					{
						"match": {
							"author": "F嘉阳"
						}
					},
					{
						"match": {
							"title": "PS"
						}
					}
				],
				"filter": [
						{
							"term": {
								"word_count": 700
							}
						}
					]
		}
	}
}

复合条件查询-must_not

{
	"query": {
		"bool": {
			"must_not": {
				"term": {
					"author": "F嘉阳"
				}
			}
		}
	}
}

elasticsearch分布式环境搭建和插件安装

Thu, 17 May 2018 18:01:00 +0800

环境搭建

安装包和插件下载

下载elasticsearch

通过官网下载elasticsearch 官网下载页面此处下载的为elasticsearch-6.2.4.tar.gz

下载elasticsearch-head插件

下载elasticsearch-head插件可以在浏览器中以图形化的方式显示下载elasticsearch中的数据 GitHub下载页面

安装node环境

elasticsearch-head插件依赖node环境来启动，可以通过官方node.js安装包安装，也可以通过宝塔自带的PM2管理器安装，此处安装宝塔的PM2管理器

安装后检查当前环境中的node版本，若装好后node命令无法使用可以尝试重启服务器或者让配置环境变量生效

 [root@localhost elasticsearch]# node -v
 v8.11.2

将两个下载好的文件用宝塔上传到CentOS 7环境中并解压

单节点环境配置

elasticsearch单节点配置

配置文件目录为elasticsearch-6.2.4/config 修改elasticsearch.yml

 #虚拟机IP
 network.host: 192.168.79.138
 #es端口
 http.port: 9200
 
 #防止跨源请求阻塞
 http.cors.enabled: true
 http.cors.allow-origin: "*"
 
 #主节点名称
 cluster.name: Fjiayang
 #节点名称
 node.name: master
 #是否为主节点
 node.master: true

若虚拟机或者服务器内存较小，则还要配置jvm.options，将默认1g内存设置为512m或者更小

 -Xms512m
 -Xmx512m

elasticsearch-head插件安装

进入elasticsearch-head安装目录，执行node的安装命令

 [root@localhost elasticsearch]# cd elasticsearch-head-master
 [root@localhost elasticsearch-head-master]# npm install

集群环境配置

集群环境只需要解压多份es压缩包，并按如下对elasticsearch.yml配置文件进行简单配置即可，此处搭建了一个主节点，两个从节点从节点1

 #子节点IP
 network.host: 192.168.79.138
 #子节点端口
 http.port: 8200
 #主节点IP
 discovery.zen.ping.unicast.hosts: ["192.168.79.138"]
 #主节点名称
 cluster.name: Fjiayang
 #子节点名称
 node.name: slave1

从节点2

 #子节点IP
 network.host: 192.168.79.138
 #子节点端口
 http.port: 8300
 #主节点IP
 discovery.zen.ping.unicast.hosts: ["192.168.79.138"]
 #主节点名称
 cluster.name: Fjiayang
 #子节点名称
 node.name: slave2

服务启动

elasticsearch启动

elasticsearch默认不支持root用户启动，故要新建用户并对运行目录授予权限才能启动es

 [root@localhost elasticsearch]# adduser es
 [root@localhost elasticsearch]# passwd es
 更改用户 es 的密码 。
 新的 密码：
 无效的密码： 密码未通过字典检查 - 过于简单化/系统化
 重新输入新的 密码：
 passwd：所有的身份验证令牌已经成功更新。

在root用户下对es目录所有权进行更改

 [root@localhost www]# chown -R es /www/elasticsearch
 [root@localhost www]# ll
 总用量 4
 drwxrwxrwx 5 es www 151 5月 16 21:10 elasticsearch
 drwxr-xr-x 6 root root 4096 5月 7 09:01 Recycle_bin
 drwxr-xr-x. 14 root root 179 5月 7 09:20 server
 drwxrwxrwx. 3 root root 116 5月 6 15:41 wwwlogs
 drwxr-xr-x. 4 root root 38 5月 6 15:41 wwwroot

切换到新建的用户es，用/bin/elasticsearch启动es服务，若加上-d则为后台启动，即/bin/elasticsearch -d

 [root@localhost www]# su es
 [es@localhost elasticsearch]$ cd elasticsearch/elasticsearch-6.2.4
 [es@localhost elasticsearch-6.2.4]$ ls
 bin config data hs_err_pid4546.log lib LICENSE.txt logs modules NOTICE.txt plugins README.textile
 [es@localhost elasticsearch-6.2.4]$ ./bin/elasticsearch -d

如果配置了集群则继续对每个从节点逐一启动即可

elasticsearch-head插件启动

进入elasticsearch-head目录，使用npm run start启动node服务即可

服务检验

首先使用宝塔开放相关防火墙端口，

直接访问es服务，浏览器默认显示为原生json格式，此处使用chrome浏览器的JSON viewer进行了美化

访问elasticsearch-head插件，此处截图为配置好集群后的截图

elasticsearch环境搭建完成！