使用go-mysql-elasticsearch同步MySQL数据到ES

ElasticSearch是一个基于Lucene的分布式搜索引擎和大数据近实时分析引擎,我们常常用它来构建全文搜索引擎，结合Logstash+Kibana等搭建日志分析平台等。

使用ES做全文搜索引擎时,首先需要把数据存储到ES中,我们可以直接使用ES提供的Rest API管理数据,但也有些场景我们的数据是存储在关系型数据库如MySQL中,这时候我们需要有工具可以帮我们自动把MySQL的存量和增量数据同步到ES中,本文将介绍如何基于开源项目go-mysql-elasticsearch实现该功能。

需求概述

定义MySQL表及插入数据

假设我们已经有一张文章表,表结构如下:

1
2


安装Elasticsearch及IK分词器

创建ES索引及Mapping

go-mysql-elasticsearch简介

安装go-mysql-elasticsearch

配置go-mysql-elasticsearch

启动&验证

supervisor

总结

赏

谢谢你请我吃糖果

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true