注册有礼
您现在的位置是：群英 > 开发技术 > 编程语言
Go语言数据是怎么清理的，代码是什么？
Admin发表于 2022-07-19 18:05:00628 次浏览
相信很多人对“Go语言数据是怎么清理的，代码是什么？”都不太了解，下面群英小编为你详细解释一下这个问题，希望对你有一定的帮助
 
  
 
 
 
 
 
  
 
 
  
 
 
 


微服务架构中收集通常大家都采用ELK进行日志收集，同时我们还采用了SkyWalking进行链路跟踪，而SkyWalking数据存储也用到了ES，SkyWalking每天产生大量的索引数据，如下：




WX20211008-104751@2x


这里一天大概产生了700左右个索引数据。对历史的链路数据我们不做过多的保留。


这里我整理了个小工具，可以定期清理es数据。


一、清理思路


可以看到索引数据都是以日期结尾，我们可以根据日期去匹配索引数据，并对索引进行删除。这里需要考虑一点，有的Es服务开启了索引保护机制，不能通过*index去删除，只能通过索引的全名称去删除。所以我们整体流程如下：


1、获取es服务中全部索引数据。


2、根据当前时间-保留天数，获取要删除的日期。


3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除。


4、工具友好性，我们可以通过配置文件配置ES服务地址、日期格式化类型、保留天数等信息。


二、代码实现


2.1、获取ES服务中全部索引数据


要获取Es服务中全部索引数据，我们首先连接Es服务器，这里我们使用github.com/olivere/elastic/v7库操作Es。


连接ES:


func GetEsClient(data Data) *elastic.Client {
    Init()
    file := "./eslog.log"
    logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766) 
    client, err := elastic.NewClient(
        elastic.SetURL(data.Host),
        elastic.SetSniff(false),
        elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
        elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
        elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
    )
    if err != nil {
        return nil
    }
    return client
}


我们通过GetEsClient方法，连接ES,并返回client，供后续方法使用。这里的Data是包含了ES服务地址等信息，我们后面会给出Data的数据结构。


获取全部索引数据


func getIndex(data Data) map[string]interface{} {
    client := GetEsClient(data)
    mapping := client.GetMapping()
    service := mapping.Index("*")
    result, err := service.Do(context.Background())
    if err != nil {
        fmt.Printf("create index failed, err: %v\n", err)
        return nil
    }
    return result
}


通过client.GetMapping().Index("*")API获取es服务中全部的索引数据，并返回，数据格式如下：




WX20211008-110537@2x


这次我们获取全部索引完成。


2.2、根据当前时间-保留天数，获取要删除的日期


我们根据当前时间-保留天数，获取当前需要删除的日期数据。我们通过GoLang内置的函数库time完成该功能的实现。


currentTime := time.Now()//获取当前时间
oldTime := currentTime.AddDate(0, 0, data.Day)//通过配置文件获取保留天数
format := oldTime.Format(data.IndexFmt)//通过配置文件获取序列化日期格式


2.3、通过字符串匹配，判断索引中是否包含要删除的日期，如果包含则进行删除


这里通过字符串匹配进行判断是否需要删除索引数据。


func delIndex(data Data) {
    currentTime := time.Now()
    oldTime := currentTime.AddDate(0, 0, data.Day)
    format := oldTime.Format(data.IndexFmt)
    index := getIndex(data)//获取全部索引
    for k := range index {//遍历索引数据
        fmt.Println("key:", k, "format:", format)
        if find := strings.Contains(k, format); find { //判断索引中是否包含要删除的日期格式，
            DelIndex(data, k)//如果包含则调用DelIndex方法删除
        }
    }
}


// DelIndex 删除 index
func DelIndex(data Data, index ...string) bool {
    client := GetEsClient(data)
    response, err := client.DeleteIndex(index...).Do(context.Background())
    if err != nil {
        fmt.Printf("delete index failed, err: %v\n", err)
        return false
    }
    return response.Acknowledged
}


通过DeleteIndexAPI删除指定的数据。


2.4、通过配置文件灵活配置数据


这里我们定义了Config和Data对象，对象结构如下：


type Config struct {
    Data []Data `json:"data"`
}
 
type Data struct {
    Host     string `json:"host"`
    IndexFmt string `json:"index_fmt"`
    Day      int    `json:"day"`
}


配置文件内容如下：


{
  "data": [
    {
      "host": "http://ip1:9200",//服务IP
      "index_fmt": "20060102",//日期格式化
      "day": -1 //保留天数 保留1天
    },
    {
      "host": "http://ip2:9200/",
      "index_fmt": "20060102",
      "day": -1
    },
    {
      "host": "http://ip3:32093",
      "index_fmt": "2006.01.02",
      "day": -7  //保留天数 保留7天
    }
  ]
}


我们通过Init方法加载配置文件到Config;


var config Config
 
func Init() {
    JsonParse := NewJsonStruct()
    //下面使用的是相对路径，config.json文件和main.go文件处于同一目录下
    JsonParse.Load("config/config.json", &config)
}
 
type JsonStruct struct {
}
 
func NewJsonStruct() *JsonStruct {
    return &JsonStruct{}
}
 
func (jst *JsonStruct) Load(filename string, v interface{}) {
    //ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回
    data, err := ioutil.ReadFile(filename)
    if err != nil {
        return
    }
 
    //读取的数据为json格式，需要进行解码
    err = json.Unmarshal(data, v)
    if err != nil {
        return
    }
}


编写Main方法运行程序：


func main() {
    Init()
    for i, datum := range config.Data {
        fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
        println(i)
        delIndex(datum)
    }
}


这里我们依然遍历配置文件中的多个服务配置。可以同时管理多个Es服务。


三、完整代码


package main
 
import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "strings"
    "time"
)
 
type Config struct {
    Data []Data `json:"data"`
}
 
type Data struct {
    Host     string `json:"host"`
    IndexFmt string `json:"index_fmt"`
    Day      int    `json:"day"`
}
 
var config Config
 
func Init() {
    JsonParse := NewJsonStruct()
    //下面使用的是相对路径，config.json文件和main.go文件处于同一目录下
    JsonParse.Load("config/config.json", &config)
}
 
type JsonStruct struct {
}
 
func NewJsonStruct() *JsonStruct {
    return &JsonStruct{}
}
 
func (jst *JsonStruct) Load(filename string, v interface{}) {
    //ReadFile函数会读取文件的全部内容，并将结果以[]byte类型返回
    data, err := ioutil.ReadFile(filename)
    if err != nil {
        return
    }
 
    //读取的数据为json格式，需要进行解码
    err = json.Unmarshal(data, v)
    if err != nil {
        return
    }
}
 
func delIndex(data Data) {
    currentTime := time.Now()
    oldTime := currentTime.AddDate(0, 0, data.Day)
    format := oldTime.Format(data.IndexFmt)
    index := getIndex(data)
    for k := range index {
        fmt.Println("key:", k, "format:", format)
        if find := strings.Contains(k, format); find {
            DelIndex(data, k)
        }
    }
}
 
func main() {
    Init()
    for i, datum := range config.Data {
        fmt.Printf("config data Host is [%s], fmt is [%s]\n", datum.Host, datum.IndexFmt)
        println(i)
        delIndex(datum)
    }
}


package main
 
import (
    "context"
    "fmt"
    "github.com/olivere/elastic/v7"
    "log"
    "os"
    "time"
)
 
// GetEsClient 初始化客户端
func GetEsClient(data Data) *elastic.Client {
    Init()
    file := "./eslog.log"
    logFile, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0766) // 应该判断error，此处简略
    client, err := elastic.NewClient(
        elastic.SetURL(data.Host),
        elastic.SetSniff(false),
        elastic.SetInfoLog(log.New(logFile, "ES-INFO: ", 0)),
        elastic.SetTraceLog(log.New(logFile, "ES-TRACE: ", 0)),
        elastic.SetErrorLog(log.New(logFile, "ES-ERROR: ", 0)),
    )
    if err != nil {
        return nil
    }
    return client
}
 
// IsDocExists 判断索引是否存储
func IsDocExists(data Data, id string, index string) bool {
    client := GetEsClient(data)
    defer client.Stop()
    exist, _ := client.Exists().Index(index).Id(id).Do(context.Background())
    if !exist {
        log.Println("ID may be incorrect! ", id)
        return false
    }
    return true
}
 
// PingNode 是否联通
func PingNode(data Data) {
    start := time.Now()
    client := GetEsClient(data)
    info, code, err := client.Ping(data.Host).Do(context.Background())
    if err != nil {
        fmt.Printf("ping es failed, err: %v", err)
    }
    duration := time.Since(start)
    fmt.Printf("cost time: %v\n", duration)
    fmt.Printf("Elasticsearch returned with code %d and version %s\n", code, info.Version.Number)
}
 
// GetDoc 获取文档
func GetDoc(data Data, id string, index string) (*elastic.GetResult, error) {
    client := GetEsClient(data)
    defer client.Stop()
    if !IsDocExists(data, id, index) {
        return nil, fmt.Errorf("id不存在")
    }
    esResponse, err := client.Get().Index(index).Id(id).Do(context.Background())
    if err != nil {
        return nil, err
    }
    return esResponse, nil
}
 
// CreateIndex 创建 index
func CreateIndex(data Data, index, mapping string) bool {
    client := GetEsClient(data)
    result, err := client.CreateIndex(index).BodyString(mapping).Do(context.Background())
    if err != nil {
        fmt.Printf("create index failed, err: %v\n", err)
        return false
    }
    return result.Acknowledged
}
 
// DelIndex 删除 index
func DelIndex(data Data, index ...string) bool {
    client := GetEsClient(data)
    response, err := client.DeleteIndex(index...).Do(context.Background())
    if err != nil {
        fmt.Printf("delete index failed, err: %v\n", err)
        return false
    }
    return response.Acknowledged
}
 
func getIndex(data Data) map[string]interface{} {
    client := GetEsClient(data)
    mapping := client.GetMapping()
    service := mapping.Index("*")
    result, err := service.Do(context.Background())
    if err != nil {
        fmt.Printf("create index failed, err: %v\n", err)
        return nil
    }
    return result
}



    


关于“Go语言数据是怎么清理的，代码是什么？”的内容就介绍到这，感谢各位的阅读，相信大家对Go语言数据是怎么清理的，代码是什么？已经有了进一步的了解。大家如果还想学习更多知识，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。







标签：
go





上一篇： Go语言中互斥锁与读写锁怎么使用 


下一篇： Go结构体类型主要用做什么，如何进行声明和定义 




相关信息推荐





html5里面figcaption与figure的使用方法是什么


2022-06-24 17:51:27　


摘要：这篇文章主要介绍了html5 figure和figcaption的使用方法的相关资料，有一定的参考价值，有需要的朋友可以参考一下，希望对你们有所帮助。






Golang语言中拼接字符串的方式有几种，分别怎么应用


2022-07-06 17:34:35　


摘要：最近在做性能优化,有个函数里面的耗时特别长,看里面的操作大多是一些字符串拼接的操作,而字符串拼接在 golang 里面其实有很多种实现,下面这篇文章主要给大家介绍了关于Golang语言如何高效拼接字符串的相关资料,需要的朋友可以参考下






JS中的this是什么，在函数不同调用方式有什么区别


2022-09-06 17:50:15　


摘要：什么是this？下面本篇文章给大家介绍一下JavaScript中的this，并聊聊this在函数不同调用方式下的区别，希望对大家有所帮助！












云活动




推荐内容






  • 
PHP中替换第一位字符的方法和代码是什么 
     2022-12-14 11:21:38

    • 

  • 
Python使用中有哪些高效、实用的高级技巧 
     2022-08-19 17:53:01

    • 

  • 
新手学习Python有哪些关键字要掌握 
     2022-08-19 17:51:59

    • 

    

    

    热门关键词
    

    

    

mongodb


制作logo


Django项目


Java如何操作MongoDB


c语言和go语言


Go变量


Go替换文件


go实现四则运算


golang计算器


golang架构设计


Golang实现计算器


Go错误处理机制


Go流程控制语句


Go异常处理


golang命令行程序


golang大文件流式上传


Go结构体


Go内存模型


Go选择器


golang计算星座


go压缩解压zip


golang json库


go实现JSON解析器


go mod是什么


go gscript


go实现定时任务


goroutine停止


Golang指针


Go语言面向对象


Golang函数


    

    

    

    热门信息
    

    

    

  • 
Python怎么样创建txt文件，写入方法是什么？ 
     2022-01-24 19:23:44

    • 

  • 
Python中如何求阶乘？教你四个方法 
     2022-02-25 17:19:26

    • 

  • 
pycharm怎么完全卸载？两个步骤帮你搞定 
     2022-01-04 18:53:44

    • 

  • 
Java中map判断是否存在key怎样做？教你两个方法 
     2022-01-26 18:39:38

    • 

  • 
Python中怎样利用while求1到100的和？ 
     2021-11-20 17:46:01

    • 

  • 
Java中string转date有哪些方式，怎样实现？ 
     2022-01-18 18:00:09

    • 

  • 
Python中怎么定义数组？教你三种方法 
     2022-01-13 18:58:11

    • 

  • 
Python中的eval函数的作用是什么，怎样用？ 
     2022-01-24 19:23:57

    • 

  • 
用python如何读取csv文件，你知道几种方法？ 
     2021-11-22 17:53:55

    • 

  • 
python中怎样统计元素出现的次数，方法有哪些？ 
     2021-11-20 17:45:40

    • 

    




    

    

    

    

    

    群英网络助力开启安全的云计算之旅
    

    
立即注册，领取新人大礼包

    

    

    

    

    

    

    

    

    

    

    

    

    

    


专业资深工程师驻守


    

    


7X24小时极速响应


    

    


一站式无忧技术支持


    

    


免费备案服务


    

    

    

    

    

    


    

    


    

    


    

    


    

    

      

    • 联系我们
      • 

    • 24小时售后：4006784567
      • 

    • 24小时TEL ：0668-2555666
      • 

    • 售前咨询TEL：400-678-4567
      • 

    • 



      
官方微信
      



      
官方微信
      

      • 

    

    

    

    

    

    
Copyright  ©  QY  Network  Company  Ltd. All  Rights  Reserved. 2003-2019  群英网络  版权所有   茂名市群英网络有限公司

    

    
增值电信经营许可证 : B1.B2-20140078   粤ICP备09006778号

    

    

    

    

免费拨打  400-678-4567

    
免费拨打  400-678-4567
免费拨打 400-678-4567 或 0668-2555555

    
    

    


    


    

    

微信公众号

    
    

返回顶部

    
返回顶部
返回顶部