【eos不定期更新的日常】节点数据怎么备份?

guaiguaihw · · 121 次点击 · · 开始浏览    

简介

最近在做eos数据落盘的项目,遇到了很多场景,都需要备份数据。所以,今天跟大家分享下备份节点数据的小工具。

前言

eos节点非正常退出,甚至节点升级,都会意外导致脏数据的产生,节点数据不得不重新同步。官方给的数据重新同步方法,是用下面的命令重启节点:

nodeos --hard-replay

不过,实际使用起来会发现replay数据执行的非常慢,普通的全节点也要两天时间才能完成重新同步。归根结底,还是eos节点数据的验证机制导致的慢。具体原因,大家可以看看这篇文章:痛苦的EOS数据同步,可能的EOS安全隐患

简而言之,eos之所有不能像以太坊那样做到快速同步,是因为eos没有将状态数据生成merkle root,存储上链。所以,eos重新同步数据时,节点不能信任其他节点,只能重新执行一遍交易,亲自验证交易状态,当然会极大影响同步速度。另外,节点的同步只能从创世块开始,不能按照时间分片,同步相当于重新计算一遍全网交易,速度可想而知。

数据同步

eos的节点数据是存储在data目录的,data目录里有blocks和state目录,分别存储区块信息和状态信息:

mac os:~/Library/Application\ Support/eosio/nodeos/data

Linux:~/.local/share/eosio/nodeos/data

因为eos数据是按文件形式存储的,常用的备份方法是将data目录整个拷贝一份,当数据坏了时,启用备用data目录,则节点会从备用data目录的高度开始,再同步之后的数据。这个方法简单,但是普通的全节点,不开history-plugin时数据30G+,开启history-plugin数据可达500G。简单的cp操作处理备份,显然需要数小时不等,还是太慢。

pitreos工具

pitreos是加拿大超级节点 eos canada 出品的节点数据备份工具,项目地址:pitreos

它实现了大文件的快速备份和恢复。以下是30G大文件备份和恢复的实测效果,备份和恢复处理时间各约30s,极大的提升了效率。

生成30G大文
备份30G大文件,时间约30s
查看备份tag
恢复备份,时间约30s

pitreos安装步骤

1. 需要安装golang、设置gopath

2. cd $GOPATH/src/github.com/eoscanada

3. git clone https://github.com/eoscanada/pitreos.git

4. cd $GOPATH/src/github.com/eoscanada/pitreos && go get -v ./... && go install -v

pitreos常用命令

备份:pitreos backup ./mydata -t <备份tag>。备份文件默认存在:$HOME/.pitreos/backups

恢复:pitreos -c restore <备份tag> ./mydata。

查询tag:pitreos list

后记

本篇为大家介绍了eos数据备份工具的使用,由于最近在做eos数据落盘的改造,后面会为大家简单介绍下这方面的内容,尽请期待!

本文来自:简书

感谢作者:guaiguaihw

查看原文:【eos不定期更新的日常】节点数据怎么备份?

121 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传