一个snapshot(快照)是一个全部文件系统、或者某个目录在某一时刻的镜像,使用vmware类似软件的同学指定,快照可以为虚拟机保存某个状态,如果做了更改,或者系统被折腾坏,还有个复原的操作。
快照应用在如下场景中:
防止用户的错误操作; 备份:给hdfs目录做快照,然后复制快照里面的文件到备份; 试验/测试 灾难恢复 HDFS的快照操作
这里测一篇试的Hadoop3.0版本,也是我的线上版本。
开启快照 hdfs dfsadmin -allowSnapshot /data/test/test_snapshot [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/te关于st/test_snapshot -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 16:59 /dataHD/test/test_snapshot/ods_user1.txt
这里开启目录/data/test/test_snapshot快照功能,该目录当前有一个文件ods_user1.txt。
创建快照
给目录/data/test/test_snapshot创建了一个快照,名为backup01。
hdfs dfs -FScreateSnapshot /data/test/test_snapshot backup01 [hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot/backup01的快 Found 1 items -rw-r--r-- 2 hdfs supergroup 88 2021-10-08 1照讲6:59 /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt
可以看到实际上是在开启快照的目录下新建了一个文件夹.snapshot,下面有个目录backup01,里面有一个文件,相当于复制了一份文件。
查看快照
hdfs lsSnapshottableD一篇ir
再上传一个文件
hdfs dfs -put data/urls.txt /data/test/test_snapshot
再创建一个快照
hdfs dfs -createSnapshot /data/test/test_snapshot b关于ackup02
这里又新建了一个快照backup02,.snapshot下面有两个目录,分别是backup01和backup02。
[hdfs@cdh-003 ~]$ hdfs dfs -ls /data/test/test_snapshot/.snapshot Found&nHDbsp;3 items drwxr-xr-x - hdfs supergroup 0 2021-10-08 17:04 /FSdata/test/test_snapshot/.snapshot/backup01 drwxr-xr-x - hdfs supergroup 0 的快;2021-10-08 17:12 /data/test/test_snapshot/.snapshot/backup02
对比快照
因为后来又上传了一个文件,所以快照backup02下面有2个文件了,比backup01多一个文件urls.txt。
[hdfs@cdh-003 ~]$ hd照讲fs snapshotDiff /data/test/test_snapshot backup01 backup02 Difference between snapshot backup01 and snapshot backu一篇p02 under directory /data/test/test_snapshot: M . + ./urls.txt
恢复快照如果不小心把文件删除了,这个文件就被移动到回收站(如果开启了回收站),如果回收站到期清理了或者没有开启回收站,这个时候快关于照的作用就发挥出来了,直接cp过去。
hdfs dfs -cp /data/test/test_snapshot/.snapshot/backup01/ods_user1.txt /data/test/test_snapshot
顶: 054踩: 706132
一篇关于HDFS的快照讲解
人参与 | 时间:2026-11-14
相关文章
- 谷歌AI Edge Gallery上线Google Play,手机秒变AI神器,无网也能玩转图像、语音和对话!
- 蚂蚁百宝箱外滩大会发布新品Tbox,20余位专家智能体协同可1键交付专业软件
- 戴尔科技发布APEX全新产品组合及边缘运营软件平台NativeEdge
- OpenAI 首席执行官透露 GPT-6 将实现个性化记忆,提升用户体验
- 标签: 晋江文学城 老天奶 生造词 网络文学
- 标签: 蚂蚁集团 健康事业群 AI健康管家 张俊杰
- 标签: 滴滴自动驾驶 广汽埃安 R2 Robotaxi
- 英特尔新设软件及图形芯片两大部门 “死磕”英伟达
- 苹果内部测试新型聊天机器人 Veritas,未来 Siri 升级有望加速
- 云计算核心技术Docker教程:Docker Swarm 模式对管理节点进行故障排除






评论专区