oimi分享美好数字生活 oimi分享美好数字生活
  • 首页
  • AI
  • Lab
  • Apple
  • 生活方式
  • 硬件
首页 › 硬件 › 利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输

OIMI
5月 7, 2017硬件阅读 3,332

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

准备今天把博客搬到托管服务器上去,于是就要把网站文件备份并且传输到我托管的服务器上去,但是本来用的是阿里云的机子,带宽只有1M,要上传一个800M的压缩包要一个半小时。太久了,想了想,既然是阿里云的ECS,那么应该可以用OSS的内网传输,内网的话速度肯定巨快了,找到同一个区域的bucket,ping了一下给的内网地址—–1ms,嗯有戏。然后顺便就去帮助支持看了一下,找到了个叫做ossfs的工具,它可以把OSS bucket挂载在阿里云的ECS上,然后用以数据共享以及传输。

ossfs 能让您在Linux系统中把OSS bucket 挂载到本地文件系统中,您能够便捷地通过本地文件系统操作OSS 上的对象,实现数据的共享。

ECS上挂载好OSS之后

 

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

复制过去只用了一分钟,800MB一分钟~然后从服务器上wget oss上的压缩包就行云流水了~

主要功能

ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:

  • 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid,以及扩展属性(extended attributes)
  • 通过OSS 的multipart 功能上传大文件。
  • MD5 校验保证数据完整性。

安装及使用

安装包下载

Linux发行版 下载
Ubuntu 16.04 (x64) ossfs_1.80.0_ubuntu16.04_amd64.deb
Ubuntu 14.04 (x64) ossfs_1.80.0_ubuntu14.04_amd64.deb
CentOS 7.0 (x64) ossfs_1.80.0_centos7.0_x86_64.rpm
CentOS 6.5 (x64) ossfs_1.80.0_centos6.5_x86_64.rpm
CentOS 5.11 (x64) ossfs_1.80.0_centos5.11_x86_64.rpm

安装方法

  • 对于Ubuntu,安装命令为:
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package
  • 对于CentOS6.5及以上,安装命令为:
yum localinstall your_ossfs_package
  • 对于CentOS5,安装命令为:
yum localinstall your_ossfs_package --nogpgcheck

使用方法

设置bucket name 和 AccessKeyId/Secret信息,将其存放在/etc/passwd-ossfs 文件中,注意这个文件的权限必须正确设置,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

将OSS bucket mount到指定目录。

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint

示例

将my-bucket这个bucket挂载到/tmp/ossfs目录下,AccessKeyId是faint,AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com。特别注意:url中不包含bucket的名字。例如:您在oss控制台中看到bucket的域名是这样的:ossfs-test-1.oss-cn-hangzhou.aliyuncs.com。那么填入的url则是:http://oss-cn-hangzhou.aliyuncs.com。

echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

卸载bucket:

fusermount -u /tmp/ossfs

更多详细内容请参考:https://github.com/aliyun/ossfs

局限性

ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:

  • 随机或者追加写文件会导致整个文件的重写。
  • 元数据操作,例如list directory,性能较差,因为需要远程访问OSS服务器。
  • 文件/文件夹的rename操作不是原子的。
  • 多个客户端挂载同一个OSS bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
  • 不支持hard link。
  • 不适合用在高并发读/写的场景,这样会让系统的load升高。

版本日志

请参考:https://github.com/aliyun/ossfs/blob/master/ChangeLog

FAQ

有问题看这:https://github.com/aliyun/ossfs/wiki/FAQ

赞(0)
Debian 编译安装 SNI Proxy 反向代理教程(可用于Hosts/DNS服务器)
上一篇
Debian 8.x / Ubuntu 16.04.x 搭建 Isso 评论系统教程
下一篇
再想想
暂无评论
聚合文章
iOS 17 正式版来了
”破解”思维导图软件Xmind,支持官网最新版
一键激活下载利器IDM,支持官网最新版,代码全部开源
专门用于禁用、卸载MD的工具
Windows和Office激活软件
Home业界消息Proton Pass – 免费、开源密码管理器,隐私优先的新选择 Proton Pass – 免费、开源密码管理器,隐私优先
Apache httpd 切换到 Caddy2
Linux + Caddy + MariaDB + PHP
无需破解,即可永久激活!
LKY Office Tools一键自动化 下载、安装、激活 Office 的利器

A1 A1P A3 A5 Android 11 Apple M1 Aria2 bilibili Bulk Crap Uninstaller B站 ChatGPT Debian DNS E1 E3 MSDN E3 Trial Fotosizer gatherosstate Geek Uninstaller HarmonyOS 3 HEU KMS Activator Iobit Uninstaller iOS 11 KeepAliveE5 Let’s Encrypt MAK, Microsoft 365 Microsoft Office 365 NaNaGet Nginx OEM PanDownload PAT密钥 Retail Revo Uninstaller Spectre Upscale.Media Vimeo Windows To Go Youtube 数字许可证激活 数字门票 油管 视频号 轻量级Aria2下载器

GitNote - 使用 Git 来管理内容的免费跨平台日记笔记软件
2月 3, 2019
2,991 0 0
Windows 10 2018年四月更新版官方正式版
5月 4, 2018
3,142 0 0
Linux 下使用 acme.sh 和 NS 代管申请 Let's Encrypt 免费通配符证书
3月 27, 2018
2,533 0 0
写给新手入门 linux下搭建lnmp环境、SSL证书配置、wordpress博客建立
2月 6, 2018
2,083 0 0
  • 0
  • 0
关于

OIMI(oimi.me)是分享美好数字生活的内容平台,同时还涉及 macOS、iOS 等知名系统的使用技巧。 科技 / 旅行 / 摄影 / 生活方式

社交媒体
ioh.me Nicky
导航
ioh.me Nicky
Copyright © 2016-2023 oimi分享美好数字生活. Designed by OIMI. 渝ICP备17007399号-1
# Nginx # # Aria2 # # Debian # # 数字许可证激活 # # ChatGPT #
OIMI
218
文章
2
评论
128
喜欢