oimi分享美好数字生活 oimi分享美好数字生活
  • 首页
  • Lab
  • Apple
  • 生活方式
  • 硬件
首页 › 硬件 › 利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输

OIMI
5月 7, 2017硬件阅读 3,029

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

准备今天把博客搬到托管服务器上去,于是就要把网站文件备份并且传输到我托管的服务器上去,但是本来用的是阿里云的机子,带宽只有1M,要上传一个800M的压缩包要一个半小时。太久了,想了想,既然是阿里云的ECS,那么应该可以用OSS的内网传输,内网的话速度肯定巨快了,找到同一个区域的bucket,ping了一下给的内网地址—–1ms,嗯有戏。然后顺便就去帮助支持看了一下,找到了个叫做ossfs的工具,它可以把OSS bucket挂载在阿里云的ECS上,然后用以数据共享以及传输。

ossfs 能让您在Linux系统中把OSS bucket 挂载到本地文件系统中,您能够便捷地通过本地文件系统操作OSS 上的对象,实现数据的共享。

ECS上挂载好OSS之后

 

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

复制过去只用了一分钟,800MB一分钟~然后从服务器上wget oss上的压缩包就行云流水了~

主要功能

ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:

  • 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid,以及扩展属性(extended attributes)
  • 通过OSS 的multipart 功能上传大文件。
  • MD5 校验保证数据完整性。

安装及使用

安装包下载

Linux发行版 下载
Ubuntu 16.04 (x64) ossfs_1.80.0_ubuntu16.04_amd64.deb
Ubuntu 14.04 (x64) ossfs_1.80.0_ubuntu14.04_amd64.deb
CentOS 7.0 (x64) ossfs_1.80.0_centos7.0_x86_64.rpm
CentOS 6.5 (x64) ossfs_1.80.0_centos6.5_x86_64.rpm
CentOS 5.11 (x64) ossfs_1.80.0_centos5.11_x86_64.rpm

安装方法

  • 对于Ubuntu,安装命令为:
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package
  • 对于CentOS6.5及以上,安装命令为:
yum localinstall your_ossfs_package
  • 对于CentOS5,安装命令为:
yum localinstall your_ossfs_package --nogpgcheck

使用方法

设置bucket name 和 AccessKeyId/Secret信息,将其存放在/etc/passwd-ossfs 文件中,注意这个文件的权限必须正确设置,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

将OSS bucket mount到指定目录。

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint

示例

将my-bucket这个bucket挂载到/tmp/ossfs目录下,AccessKeyId是faint,AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com。特别注意:url中不包含bucket的名字。例如:您在oss控制台中看到bucket的域名是这样的:ossfs-test-1.oss-cn-hangzhou.aliyuncs.com。那么填入的url则是:http://oss-cn-hangzhou.aliyuncs.com。

echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

卸载bucket:

fusermount -u /tmp/ossfs

更多详细内容请参考:https://github.com/aliyun/ossfs

局限性

ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:

  • 随机或者追加写文件会导致整个文件的重写。
  • 元数据操作,例如list directory,性能较差,因为需要远程访问OSS服务器。
  • 文件/文件夹的rename操作不是原子的。
  • 多个客户端挂载同一个OSS bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
  • 不支持hard link。
  • 不适合用在高并发读/写的场景,这样会让系统的load升高。

版本日志

请参考:https://github.com/aliyun/ossfs/blob/master/ChangeLog

FAQ

有问题看这:https://github.com/aliyun/ossfs/wiki/FAQ

赞(0)
Debian 编译安装 SNI Proxy 反向代理教程(可用于Hosts/DNS服务器)
上一篇
Debian 8.x / Ubuntu 16.04.x 搭建 Isso 评论系统教程
下一篇
再想想
暂无评论
聚合文章
自动化 WINDOWS 系统重装工具:CMZPREP B
ReviOS
ntel Unison - 英特尔免费手机电脑协同工具!
开源免费Notepad--跨平台代码编辑器
palera1n
DarkRa1n
苹果iOS不越狱更改系统字体的方法
Win10,安卓子系统
ventoy-1.0.86
HEU KMS Activator v27

Android 11 Apple M1 Aria2 bilibili B站 Debian DNS Docker hub Excel Fotosizer gatherosstate HarmonyOS 3 HEU KMS Activator HEU KMS Activator v24.6.4 HTTP API iOS 11 KMS激活 Let’s Encrypt Lync MAK, Nginx OEM Office 2021企业长期版 Office LTSC Standard OneDrive OneNote Outlook PanDownload PDF24 Creator PowerPoint Publisher REST API Retail Rufus 3.19 Spectre Teams Windows 11专业版 Windows To Go Word; 安卓开屏广告 数字门票 李跳跳 油管 百度网盘不限速 视频号

GitNote - 使用 Git 来管理内容的免费跨平台日记笔记软件
2月 3, 2019
2,594 0 0
Windows 10 2018年四月更新版官方正式版
5月 4, 2018
2,906 0 0
Linux 下使用 acme.sh 和 NS 代管申请 Let's Encrypt 免费通配符证书
3月 27, 2018
2,213 0 0
写给新手入门 linux下搭建lnmp环境、SSL证书配置、wordpress博客建立
2月 6, 2018
1,855 0 0
  • 0
  • 0
关于

OIMI(oimi.me)是分享美好数字生活的内容平台,同时还涉及 macOS、iOS 等知名系统的使用技巧。 科技 / 旅行 / 摄影 / 生活方式

社交媒体
ioh.me Nicky
导航
ioh.me Nicky
Copyright © 2016-2023 oimi分享美好数字生活. Designed by OIMI. 渝ICP备17007399号-1
# Nginx # # Debian # # Aria2 # # Spectre # # Apple M1 #
OIMI
193
文章
2
评论
101
喜欢