oimi分享美好数字生活 oimi分享美好数字生活
  • 首页
  • AI
  • Lab
  • Apple
  • 生活方式
  • 硬件
  • 0
  • 0

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输

OIMI
7 5 月, 2017

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

准备今天把博客搬到托管服务器上去,于是就要把网站文件备份并且传输到我托管的服务器上去,但是本来用的是阿里云的机子,带宽只有1M,要上传一个800M的压缩包要一个半小时。太久了,想了想,既然是阿里云的ECS,那么应该可以用OSS的内网传输,内网的话速度肯定巨快了,找到同一个区域的bucket,ping了一下给的内网地址—–1ms,嗯有戏。然后顺便就去帮助支持看了一下,找到了个叫做ossfs的工具,它可以把OSS bucket挂载在阿里云的ECS上,然后用以数据共享以及传输。

ossfs 能让您在Linux系统中把OSS bucket 挂载到本地文件系统中,您能够便捷地通过本地文件系统操作OSS 上的对象,实现数据的共享。

ECS上挂载好OSS之后

 

利用阿里云OSS bucket挂载在阿里云ECS本地文件系统,达到高效传输-oimi分享美好数字生活

复制过去只用了一分钟,800MB一分钟~然后从服务器上wget oss上的压缩包就行云流水了~

主要功能

ossfs 基于s3fs 构建,具有s3fs 的全部功能。主要功能包括:

  • 支持POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid,以及扩展属性(extended attributes)
  • 通过OSS 的multipart 功能上传大文件。
  • MD5 校验保证数据完整性。

安装及使用

安装包下载

Linux发行版 下载
Ubuntu 16.04 (x64) ossfs_1.80.0_ubuntu16.04_amd64.deb
Ubuntu 14.04 (x64) ossfs_1.80.0_ubuntu14.04_amd64.deb
CentOS 7.0 (x64) ossfs_1.80.0_centos7.0_x86_64.rpm
CentOS 6.5 (x64) ossfs_1.80.0_centos6.5_x86_64.rpm
CentOS 5.11 (x64) ossfs_1.80.0_centos5.11_x86_64.rpm

安装方法

  • 对于Ubuntu,安装命令为:
sudo apt-get update
sudo apt-get install gdebi-core
sudo gdebi your_ossfs_package
  • 对于CentOS6.5及以上,安装命令为:
yum localinstall your_ossfs_package
  • 对于CentOS5,安装命令为:
yum localinstall your_ossfs_package --nogpgcheck

使用方法

设置bucket name 和 AccessKeyId/Secret信息,将其存放在/etc/passwd-ossfs 文件中,注意这个文件的权限必须正确设置,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

将OSS bucket mount到指定目录。

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint

示例

将my-bucket这个bucket挂载到/tmp/ossfs目录下,AccessKeyId是faint,AccessKeySecret是123,oss endpoint是http://oss-cn-hangzhou.aliyuncs.com。特别注意:url中不包含bucket的名字。例如:您在oss控制台中看到bucket的域名是这样的:ossfs-test-1.oss-cn-hangzhou.aliyuncs.com。那么填入的url则是:http://oss-cn-hangzhou.aliyuncs.com。

echo my-bucket:faint:123 > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs my-bucket /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

卸载bucket:

fusermount -u /tmp/ossfs

更多详细内容请参考:https://github.com/aliyun/ossfs

局限性

ossfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:

  • 随机或者追加写文件会导致整个文件的重写。
  • 元数据操作,例如list directory,性能较差,因为需要远程访问OSS服务器。
  • 文件/文件夹的rename操作不是原子的。
  • 多个客户端挂载同一个OSS bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
  • 不支持hard link。
  • 不适合用在高并发读/写的场景,这样会让系统的load升高。

版本日志

请参考:https://github.com/aliyun/ossfs/blob/master/ChangeLog

FAQ

有问题看这:https://github.com/aliyun/ossfs/wiki/FAQ

0
Debian 编译安装 SNI Proxy 反向代理教程(可用于Hosts/DNS服务器)
上一篇
Debian 8.x / Ubuntu 16.04.x 搭建 Isso 评论系统教程
下一篇

评论 (0)

再想想
暂无评论

聚合文章

理想星环OS开源项目
亚马逊云科技部署DeepSeek模型
重磅发布:Windows/Office被国外大神破解,全部离线永久激活!
OOMOL Studio 免费、底层开源
DeepSeek开源周首日推出FlashMLA项目 可以显著降低内存占用和计算开销
DeepSeek-R1 发布,性能对标 OpenAI o1 正式版
HEU KMS Activator v42.3.2
Windows/Office通用激活神器MAS v2.9版发布
2024年12月,Windows11 24H2官方原版ISO的系统版本号为26100.2605
小米官方发布「米家集成」,可在 Home Assistant 中使用小米 IoT 智能设备

Android 11 Apache Apple M1 Aria2 AWS Route53 Calm CDN ChatGPT Cloudflare CloudXNS CNNIC Debian Debian 9 Debian 9 Stretch DNS DNSpod Domain Name System gdnsd Google Play HEU KMS Activator iOS 11 iOS11 Beta2 iOS11 Beta2 update1 LEMP Let’s Encrypt LNMP macOS MySQL Nginx OEM PanDownload PHP Postgres PowerDNS PowerDNS-Admin Pure DNS Spectre SQLite3 Stretch Windows 11 24H2 Youtube 公共DNS 数字许可证激活 自控力 降级iOS10

猜你喜欢

GitNote - 使用 Git 来管理内容的免费跨平台日记笔记软件

GitNote - 使用 Git 来管理内容的免费跨平台日记笔记软件

3 2 月, 2019
5,541 0 0
Windows 10 2018年四月更新版官方正式版

Windows 10 2018年四月更新版官方正式版

4 5 月, 2018
5,416 0 0
Linux 下使用 acme.sh 和 NS 代管申请 Let's Encrypt 免费通配符证书

Linux 下使用 acme.sh 和 NS 代管申请 Let's Encrypt 免费通配符证书

27 3 月, 2018
4,902 0 0
写给新手入门 linux下搭建lnmp环境、SSL证书配置、wordpress博客建立

写给新手入门 linux下搭建lnmp环境、SSL证书配置、wordpress博客建立

6 2 月, 2018
4,359 0 0

关于

OIMI(oimi.me)是分享美好数字生活的内容平台,同时还涉及 macOS、iOS 等知名系统的使用技巧。 科技 / 旅行 / 摄影 / 生活方式

社交媒体

Nicky

导航

Nicky
Copyright © 2016-2025 oimi分享美好数字生活. Designed by OIMI.
  • ChatTTS,HyperOS,HEU KMS Activator,Win10/11数字权利激活

OIMI

258
文章
2
评论
135
喜欢