2020/08/06日更新:关于Rclone系列现已更新更为完整强大的各种工具安装流程,点击查阅:
最近又入手一款Nocix这家的辣鸡独服,月100TB流量,所谓G口,实际跑下行50M-90M波动,一般稳定在50M左右,也就是400m的样子,然而上行却卡在了10M的速度,大概只有80m的端口,硬盘一个5w+小时一个3w+小时,真是堪萨斯的垃圾堆,我怀疑硬盘上都是铁锈了,在此友情分享下我的购机体验,后面的萌新慎重
那么这次更新点最近一两天新的成果。
如有懵逼感觉,请阅读之前的博文:
日常处理中,一个脚本或者传输比较久的时候,断开ssh让远程自己跑结果是很有必要的,所以screen这个玩意属于居家旅行必备,那么,一般的新系统都自带,没有的直接yum -y install screen
即可
操作很简单,输入screen
即可进入一个屏幕界面,你可以理解为一个全新的桌面(显示器)
复杂的暂时不用管,4个常用操作熟练即可
screen -ls
显示所有创建的桌面,未连接的桌面都显示Detachedscreen -r +桌面ID或者完整桌面名字
即可进入之前创建的对应ID桌面,再screen -ls
就可以显示attached连接中了
在桌面链接中想退出当前桌面?按住Ctrl +a+d
即按着ctrl不放,再依次按一下a和d,就可以退出当前桌面了ctrl+c
通用停止当前指令操作
screen操作就这么简单
接下来就是突破谷歌云盘每日上传/下载 api限制750GB流量的思考
我们知道,如果你有一个G口独服/盒子,那么每秒跑80M上传到谷歌云盘是很简单的事情,那么每小时可以跑280G左右,750G每日上限不到3个小时就reached了,只能等24小时后续命,这简直是对资源的极大浪费
之前各位大佬都在使用免费的教育版无限云盘。这个只能安心等待一天后复活了,而现在,我们的团队云盘,由于可以授权邀请新成员,那么
怀着激动的心情,咱们邀请下自己的另一个gg账号看看
切换到你的新gg账号,然后会看到团队盘出现在你的gg盘左侧菜单,一堆欢迎和新手提示,咱不管它,直接ssh连接独服开干
rclone config
直接n开始create new remote
按11选择gg drive
选择作为team drive,一顿授权ok
name这里命名为GdriveB
然后挂载目录建议你换个新的,我这里区别之前的GdriveA挂载在/home/transmission/Gdrive,新的GdriveB就挂载在/root/Gdrive上了
然后screen
一下
输入
rclone mount GdriveB:movies/tmp /root/Gdrive --allow-other --allow-non-empty --vfs-cache-mode writes &
输入ctrl +a+d
退出当前screen
在你正常ssh界面df -h
看看
好了,“新”的团队盘也挂载好了(其实是同一个团队盘,不同账号下访问)
输入
rclone copy -v --stats 15s --bwlimit 40M /home/transmission/Downloads GdriveB:movies/tmp
不需要限速的去掉 --bwlimit 40M
即可
我们刚才reached user's API limit 提示消失,又开始以650m/s以上的速度飙起来了
解释下新的指令,这个rclone command我潜心研究一天后,发现比cp -r
好用很多rclone copy
自动verify两边的文件,修改时间有更新的,会自动更新修改时间,文件夹或者子目录下缺失的,会自动上传未传递的文件,-v
指显示进度 --stats
指显示状态--stats
后面可以接xx s
,xx min
,xx h
,依次指状态每xx秒,xx分钟,xx小时更新一次
好了,ctrl+a+d
,挂机关闭ssh,你又可以传输750GB文件了
2019.5.24更新:
私有Gdrive API Oauth 配置获取
大半年过去了,关于rclone这款工具有一些新的体会,更新如下:
rclone 的client_ID 和secret默认留空的话,走的是公用api,在高峰时期容易达到限制,导致无法上传,触发403error,可能750GB都传不了就挂起,那么这里更新下开启自己的项目,获得私有api和Oauth认证信息:
首先访问自己的api控制台:
API控制台
启用Drive API接口后
新建Oauth认证信息:
Oauth
应用类型选择其他,随便填个Rclone命名都行
然后rclone config配置自己的client_ID和client_secret即可
关于rclone server side copy和本地客户端local side copy选择
如果是谷歌盘对谷歌盘对拷,默认会执行server side copy ,使用我们的-v参数可以看到(server side copy)信息,就说明文件没有从本地经过
这功能本来是很方便的,然后很多pb级大户的狂草,导致谷歌 server side copy经常只能达到几十GB就触发limit了,单账号看脸,触发情况随机,很是不实用,有的账号无法做到自动切换为本地客户端拷贝,也不显示出错,就在那挂起,一直transferring
所以我们可以用 --disable copy
来强制使用本地copy,当然,如果你是move指令,也可以用 --disable
来指定,关于 --disable
指令使用范围,输入 rclone --disable help
可以查看具体信息
最后关于 -v
可视化一个新的拓展:-vv
双倍的快乐,双倍的输出,可以显示出精准的实时传输字节信息,可以获得更多的上传动态,对于找出问题会有一定的帮助
好了,最后精炼一下最新配置指令,来总结一下:
rclone copy -vv --disable copy --stats 15s --bwlimit 80M --transfers 12 GdriveAme:"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/ GdriveA:movies/大姐姐/"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/
-vv
更详细的可视化操作信息显示--disable copy
当盘对盘服务器对拷满负荷时间段,使用此指令强制使用本地对拷,理论上可以获得服务器750GB+本地750GB总共1.5TB每天的限额--stats 15s
每15秒更新操作进度,可以改成1m(1分钟),1h(1小时)等--bwlimit 80M
限制速度为80MB/s,可以改成K,G,对于vps有长时间带宽占用限制的,此命令很合适--transfers 12
开启12线程同步传输,网络不太好的时候可以流氓一点,总速度会更好一些,但是你本身小口子的话,还是默认的4线程就好
最后祝大家身体健康
7 comments
-v 只是显示调试信息
-P 显示任务速度和当前任务
谢谢补充,-v可视化也包含了速度和任务名的
私有API必须要用转存的账号的API吗,这个API需要美刀,我大号有,教育账号没有
可能是你教育机构没开启,这个不需要额外费用,我看了下我的所有普通账号和教育账号都可以直接激活
团队盘拉号,然后用不同号接着传到团队盘,这个思路真的不错。
顺便能问一下博主你这个用的哪家杜甫么?我以前一直用VPS,最近被各家VPS超载停机、超流暗箱限速搞得很烦,想入杜甫了。
谢谢啦~
杜甫现在推荐hetzner 21欧左右g口无限很划算了,百兆的话kimisufi的ks1,3挺好,便宜,online机子涨价,网络现在也就200兆保证,不怎么推荐了,其他的就是各种共享ip盒子了,现在各内站来始限制刷子,且刷且珍惜
Somebody necessarily help to make severely posts I might state. That is the first time I frequented your website page and up to now? I surprised with the analysis you made to create this actual publish incredible. Fantastic job!