Screen指令的使用以及Rclone突破谷歌云盘每日API上传750GB限制

请输入图片描述
最近又入手一款Nocix这家的辣鸡独服,月100TB流量,所谓G口,实际跑下行50M-90M波动,一般稳定在50M左右,也就是400m的样子,然而上行却卡在了10M的速度,大概只有80m的端口,硬盘一个5w+小时一个3w+小时,真是堪萨斯的垃圾堆,我怀疑硬盘上都是铁锈了,在此友情分享下我的购机体验,后面的萌新慎重

那么这次更新点最近一两天新的成果。

如有懵逼感觉,请阅读之前的博文:

日常处理中,一个脚本或者传输比较久的时候,断开ssh让远程自己跑结果是很有必要的,所以screen这个玩意属于居家旅行必备,那么,一般的新系统都自带,没有的直接yum -y install screen即可
操作很简单,输入screen即可进入一个屏幕界面,你可以理解为一个全新的桌面(显示器)

复杂的暂时不用管,4个常用操作熟练即可

screen -ls显示所有创建的桌面,未连接的桌面都显示Detached
screen -r +桌面ID或者完整桌面名字 即可进入之前创建的对应ID桌面,再screen -ls就可以显示attached连接中了
在桌面链接中想退出当前桌面?按住Ctrl +a+d即按着ctrl不放,再依次按一下a和d,就可以退出当前桌面了
ctrl+c通用停止当前指令操作
screen操作就这么简单

接下来就是突破谷歌云盘每日上传/下载 api限制750GB流量的思考
我们知道,如果你有一个G口独服/盒子,那么每秒跑80M上传到谷歌云盘是很简单的事情,那么每小时可以跑280G左右,750G每日上限不到3个小时就reached了,只能等24小时后续命,这简直是对资源的极大浪费
之前各位大佬都在使用免费的教育版无限云盘。这个只能安心等待一天后复活了,而现在,我们的团队云盘,由于可以授权邀请新成员,那么
怀着激动的心情,咱们邀请下自己的另一个gg账号看看请输入图片描述

请输入图片描述
切换到你的新gg账号,然后会看到团队盘出现在你的gg盘左侧菜单,一堆欢迎和新手提示,咱不管它,直接ssh连接独服开干

rclone config
直接n开始create new remote
按11选择gg drive
选择作为team drive,一顿授权ok
name这里命名为GdriveB
然后挂载目录建议你换个新的,我这里区别之前的GdriveA挂载在/home/transmission/Gdrive,新的GdriveB就挂载在/root/Gdrive上了
然后screen一下

输入
rclone mount GdriveB:movies/tmp /root/Gdrive --allow-other --allow-non-empty --vfs-cache-mode writes &
输入ctrl +a+d退出当前screen

在你正常ssh界面
​df -h看看
请输入图片描述

好了,“新”的团队盘也挂载好了(其实是同一个团队盘,不同账号下访问)
输入
rclone copy -v --stats 15s --bwlimit 40M /home/transmission/Downloads GdriveB:movies/tmp
不需要限速的去掉 --bwlimit 40M 即可

请输入图片描述
我们刚才reached user's API limit 提示消失,又开始以650m/s以上的速度飙起来了
解释下新的指令,这个rclone command我潜心研究一天后,发现比cp -r好用很多
rclone copy自动verify两边的文件,修改时间有更新的,会自动更新修改时间,文件夹或者子目录下缺失的,会自动上传未传递的文件,-v指显示进度 --stats指显示状态 --stats后面可以接xx sxx minxx h,依次指状态每xx秒,xx分钟,xx小时更新一次

好了,ctrl+a+d,挂机关闭ssh,你又可以传输750GB文件了请输入图片描述

2019.5.24更新:

私有Gdrive API Oauth 配置获取

大半年过去了,关于rclone这款工具有一些新的体会,更新如下:
rclone 的client_ID 和secret默认留空的话,走的是公用api,在高峰时期容易达到限制,导致无法上传,触发403error,可能750GB都传不了就挂起,那么这里更新下开启自己的项目,获得私有api和Oauth认证信息:
首先访问自己的api控制台:
API控制台
启用Drive API接口后
新建Oauth认证信息:
Oauth
应用类型选择其他,随便填个Rclone命名都行
然后rclone config配置自己的client_ID和client_secret即可

关于rclone server side copy和本地客户端local side copy选择

如果是谷歌盘对谷歌盘对拷,默认会执行server side copy ,使用我们的-v参数可以看到(server side copy)信息,就说明文件没有从本地经过
这功能本来是很方便的,然后很多pb级大户的狂草,导致谷歌 server side copy经常只能达到几十GB就触发limit了,单账号看脸,触发情况随机,很是不实用,有的账号无法做到自动切换为本地客户端拷贝,也不显示出错,就在那挂起,一直transferring
所以我们可以用--disable copy来强制使用本地copy,当然,如果你是move指令,也可以用--disable来指定,关于--disable指令使用范围,输入rclone --disable help可以查看具体信息
最后关于-v可视化一个新的拓展:-vv
双倍的快乐,双倍的输出,可以显示出精准的实时传输字节信息,可以获得更多的上传动态,对于找出问题会有一定的帮助

好了,最后精炼一下最新配置指令,来总结一下:

rclone copy -vv --disable copy --stats 15s --bwlimit 80M --transfers 12 GdriveAme:"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/ GdriveA:movies/大姐姐/"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/
  1. -vv 更详细的可视化操作信息显示
  2. --disable copy 当盘对盘服务器对拷满负荷后,强制实用本地对拷,理论上可以获得服务器750GB+本地750GB总共1.5TB每天的限额
  3. --stats 15s 每15秒更新操作进度,可以改成1m(1分钟),1h(1小时)等
  4. --bwlimit 80M 限制速度为80MB/s,可以改成K,G,对于vps有长时间带宽占用限制的,此命令很合适
  5. --transfers 12 开启12线程同步传输,网络不太好的时候可以流氓一点,总速度会更好一些,但是你本身小口子的话,还是默认的4线程就好
    最后祝大家身体健康

我的博客连接:
https://omo.moe/archives/173/

Last modification:May 24th, 2019 at 01:42 pm
If you think my article is useful to you, please feel free to appreciate

7 comments

  1. z

    -v 只是显示调试信息
    -P 显示任务速度和当前任务

    1. plumn
      @z

      谢谢补充,-v可视化也包含了速度和任务名的

  2. a

    私有API必须要用转存的账号的API吗,这个API需要美刀,我大号有,教育账号没有

    1. plumn
      @a

      可能是你教育机构没开启,这个不需要额外费用,我看了下我的所有普通账号和教育账号都可以直接激活

  3. Yyyy

    团队盘拉号,然后用不同号接着传到团队盘,这个思路真的不错。
    顺便能问一下博主你这个用的哪家杜甫么?我以前一直用VPS,最近被各家VPS超载停机、超流暗箱限速搞得很烦,想入杜甫了。
    谢谢啦~

    1. plumn
      @Yyyy

      杜甫现在推荐hetzner 21欧左右g口无限很划算了,百兆的话kimisufi的ks1,3挺好,便宜,online机子涨价,网络现在也就200兆保证,不怎么推荐了,其他的就是各种共享ip盒子了,现在各内站来始限制刷子,且刷且珍惜

  4. Melvin Kayser

    Somebody necessarily help to make severely posts I might state. That is the first time I frequented your website page and up to now? I surprised with the analysis you made to create this actual publish incredible. Fantastic job!

Leave a Comment