Screen指令的使用以及Rclone突破谷歌云盘每日API上传750GB限制

Author： plumn
发布时间：April 20, 2018
6795views
7 comments
4078字数
Categories：生活感悟

**2020/08/06日更新：关于Rclone系列现已更新更为完整强大的各种工具安装流程，点击查阅：**
<div class="preview">
<div class="post-inser post box-shadow-wrap-normal">
<a href="https://omo.moe/archives/721/" target="_blank" class="post_inser_a ">
<div class="inner-image bg" style="background-image: url(https://omo.moe/usr/uploads/2020/08/2986487985.jpg);background-size: cover;"></div>

<div class="inner-content" >
<p class="inser-title">Rclone/Autoclone/Gclone/GD百宝箱系列全解析谷歌云盘通过SA快速拷贝自动突破750GB&amp;TG机器人转存从零开始流程:第一章  练气篇 Rclone-最初的美好</p>
<div class="inster-summary text-muted">
建议搭配视频教程阅读体验更佳 1.Rclone的安装我们先看看windows下的安装使用，这个应该是最简单的，然后...
</div>
</div>
</a>

</div>

</div>
最近又入手一款Nocix这家的辣鸡独服，月100TB流量，所谓G口，实际跑下行50M-90M波动，一般稳定在50M左右，也就是400m的样子，然而上行却卡在了10M的速度，大概只有80m的端口，硬盘一个5w+小时一个3w+小时，真是堪萨斯的垃圾堆，我怀疑硬盘上都是铁锈了，在此友情分享下我的购机体验，后面的萌新慎重

那么这次更新点最近一两天新的成果。

如有懵逼感觉，请阅读之前的博文：

<div class="inner-content" >
<p class="inser-title">CentOS 7 使用rclone挂载谷歌团队网盘（Google Team Drive）</p>
<div class="inster-summary text-muted">
2020/08/06日更新：关于Rclone系列现已更新更为完整强大的各种工具安装流程，点击查阅：简单说下谷歌云盘...
</div>
</div>
</a>

</div>

</div>

日常处理中，一个脚本或者传输比较久的时候，断开ssh让远程自己跑结果是很有必要的，所以screen这个玩意属于居家旅行必备，那么，一般的新系统都自带，没有的直接`yum -y install screen`即可
操作很简单，输入`screen`即可进入一个屏幕界面，你可以理解为一个全新的桌面（显示器）

复杂的暂时不用管，4个常用操作熟练即可

`screen -ls`显示所有创建的桌面，未连接的桌面都显示Detached
`screen -r +桌面ID或者完整桌面名字`即可进入之前创建的对应ID桌面，再`screen -ls`就可以显示attached连接中了
在桌面链接中想退出当前桌面？按住`Ctrl +a+d`即按着ctrl不放，再依次按一下a和d，就可以退出当前桌面了
`ctrl+c`通用停止当前指令操作
screen操作就这么简单

接下来就是突破谷歌云盘每日上传/下载 api限制750GB流量的思考
我们知道，如果你有一个G口独服/盒子，那么每秒跑80M上传到谷歌云盘是很简单的事情，那么每小时可以跑280G左右，750G每日上限不到3个小时就reached了，只能等24小时后续命，这简直是对资源的极大浪费
之前各位大佬都在使用免费的教育版无限云盘。这个只能安心等待一天后复活了，而现在，我们的团队云盘，由于可以授权邀请新成员，那么
怀着激动的心情，咱们邀请下自己的另一个gg账号看看

<img src="https://omo.moe/usr/uploads/2018/04/invite-2.png" alt="请输入图片描述" />
切换到你的新gg账号，然后会看到团队盘出现在你的gg盘左侧菜单，一堆欢迎和新手提示，咱不管它，直接ssh连接独服开干

```
rclone config
```
直接n开始create new remote
按11选择gg drive
选择作为team drive，一顿授权ok
name这里命名为GdriveB
然后挂载目录建议你换个新的，我这里区别之前的GdriveA挂载在/home/transmission/Gdrive，新的GdriveB就挂载在/root/Gdrive上了
然后`screen`一下

输入
```
rclone mount GdriveB:movies/tmp /root/Gdrive --allow-other --allow-non-empty --vfs-cache-mode writes &
```
输入`ctrl +a+d`退出当前screen

在你正常ssh界面
`df -h`看看
<img src="https://omo.moe/usr/uploads/2018/04/mount-1.png" alt="请输入图片描述" />

好了，“新”的团队盘也挂载好了（其实是同一个团队盘，不同账号下访问）
输入
```
rclone copy -v --stats 15s --bwlimit 40M /home/transmission/Downloads GdriveB:movies/tmp
```
不需要限速的去掉 `--bwlimit 40M`即可

<img src="https://omo.moe/usr/uploads/2018/04/transfer.png" alt="请输入图片描述" />
我们刚才reached user's API limit 提示消失，又开始以650m/s以上的速度飙起来了
解释下新的指令，这个rclone command我潜心研究一天后，发现比`cp -r`好用很多
`rclone copy`自动verify两边的文件，修改时间有更新的，会自动更新修改时间，文件夹或者子目录下缺失的，会自动上传未传递的文件，`-v`指显示进度 `--stats`指显示状态`--stats`后面可以接`xx s`，`xx min`，`xx h`，依次指状态每xx秒，xx分钟，xx小时更新一次

好了，`ctrl+a+d`，挂机关闭ssh，你又可以传输750GB文件了

2019.5.24更新：

私有Gdrive API Oauth 配置获取

---

大半年过去了，关于rclone这款工具有一些新的体会，更新如下：
rclone 的client_ID 和secret默认留空的话，走的是公用api，在高峰时期容易达到限制，导致无法上传，触发403error，可能750GB都传不了就挂起，那么这里更新下开启自己的项目，获得私有api和Oauth认证信息：
首先访问自己的api控制台：
<span class="external-link"><a href="https://console.developers.google.com/apis/api/drive.googleapis.com/overview" target="_blank">API控制台<i data-feather='external-link'></i></a></span>
启用Drive API接口后
新建Oauth认证信息：
<span class="external-link"><a href="https://console.developers.google.com/apis/credentials/oauthclient" target="_blank">Oauth<i data-feather='external-link'></i></a></span>
应用类型选择其他，随便填个Rclone命名都行
然后rclone config配置自己的client_ID和client_secret即可

关于rclone server side copy和本地客户端local side copy选择

---

如果是谷歌盘对谷歌盘对拷，默认会执行server side copy ，使用我们的-v参数可以看到（server side copy）信息，就说明文件没有从本地经过
这功能本来是很方便的，然后很多pb级大户的狂草，导致谷歌 server side copy经常只能达到几十GB就触发limit了，单账号看脸，触发情况随机，很是不实用，有的账号无法做到自动切换为本地客户端拷贝，也不显示出错，就在那挂起，一直transferring
所以我们可以用 `--disable copy`来强制使用本地copy，当然，如果你是move指令，也可以用 `--disable`来指定，关于 `--disable`指令使用范围，输入 `rclone --disable help`可以查看具体信息
最后关于 `-v`可视化一个新的拓展：`-vv`
双倍的快乐，双倍的输出，可以显示出精准的实时传输字节信息，可以获得更多的上传动态，对于找出问题会有一定的帮助

好了，最后精炼一下最新配置指令，来总结一下：

``````````````````````````````````````````````````````````````````````````````````
rclone copy -vv --disable copy --stats 15s --bwlimit 80M --transfers 12 GdriveAme:"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/ GdriveA:movies/大姐姐/"Marxism–Leninism.马克思列宁主义学习资料"/"Bulk Image Downloader"/
``````````````````````````````````````````````````````````````````````````````````

1. `-vv` 更详细的可视化操作信息显示
2. `--disable copy` 当盘对盘服务器对拷满负荷时间段，使用此指令强制使用本地对拷，理论上可以获得服务器750GB+本地750GB总共1.5TB每天的限额
3. `--stats 15s` 每15秒更新操作进度，可以改成1m（1分钟），1h（1小时）等
4. `--bwlimit 80M` 限制速度为80MB/s,可以改成K，G，对于vps有长时间带宽占用限制的，此命令很合适
5. `--transfers 12` 开启12线程同步传输，网络不太好的时候可以流氓一点，总速度会更好一些，但是你本身小口子的话，还是默认的4线程就好
最后祝大家身体健康

我的博客连接：
https://omo.moe/archives/173/

Last modification：August 12th, 2020 at 06:55 pm

If you think my article is useful to you, please feel free to appreciate

7 comments

z
August 10th, 2019 at 04:46 am

-v 只是显示调试信息
-P 显示任务速度和当前任务

Reply
1. plumn
  August 14th, 2019 at 01:36 pm
  
  @z
  谢谢补充，-v可视化也包含了速度和任务名的
  
  Reply
a
June 13th, 2019 at 12:28 am

私有API必须要用转存的账号的API吗，这个API需要美刀，我大号有，教育账号没有

Reply
1. plumn
  June 14th, 2019 at 01:23 am
  
  @a
  可能是你教育机构没开启，这个不需要额外费用，我看了下我的所有普通账号和教育账号都可以直接激活
  
  Reply
Yyyy
October 25th, 2018 at 02:14 pm

团队盘拉号，然后用不同号接着传到团队盘，这个思路真的不错。
顺便能问一下博主你这个用的哪家杜甫么？我以前一直用VPS，最近被各家VPS超载停机、超流暗箱限速搞得很烦，想入杜甫了。
谢谢啦~

Reply
1. plumn
  October 26th, 2018 at 02:22 am
  
  @Yyyy
  杜甫现在推荐hetzner 21欧左右g口无限很划算了，百兆的话kimisufi的ks1,3挺好，便宜，online机子涨价，网络现在也就200兆保证，不怎么推荐了，其他的就是各种共享ip盒子了，现在各内站来始限制刷子，且刷且珍惜
  
  Reply
Melvin Kayser
September 10th, 2018 at 09:54 pm

Somebody necessarily help to make severely posts I might state. That is the first time I frequented your website page and up to now? I surprised with the analysis you made to create this actual publish incredible. Fantastic job!

Reply