关于GoogleDrive影视资源/emby影库盘更新如何提取获得新增文件清单的流程记录

Author： plumn
发布时间：December 14, 2020
406views
No comments
4175 words
Categories：学习分享

![title](https://omo.moe/usr/uploads/2020/12/2114201436.jpg)

### 一、更新数据日志获取

我们可以通过`--log-file=/root/log.txt`添加日志文件输出路径，获取更新的文件信息，如果你拥有之前的文件清单，可以采用--exclude from 参数绕过旧列表获取新文件，使用`--dry-run`测试一遍，无误后再执行操作，示例如下：

```
rclone copy 11:   My11:  --transfers 10 --bwlimit 100M   --drive-server-side-across-configs   --ignore-existing --retries 1   -v --stats 30s --log-file=/root/log.txt  --exclude-from
"/root/.config/rclone/total.txt" --dry-run
```

得到日志文件如下：
![server side copy](https://omo.moe/usr/uploads/2020/12/78820825.png)

如果你使用本地拷贝，去掉`--drive-server-side-across-configs` 那么可以得到如下类似日志：
![local copy](https://omo.moe/usr/uploads/2020/12/1988183068.png)

### 二、使用Excel导入日志数据

通过Excel 菜单 **数据**>>**从文本/csv导入**，选择我们的log文件，编码修改为Unicode (UTF8)，获得正确显示的编码，此处分隔符选择冒号，方便数据分列：

![Inport](https://omo.moe/usr/uploads/2020/12/3084744814.png)

确认无误后点击右下角**加载**，导入数据如下：
![Raw_data](https://omo.moe/usr/uploads/2020/12/1810732591.png)

### 三、原始数据筛选加工

这里，我们先对Column4 ，第四栏进行标签排序，普通的升序排列即可，目的是将空白信息和无关信息列出，删除对应行：
![Proccess](https://omo.moe/usr/uploads/2020/12/3270647850.png)
演示情况，我们选择D2:D6707行，右键，选择 >>删除>>表行：
![Proccess1](https://omo.moe/usr/uploads/2020/12/3370468369.png)
接下来Column4第四栏就是我们的文件信息了，此时查看第三栏Column3,发现三类数据：ERROR,INFO,NOTICE
我们只需要INFO类对应的第四栏文件列表数据，这是所有的新增已拷贝文件信息，我们继续处理下数据：
对第三栏进行筛选处理，文本筛选输入info，自动筛选出所有info数据，点击普通的升序排列，确认即可：
![Proccess2](https://omo.moe/usr/uploads/2020/12/3184653278.png)
此时我们注意到左侧边栏所有行标数字变成了蓝色，表示显示的是筛选后的结果，同时Column3第三栏列标签右侧图标有个小小的升序图标和一个漏斗筛选图标，这样我们就获得需要的第四栏文件列表数据了，右键复制，粘贴到txt文件，保存为new_file.txt即可
![Proccess3](https://omo.moe/usr/uploads/2020/12/2745269277.png)
如果你想要第四栏文件列表按升序排列，则对Column4进行升序处理即可

### 四、文件列表数据对比新增分析

如果你之前有file_list数据，此时获得新的file_list，想对比新增哪些文件，演示如下：
旧的文件清单我们放在第四列D,新的文件清单放在第一列A:
选择**开始**菜单>>**条件格式**>>**突出显示单元格规则**>>**重复值**，选择默认的红底颜色标记即可：
![Compare](https://omo.moe/usr/uploads/2020/12/1945547211.png)
然后可以看到无色的字段就是新增的文件列表信息了，我们对A栏进行再次排序，选择条件如下图：
![Compare1](https://omo.moe/usr/uploads/2020/12/2867804438.png)
获得新增文件列表有重复的信息，我们删除重复值：
![Compare2](https://omo.moe/usr/uploads/2020/12/3594872012.png)

### 五、文件列表数据转换提取加工

通过以上步骤，我们获得了纯净详细的新增文件列表信息如下：

```
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E01.1080p.ass
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E01.1080p.mkv
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E02.1080p.mkv
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E03.1080p.ass
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E03.1080p.mkv
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E12.1080p.ass
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E23.1080p.mkv
剧集/动漫剧/来自风平浪静的明天 (2013)/Season 01/来自风平浪静的明天.Nagi.no.Asukara.S01E25.1080p.mkv
```

而我们的分块拷贝任务列表形如：

```
剧集/动漫剧/埃罗芒阿老师 (2017 )/**
剧集/动漫剧/埃斯米和罗伊 (2018 )/**
剧集/动漫剧/艾斯卡与罗吉的工作室～黄昏之空的炼金术士 (2014 )/**
剧集/动漫剧/爱.死亡和机器人 (2019 )/**
剧集/动漫剧/爱吃拉面的小泉同学 (2018 )/**
```

那么，开始我们的数据格式转换提取吧：
首先进行数据分列：
![Separate](https://omo.moe/usr/uploads/2020/12/3806807832.png)
分列依据为斜杠
然后进行组合：
选择新的M栏，输入`=A1&"/"&B1&"/"&C1&"/"&D1`，回车，然后下拉填充完毕
![Combine](https://omo.moe/usr/uploads/2020/12/2540338878.png)
然后菜单选择插入>>数据透视表（Pivot Table），选择源数据M栏，输出到当前工作表的N栏：
![Pivot table](https://omo.moe/usr/uploads/2020/12/4119301247.png)
我们对N栏的数据列表栏标签进行补齐格式，在O栏第二行输入`=N2&"/**"`
获得最终数据：
![Final data](https://omo.moe/usr/uploads/2020/12/3599850385.png)
如需对旧拷贝分块列表数据进行对比查重，参看第四步，添加对重复值标红的条件格式即可：
选择**开始**菜单>>**条件格式**>>**突出显示单元格规则**>>**重复值**，选择默认的红底颜色标记

最后使用你的rclone或者gclone等工具，将Googledrive文件备份到OneDrive吧！推荐参数如下：

```
gclone copy GdriveSA:{0AP9FI_z4bj-meYNzbA}movies/   OD_20_api_data1:movies/  -v --stats 15s --transfers 8  --cache-chunk-size 20M --bwlimit 120M --max-size 100G --include-from "/root/.config/rclone/final_data.txt" --ignore-checksum --ignore-size --drive-acknowledge-abuse  --retries 1
```

如果仅需要记录错误记录，可以将日志等级`-v`改成`-q`，输出日志文件方便再次拷贝针对性补齐：

```
-q --stats 15s --log-file=/root/error_log.txt
```

如果不想产生历史文件版本bug导致不必要的空间占用，可以考虑关闭OneDrive 历史记录版本，
或者使用--onedrive-no-versions 参数，相关分析参看：
<div class="preview">
<div class="post-inser post box-shadow-wrap-normal">
<a href="https://omo.moe/archives/741/" target="_blank" class="post_inser_a no-external-link">
<div class="inner-image bg" style="background-image: url(https://omo.moe/usr/uploads/2020/11/477343129.jpg);background-size: cover;"></div>

<div class="inner-content" >
<p class="inser-title">通过rclone拷贝GoogleDrive至微软Onedrive一些细节配置和常见错误解决方法</p>
<div class="inster-summary text-muted">
1.关于微软的onedriveAPI获取和授权：进入 Microsoft Azure 应用注册页面。点击新注册名称...
</div>
</div>
</a>

</div>

</div>

好了，基本上就是一个简单的数据处理excel基本使用，记录一下，方便参考，大佬有更高效的方法欢迎回复。

Last modification：December 15th, 2020 at 02:52 pm

If you think my article is useful to you, please feel free to appreciate