通过编辑修改torrent文件来辅种

Feb 25,2019 in Python,PT,Knowledge read (943)

>  本文在 [北洋园PT :: 查看主题 "【高级辅种教程】教你编辑修改torrent文件" - Powered by NexusPHP](https://tjupt.org/forums.php?action=viewtopic&forumid=15&topicid=15678) 基础上修改，如果你没有tju帐号，可以访问原作者 `@DXV5` 在Github上的原文备份 https://github.com/ylxb2016/PT-help 。
>
> 此处转载以及修改均获得原作者 @DXV5 的许可，并对他在使用多种软件对种子文件进行修改的尝试表示感谢23333~~**（虽然我本人还是推荐直接从发布站直接搜索下载**~~

## 从种子结构说起

我曾在以前的Blog中提到过Bencode的编码方式，使用winHex（如果没有，用NotePad打开看看也行）就可以直接打开你从BT站下载的torrent，可以发现torrent种子其实是一个大的字典被序列化后的字符串，用Bencode Editor解析结果如下：

![TIM截图20190225163842.png](https://blog.rhilip.info/usr/uploads/2019/02/3127570861.png)

其顶层有`announce`，`created by`，`info`等字段。在这些字段中`info`字段最为关键，因为一个种子的info_hash值就是通过对该字段进行sha1计算出来的。

```php
// 此处代码仅作示例
$info_hash = pack("H*", sha1(Bencode::encode($torrent_dict['info'])));
```

## PT站点对种子文件的修改

体感上，@DXV5 将站点对上传torrent后的修改情况大致分为以下3种情况：

1.只修改了announce字段，或添加announce-list的list
	2.修改了announce、announce-list、source字段
	3.除了常规的修改announce、announce-list、source字段，还会添加或者修改一些字段ttg_tag,publisher-url,comment或者一些特殊的检验字段什么的。

以TJUPT为例子，TJUPT属于情况2和情况3
	- 如果原torrent包含source字段，那么就是常规的修改announce字段，添加announce-list的list，修改source为“\[www.tjupt.org] 北洋园PT”.
	- 如果原torrent不包含source字段（比如转发TTG的种子），除了常规的修改announce字段，添加announce-list的list，会删除了TTG的torrent特有的ttg_tag字段，增加了source字段“\[www.tjupt.org] 北洋园PT”，还修改了comment字段“Torrent From TJUPT”和created by“\[www.tjupt.org]”字段。

国内、国外大部分PT站点都属于情况2，也就是修改了announce+source字段.
如果是情况3的话，就比较繁琐了，需要修改的地方比较多了，有的甚至就没必要去编辑torrent来得到相同hash的种子了

------------------------

但是实际，我们可以简单的将其再归纳为2种情况（或者说两个步骤），即修改 `root->info` 的内容（在这个层次对种子的任何修改都会更改种子的info_hash信息）以及非 `root->info`，服务器会在种子文件上传和下载的过程中对其做修改，但是两者更改的信息是不一样的。

**种子上传过程**中主要修改的是种子的`root->info`信息，诸如设root->info->private=1，添加(或者更改)root->info->source信息。而不同的info_hash会被bt软件识别为不一样的种子。这也是为什么NP构架的种子在bt软件中分开，而不是向ZX的种子那样变成添加tracker，因为各站的source是不一样的。ttg_tag这个自造的非标准tag其实也是source的一种变形。此外，非`root->info`的信息同样可以在上传的时候更改，例如NP就会在上传的时候更改root->announce信息并移除root->announce-list,root->node，以防止上传者信息泄露。

**用户下载种子文件过程**就可以修改种子的其他信息（非root->info信息）了，比如announce、announce-list、publisher-url、comment字段。这些字段的修改不影响种子的info_hash，且其修改可以为用户添加其passkey信息，或者通过comment提供展示信息。

使用Vultr的Snapshots API完成自动备份(Python版)

Dec 08,2018 in Python,VPS,Knowledge read (511)

除了免费赠送可挂载的50G Block Storage之外，Snapshots可能也是吸引我使用[Vultr](https://www.vultr.com/?ref=7603581)的原因。虽然我一直没有从快照中还原过2333（但是好歹有个心理安慰是不是）

> 注意，默认情况下最多创建11个Snapshots！！！！

可能是因为本人搜索姿势不对吧，使用“vultr snapshot script”在Google中只搜索到 [Automated Snapshots](https://gist.github.com/mcknco/cbf337e00479a20b2df11e7601d60207) 这一个使用PHP写的脚本。但是为了系统安全，我在`php.ini`中禁用了“shell_exec”等方法。同时，该PHP脚本只能在Vultr主机上运行且只对当前机器进行备份。

所以自己模仿着这个脚本写了一下Python3的版本，全部脚本如下，你也可以到Gist上查阅：[Rhilip/**vultr-snapshot**](https://gist.github.com/Rhilip/8c7b8579ac115f84a5ede70f83ad69d2)

```python
import re
import time
import datetime
import requests

# -------------用户设置 开始-------------- #

# 填写Vultr的API KEY
API_KEY = ""

# 请填写服务器主IP地址或者SUBID，（二选一即可）
MAIN_IP = "1.2.3.4"
SUBID = None

BACKUP_TAG_PREFIX = "auto_backup"  # 备份头
MAX_NUM_OF_BACKUPS = 3  # 最大备份数

# -------------用户设置 结束-------------- #

# Get base info
api_endpoint = "https://api.vultr.com/v1/"
day = time.strftime("%Y-%m-%d", time.localtime())

# simple wrapper to access vultr api
def vultr(method = "GET",action = "" , data = None):
    return requests.request(method,"{}{}".format(api_endpoint,action),headers = {"API-Key" : API_KEY}, data=data)

server_list = vultr("GET","server/list").json()

# Find subid if not set.
if SUBID == None:
    for server_subid,server_info in server_list.items():
        if server_info.get("main_ip", None) == MAIN_IP:
            SUBID = server_subid
            break

if SUBID == None:
        raise Exception("Fail to find subid for IP: {}".format(MAIN_IP))

snapshot_list_raw = vultr("GET","snapshot/list").json()

# Resort the raw snapshot list dict to list obj
snapshot_list = [v for k,v in snapshot_list_raw.items()]

# Get auto-backup snapshot list
backup_snapshot_list = list(filter(lambda x:re.search("{}-{}".format(BACKUP_TAG_PREFIX,SUBID),x["description"]),snapshot_list))

# Remove old auto-backup-snapshot
if len(backup_snapshot_list) >= MAX_NUM_OF_BACKUPS:
    to_remove_snapshot_list = sorted(backup_snapshot_list,
    key = lambda k:datetime.datetime.strptime(k["date_created"],"%Y-%m-%d %H:%M:%S")
    )[:-MAX_NUM_OF_BACKUPS]
    
    for s in to_remove_snapshot_list:
        vultr("POST","snapshot/destroy",{"SNAPSHOTID": s["SNAPSHOTID"]})

# create New auto-backup-snapshot
vultr("POST","snapshot/create",{"SUBID": SUBID,"description": "{}-{}-{}".format(BACKUP_TAG_PREFIX,SUBID,day)})
```

## 完整食用方法如下

爬取备份“忧郁的弟弟”站点Galgame

Aug 07,2018 in Python,Game read (2997)

[我的Galgame资源发布站 - 忧郁的弟弟](https://www.mygalgame.com/) 是由忧郁的弟弟提供的汉化Galgame下载站点，关于该站点介绍请访问：[关于若干注意事项（新人必读） | 我的Galgame资源发布站](https://www.mygalgame.com/guanyuruoganzhuyishixiangxinrenbidu.html)

> 资源备份档分享请见：https://archive.rhilip.info/mygalgame/
> 他人抓取项目请见： [Mygalgame backup](https://beats0.github.io/www.mygalgame.com/)

弟弟站点html结构十分规范，而且爬取特别容易。问题在于该站的资源都是用百度云进行存储，而百度云的转存与下载较为麻烦。这里我们采取抓取和转存分别进行的方法，构造备份站点。步骤如下：

1. 对弟弟站所有页面进行抓取下载并存储。
2. 进行百度云批量转存，使用BaiduPCS-GO进行下载操作。
3. 使用rclone转存到GDrive以及OneDrive。
4. 使用OneIndex进行展示~

> 关于“忧郁的弟弟”站点备份，Github已有类似项目，具体可参见：[Beats0/www.mygalgame.com](https://github.com/Beats0/www.mygalgame.com)

## 站点爬取

目前弟弟站的百度云链接需要使用post的方式二次获取，故在获取到文章链接后，构造post表单进行获取。方法如下：

```python
import re
import time
import sqlite3
import requests
from bs4 import BeautifulSoup

s = requests.Session()
s.cookies.update({"switchtheme":"mygalgame2"})
s.headers.update({"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"})

db = sqlite3.connect(r"f:/mygalgame.db")
cur = db.cursor()

cur.execute("CREATE TABLE mygalgame ("+
    "raw_link   VARCHAR (255),"+
    "name       VARCHAR (100),"+
    "baidu_link VARCHAR (255),"+
    "secret_key VARCHAR (4)   UNIQUE PRIMARY KEY,"+
    "descr      TEXT"+
");"
)

for p in range(1,84):
    page = s.get("https://www.mygalgame.com/page/{}/".format(p))
    page = BeautifulSoup(page.text,"lxml")
    a_list = page.select("div#article-list > div > section > div.title-article > h1 > a")
    article_list = list(map(lambda x:x["href"], a_list))
    print("Craw Page {}, and find {} links".format(p,len(article_list)))
    for a in article_list:
        page_1 = s.get(a)
        if re.search("A\d{3}",page_1.text):
            secret_key = re.search("A\d{3}",page_1.text).group(0)
            page_2 = s.post(a,data={"e_secret_key":secret_key})
            page_bs = BeautifulSoup(page_2.text,"lxml")
            name_ = page_bs.select_one("div.title-article a").get_text()
            baidu_link = re.search("go\.php\?url=(https?://pan.baidu.com/s/[^']+)'",page_2.text).group(1)
            descr = str(page_bs.select_one("div.centent-article"))
            descr = descr[:descr.find("")]
            cur.execute("INSERT INTO `mygalgame` (`raw_link`, `name`, `baidu_link`, `secret_key`, `descr`) VALUES (?,?,?,?,?)",(a,name_,baidu_link,secret_key,descr))
            print("{}: {} OK~".format(secret_key,a))
            db.commit()
        time.sleep(5)
    print("Page {} Over~".format(p))
    time.sleep(5)
```

经过上述爬取，仍发现几项缺失，具体列在下表：

| 缺失项 | 可能的名称                                                  | 备注                                                         |
| ------ | ----------------------------------------------------------- | ------------------------------------------------------------ |
| A345   | ***资源吃饭                                                 | 没找到~                                                      |
| A457   | 下级生2                                                     | 与下级生1（A456）同一页面                                    |
| A458   | 恋×シンアイ彼女 体験版                                      | 正式版见[A584](https://www.mygalgame.com/xiangyaochuandageinideailian.html) |
| A516   | オトメ＊ドメイン 体験版                                     | 参见他人备份补齐                                             |
| A574   | [千恋＊万花](https://www.mygalgame.com/qianlianwanhua.html) | 手动补齐                                                     |

## 百度云转存下载

使用Selenium半自动登陆并转存。代码如下，前半部分登陆手动完成，后面分享转存交由程序进行。

```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.Chrome(r"d:\chromedriver.exe")
browser.get("https://pan.baidu.com")  # 用户登陆（手动）

uk_list = cur.execute("SELECT baidu_link,secret_key from mygalgame order by secret_key asc").fetchall()
for url,key in uk_list:
    try:
        browser.get(url)   # 打开分享链接
        browser.implicitly_wait(3)   # 等待3秒
        browser.find_element_by_tag_name("input").send_keys(key,Keys.ENTER)  # 输入分享密码并回车
        browser.implicitly_wait(5)
        browser.find_element_by_xpath('//*[@id="shareqr"]/div[2]/div[2]/div/ul[1]/li[1]/div/span[1]').click()  # 全选分享文件
        browser.find_element_by_xpath('//*[@id="bd-main"]/div/div[1]/div/div[2]/div/div/div[2]/a[1]/span/span').click()  # 点击转存按钮
        browser.implicitly_wait(2)
        browser.find_element_by_xpath('//*[@id="fileTreeDialog"]/div[3]').click()  # 勾选上次保存位置
        browser.implicitly_wait(2)
        browser.find_element_by_xpath('//*[@id="fileTreeDialog"]/div[4]/a[2]/span').click()  # 点击确认按钮
        browser.implicitly_wait(2)
        print("Transfer {}#{} Success~".format(url,key))
    except Exception:
        print("Transfer {}#{} Fail!!!!".format(url,key))
```

![TIM截图20180806131047.jpg](https://blog.rhilip.info/usr/uploads/2018/08/1217328313.jpg)

注意：

- 估算每个Gal的体积为2G，故1T百度云盘约能转存500左右游戏。
- 请使用开发者工具block掉一些请求，以防止页面长时间等待加快速度。例如：

![TIM截图20180806113155.jpg](https://blog.rhilip.info/usr/uploads/2018/08/1001885792.jpg)

而下载使用 [BaiduPCS-GO](https://github.com/iikira/BaiduPCS-Go)。使用前面获取的BUDSS进行登陆，并使用screen挂在后台进行下载即可。（然而使用国外服务器下载还是很慢23333）

## 简介清洗

因为OneIndex能展示`READMD.md`，所以将原有html格式简介清洗为markdown格式的文件，示例格式如下：

```python
import subprocess
import sqlite3
import re

from markdownify import markdownify as md
from bs4 import BeautifulSoup

process = subprocess.Popen(['rclone','lsd','GDrive:/galgame'], stdout=subprocess.PIPE)
output, _  =process.communicate()

output = str(output,"utf-8")

outlist = output.splitlines()

db = sqlite3.connect(r"f:/mygalgame.db")
cur = db.cursor()

temple = """
# {name}

> 来源于： [{source_link}]({source_link})

## 游戏截图

{img_list}

## 游戏简介

{introduce}

## 汉化STAFF

{staff}

## 文件信息

备注： {beizhu}

{note}

标签： {tag}
"""

for i in outlist:
    oid = re.search("A\d{3}",i).group(0)

print("开始处理{}".format(i))

sourcename = re.search("A\d{3}.*?$",i).group(0)

fetch_ = cur.execute("SELECT * FROM mygalgame where secret_key = ? ",[oid])
    link,name,bdlink,key,descr,_ = fetch_.fetchone()

de_bs = BeautifulSoup(descr,"lxml")
    img_list = de_bs.find_all("img")
    img_md = "\n".join(map(lambda x:"![]({})".format(x["src"]),img_list))

introduce = staff = beizhu  = tag =  ""

main_part = de_bs.find_all("div",class_="alert-success")

if len(main_part) == 1:
        i_tag = main_part[0]
        introduce = md(str(i_tag))
    elif len(main_part) > 1:
        i_tag,s_tag = main_part[:2]
        staff = md(str(s_tag))
        introduce = md(str(i_tag))

beizhu_search = re.search('备注：<span style="color: #ff0000;">(.+?)</span>',descr)
    if beizhu_search:
        beizhu = beizhu_search.group(1)

tag_list_raw = de_bs.find_all("a",rel="tag")
    if len(tag_list_raw) > 0:
        tag_list = map(lambda x:x.get_text(strip=True),tag_list_raw)
        tag = ", ".join(tag_list)

note = md(str(de_bs.find("div",class_="alert-info"))).replace("任何解压相关问题请看网站顶部解压必读，不看而发问直接小黑屋","").strip()

md_data = temple.format(name=name,source_link=link,img_list=img_md,introduce=introduce.replace("\n","\n\n"),
    staff=staff.replace("\n","\n\n"),note=note.replace("\n","\n\n"),beizhu=beizhu,tag=tag)
    print("生成的Markdown格式如下",md_data)

with open(r"F:\Temp\README.md","w",encoding="utf-8") as f:
        f.write(md_data)
        print("写入临时文件完成")

process = subprocess.Popen(['rclone','copy',r"F:\Temp\README.md",'GDrive:/galgame/{}'.format(sourcename)], stdout=subprocess.PIPE)
    process.communicate()
    print("上传 README.md 完成")

dstname = "{}@{}".format(key,name)
    process = subprocess.Popen(['rclone','moveto','GDrive:/galgame/{}'.format(sourcename),'GDrive:/mygalgame/{}'.format(dstname)], stdout=subprocess.PIPE)
    process.communicate()
    print("文件夹 重命名+移动 完成")
```

## OneIndex建站

随意找一个微软5T的盘，绑定OneIndex进行展示，使用rclone将Google Drive上面的文件夹完全转发。

蒲公英（NPUBits）站点 Banner分析

Jul 15,2018 in Python,PT read (1041)

某站5.20开放注册活动结果分析

Jul 11,2018 in Python,PT read (600)

很荣幸在本次活动中参与了某站点的最终审核过程。下面根据整次活动的过程进行梳理。

该活动以“将特定图片上传到微信朋友圈，发完后截图朋友圈，并上传截图”的形式展开，用户通过上传的朋友圈截图信息，就可以获得一定数量以上的奖励。

活动对上传的截图文件有以下要求：

- 请不要通过仅自己可见等设限方式上传到朋友圈
- 需要截图朋友圈带有自己发布内容的区域，不可以截图个人相册等其他区域
- 请完整截图，不要裁剪
- 如果同时加入了自己的文字推荐内容（如向大家介绍下本站），将有更高的几率获得更多奖励

同样，也列出了一些无法通过审核的原因：

- 图片没有标题栏或者标题没有写“朋友圈”字样，“我的相册”、“详情”均不能通过审核
- 上传编辑也不能通过审核
- 没有正确的图片，不能通过审核
- 请尽量包含朋友圈右侧个人头像区域，无法辨别是否本人所发的不能通过审核

## 结果一览

- **文件数量**

在本次活动中，总共收集到了 `10434` 张上传照片，总大小 `4.87 GB（ 5,239,552,373 字节）`，平均单个文件的大小为 `490.392 KiB`。图片大小最大为`6.57 MB`，最小仅为`1 KB`（当然是无效图片233）。

- **上传格式**

用户上传的截图文件类型主要为jpg以及png格式（居然还有一张是gif格式的Orz）。其占比如下：

![count_type.png](https://blog.rhilip.info/usr/uploads/2018/07/96982007.png)

- **用户截图/提交时间**

因为后台服务器并不对图片日期标签进行更改，所以通过读取图片文件的修改时间即可获取用户进行截图/上传的时间（这里有个假设就是用户截图后没多久就上传）。

在这些图片中，最早的一张的日期为`2018/5/18 17:42`，最后一张上传图片的日期戳为`2018/5/21 0:18`。通过对图片文件的时间进行统计并作图，可见，在20号15点52前提交人数均较少，而随着开放注册活动的持续进行，从20号19点30分到23点17分，出现用户参与活动的高潮，平均每次计数间隔（1分钟）均有超过30次提交。最高出现在`20:23`，在这一分钟内出现了共54次提交。

（这个日活还是挺恐怖的23333

![upload_time.png](https://blog.rhilip.info/usr/uploads/2018/07/1773464394.png)

- **图片分辨率**

如果假设用户未对图片做任何处理的话（实际上确实存在用户上传裁剪的或者其他情况存在），图片的分辨率应该是由手机自身分辨率确定的。通过使用Python的PIL库对文件夹内所有图片的分辨率进行统计，得到以下结果：有将近一半的上传照片的分辨率为`1080 x 1920` （5727张），即其他绝大部分的图片分辨率为`16:9`。很有意思的数据偏移点出现在 `240 x 240` 分辨率上，经过查询对应图片，发现该部分用户将网页提供的活动图片又原模原样的上传上来了23333  （掩耳盗铃是会被发现的23333

![imgW_H.png](https://blog.rhilip.info/usr/uploads/2018/07/1690842815.png)

通过统计，最常见（数量超过50）的图片分辨率为下表

|  imgW   |  imgH   |  count  |
| :-----: | :-----: | :-----: |
|  1080   |  1920   |  5727   |
|   750   |  1334   |  1587   |
|  1080   |  2160   |   573   |
|   640   |  1136   |   367   |
|  1242   |  2208   |   335   |
|  1440   |  2560   |   225   |
|   720   |  1280   |   204   |
| ~~240~~ | ~~240~~ | ~~105~~ |
|  1080   |  2220   |   76    |
|  1125   |  2436   |   72    |
|  1080   |  2339   |   69    |
|   540   |   960   |   59    |
|  1080   |  2280   |   57    |

- 审查结果

通过图片审查以及分类，将最终图片结果分为以下各类。**（注：本处统计结果不代表最终活动评奖结果。**

|   类别   | 说明                                                         |
| :------: | ------------------------------------------------------------ |
| 合格图片 | 使用手机截图功能对朋友圈进行截图，并可能加入文字推荐或纯图片上传的图片。 |
| 违规图片 | 违反活动规则的图片，如：微信非朋友圈（编辑页面、我的相册等）截图、微信朋友圈无法进行身份识别的图片、上传到其他平台的截图、原始图片二次上传、无关图片 |

![score.png](https://blog.rhilip.info/usr/uploads/2018/07/702323002.png)

Next
page 1 of 4

R酱小窝

通过编辑修改torrent文件来辅种

使用Vultr的Snapshots API完成自动备份(Python版)

爬取备份“忧郁的弟弟”站点Galgame

蒲公英（NPUBits）站点 Banner分析

某站5.20开放注册活动结果分析

Rhilip

Just So So ...