【转】转载一个1.4G多的小说包

一个技术宅练习爬虫的产物。。膜拜ing
共47,957本,1.4GB,约7亿字左右...

MEGA:
https://mega.nz/#!t7AglIqA!58R5gQAemJS65IHhfRuLezSkY4OmF_cbaECHnlS5o8o
BD:
链接：https://pan.baidu.com/s/1htWNrrm 密码：9rpu

目录:
链接：https://pan.baidu.com/s/1bpTZyRd 密码：seho

解压密码
猫与好天气

全部资源来源于:
http://18av.mm-cg.com/novel/index.htm

Q&A

Q:部分小说不全.
A:绝大多数是因为网站本身没有收录全的缘故,我也无能为力...

Q:部分小说没有换行
A:也是因为网站本身就这样的缘故,推荐使用带自动换行的APP阅读或者自行替换,例如可以在word内将。替换为^p

Q:这是哪个网站?
A:见购买框

Q:下载or解压失败.
A:文件已加恢复记录,请自行修复.

Q:是如何处理的?
A:用批处理批量将页面下载下来,然后用BeautifulSoup转换成txt,这是我写的烂代码,请使用python3.6以上的版本安装Beautifulsoup运行即可,运行前请用文本编辑器修改py文件内的html和输出路径

我去，这么多，7亿字简直了

我去，感谢lz

百度链接跪了

精尽人亡了，谢谢茄子

第二个失效了，是第二季吗

下了，但无法再线解压，需要下载

嗯……其实只抓一个固定网站的话是不是弄个js用ajax抓页面，再把特定内容写到本地文件更方便？毕竟js自带页面元素选择，不需要自己做正则匹配了吧。虽然js好像不支持多线程估计会爬得很慢就是了，还有ajax跨域要特殊处理下……

PS:第二个bd链接是压缩包里的目录，明文的，被和谐了。。
PS2:有解压密码：【猫与好天气】（不包括括号），一般不能在线解压吧。

一直想学爬虫，总是没执行力，用各种理由懒掉

厉害了。恰好我有注册过MEGA 希望更多人提供更多分享方式。以前好多百度贴吧里的分享都被吞了（链）。

大佬666，谢谢分享

百度云下载限速啊

目录备孕

厉害，谢谢大佬了

感谢分享

666666感谢分享

繁体字看得好费劲啊，请问有什么APP吗

我下载的怎么什么也没有

感谢大佬