… 你不确定需要哪些文件，而且该网站本身（或者至少当我尝试的时候）是作为一些巨大的SQL脚本提供的，这些脚本有足够多的行数，以至于我尝试的SQL服务器都放弃了读取它们，需要另一个脚本来将它们拆分成块。然后当你终于有了数据库时，你并没有维基百科的本地副本。你缺少其他几个文件，例如分类信息是在单独的转储中。另外你需要维基软件来使用这个转储并托管网站。经过一个周末与SQL的折腾后，我在这里放弃了，直接curl了我感兴趣的200多页。我相当确定他们希望你“只是”下载数据库转储然后开始操作，但这个过程太麻烦了，我理解为什么有人会直接爬取它。
源讨论爬虫会影响维基媒体项目的运作原帖 66 条评论 · 导入时统计最愚蠢的是，所有维基媒体项目都已经提供了一个可以批量下载的转储文件：https://dumps.wikimedia.org/ 所以你不需要爬取这些网站来获取训练模型的内容......
完整原文把你的经验，加入这段讨论。
> 我去年尝试使用过其中一个数据集（想玩玩看，看看基于文本和页面之间的链接能做出什么可视化效果），但这个过程非常不直观。 最近，他们开始将数据上传到Kaggle，以一种更容易处理的格式。 https://enterprise.wikimedia.com/blog/kaggle-dataset/
完整原文他们需要做的是让“重大编辑”生成一个更新的静态渲染物理文件，就像旧的方法一样。然后可以将这些文件托管在某个地方，或者也以压缩格式存储。（例如：保留一年的压缩周快照？） 同时将bots.wikipedia.org的CNAME指向该网站。
完整原文我认为有一些为爬虫公司工作的工程师，他们获得的报酬足够高，可以找到方法来做到这一点，而不会损害目前仍在资本化的互联网上生存的最著名的非商业项目。
完整原文你有尝试过任何ZIM文件导出吗？ https://dumps.wikimedia.org/kiwix/zim/wikipedia/
完整原文是的，一开始导航有点令人困惑。幸运的是，它们提供了XML转储，处理起来并不太糟糕： 1. 前往 https://dumps.wikimedia.org/enwiki/latest/（或 /enwiki 中的任意日期） 2. 下载 https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-page... 和 https://dumps.wikimedia.org/enwiki/latest/enwiki-latest-page...。第一个文件是一个.bz2多流压缩的XML转储，包含所有英文维基百科的文本，而第二个文件是一个索引，可以更容易地找到特定文章。 3. 你可以选择以下任意一种方式： a. 解压第一个文件 b. 使用第二个文件在第一个文件中定位特定文章；它将页面标题 -> 该bz2流的相关文件偏移量进行映射 c. 使用流式解码器处理整个维基百科，而无需完全解压缩 4. 一旦你有了XML，获取实际文本并不太困难；你应该使用一个 stre…
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。