PDFOperation

到位的一个同学的问题

在台湾某学术网站，下载中/英等学术性pdf，里面都是专业的中英文翻译。所以目的就是通过相关数据处理，提取所有pdf内容，对中英文文档进行对比。甚至可以通过机器学习，让机器更好的翻译，而不是人工对每篇文章都提供中英文文档。

解决问题：

• 1、部署爬虫，网站批量下载文档。
• 2、批量读取所有pdf文档，对文档每一句进行划分，随机提取100条句子。

使用：

java 代码实现

1、pdf文件读取（python包很不成熟，试过几个一些pdf会出现异常），
2、去除空格
3、去除中文字符

python 代码实现

分句
分词

• 1、clone代码
• 2、设置main.java中的项目目录，输出文件。
• 3、运行main代码即可。