crawl-bilibili

crawl_bilibili

bilibili 爬虫，不需要实时数据,设置一分钟爬 6 次。一个月大概爬 25 万用户。由于时间跨度大，设置断点续爬功能。主要涉及：

用户公开数据（用户/性别/地区/注册时间/）

视频数据（）

弹幕数据（）

评论数据（）

付费数据（）

使用

启动数据库，这里启动一个 mysql 容器就好了。

docker volume create --name datadir
docker run --name my-mysql -v datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -p 3306:3306 -d daocloud.io/mysql:5.7.4

• 抓取用户

  cd crawl_bilibili
  python user/get_user.py
  python user/get_face.py
  

• 抓取视频

  python video/get_video.py
  

• 抓取视频弹幕

  python barrage/get_barrage.py
  

• 数据分析

更新历史

20190907 新增腾讯视频《都挺好》1-30集弹幕下载。