FreshGoGO项目（weee商品价格爬取比价）

字数统计: 472字   |   阅读时长≈ 2分

爬取接口

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
（接口每天有不固定的字符串,分页参数offset，一页60个商品）
11.11
https://www.sayweee.com/_next/data/fcwojh59O1goZRAobulju/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits&offset=0

https://www.sayweee.com/_next/data/fcwojh59O1goZRAobulju/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits&offset=60

https://www.sayweee.com/_next/data/fcwojh59O1goZRAobulju/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits&offset=120

11.12
https://www.sayweee.com/_next/data/4nVb3N1s41-wGr9JVcBuh/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits

11.16
https://www.sayweee.com/_next/data/hIDjEmTRbEZJ4HYuXm-iC/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits&offset=120

https://www.sayweee.com/_next/data/hIDjEmTRbEZJ4HYuXm-iC/zh/category/
meat.json?filter_sub_category=meat&category=meat

11.19
https://www.sayweee.com/_next/data/hvOWHXLqt44coc7AfeznH/zh/category/
fruits.json?filter_sub_category=fruits&category=fruits

python爬取思路

1
2
3
4
5
1.引入相对应的python库
2.设置header模拟浏览期请求
3.传入url并请求
3.获取文本，str转成json
4.将数据写入excel并导出

后裔采集器（抓取偏慢）

1
2
3
4
5
下载地址：
https://www.houyicaiji.com/
因多个邮编,多个分类
每个邮编下15个分类各一个脚本，同时执行爬取
爬取前需要输入邮编

后台比价模块设计：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
功能：
导入关联表
导入weee数据
导出weee数据（导出最新日期的单个id不同邮编的数据）
导出详细对应数据

数据表:
weee_total  weee商品数据（每隔一段时间将爬取数据导入表内）
fgg_weee    id对应关联表
regional_zipcode  大区邮编对应

后台数据展示：
条件有：分类，上传时间
两个平台基础信息 + 不同邮编下的价格 比价百分比计算（价格超高显示红色，价格低则显示绿色）
赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术