小伙伴，我又来了，这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上，地图工具我用的是 BDP个人版-免费在线数据分析软件，数据可视化软件 ，这个可以导入csv或者excel数据。

创新互联公司是专业的松原网站建设公司，松原接单;提供成都网站设计、成都网站制作、外贸网站建设,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行松原网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

• 首先还是分析思路，爬取网站数据，获取小区名称，地址，价格，经纬度，保存在excel里。再把excel数据上传到BDP网站，生成地图报表

本次我使用的是scrapy框架，可能有点大材小用了，主要是刚学完用这个练练手，再写代码前我还是建议大家先分析网站，分析好数据，再去动手写代码，因为好的分析可以事半功倍，乌鲁木齐楼盘,2017乌鲁木齐新楼盘,乌鲁木齐楼盘信息 - 乌鲁木齐吉屋网 这个网站的数据比较全，每一页获取房产的LIST信息，并且翻页，点进去是详情页，获取房产的详细信息(包含名称，地址，房价，经纬度)，再用pipelines保存item到excel里，最后在bdp生成地图报表，废话不多说上代码：

JiwuspiderSpider.py

 
 
 
 

  
  
  
  
# -*- coding: utf-8 -*- 
  
  
  
  
from scrapy import Spider,Request 
  
  
  
  
import re 
  
  
  
  
from jiwu.items import JiwuItem 
  
  
  
  
 
  
  
  
  
 
  
  
  
  
class JiwuspiderSpider(Spider): 
  
  
  
  
    name = "jiwuspider" 
  
  
  
  
    allowed_domains = ["wlmq.jiwu.com"] 
  
  
  
  
    start_urls = ['http://wlmq.jiwu.com/loupan'] 
  
  
  
  
 
  
  
  
  
    def parse(self, response): 
  
  
  
  
        """ 
  
  
  
  
        解析每一页房屋的list 
  
  
  
  
        :param response:  
  
  
  
  
        :return:  
  
  
  
  
        """ 
  
  
  
  
        for url in response.xpath('//a[@class="index_scale"]/@href').extract(): 
  
  
  
  
            yield Request(url,self.parse_html)  # 取list集合中的url  调用详情解析方法 
  
  
  
  
 
  
  
  
  
        # 如果下一页属性还存在，则把下一页的url获取出来 
  
  
  
  
        nextpage = response.xpath('//a[@class="tg-rownum-next index-icon"]/@href').extract_first() 
  
  
  
  
        #判断是否为空 
  
  
  
  
        if nextpage: 
  
  
  
  
            yield Request(nextpage,self.parse)  #回调自己继续解析 
  
  
  
  
 
  
  
  
  
 
  
  
  
  
 
  
  
  
  
    def parse_html(self,response): 
  
  
  
  
        """ 
  
  
  
  
        解析每一个房产信息的详情页面，生成item 
  
  
  
  
        :param response:  
  
  
  
  
        :return:  
  
  
  
  
        """ 
  
  
  
  
        pattern = re.compile('.*?lng = \'(.*?)\';.*?lat = \'(.*?)\';.*?bname = \'(.*?)\';.*?' 
  
  
  
  
                             'address = \'(.*?)\';.*?price = \'(.*?)\';',re.S) 
  
  
  
  
        item = JiwuItem() 
  
  
  
  
        results = re.findall(pattern,response.text) 
  
  
  
  
        for result in results: 
  
  
  
  
            item['name'] = result[2] 
  
  
  
  
            item['address'] = result[3] 
  
  
  
  
            # 对价格判断只取数字，如果为空就设置为0 
  
  
  
  
            pricestr =result[4] 
  
  
  
  
            pattern2 = re.compile('(\d+)') 
  
  
  
  
            s = re.findall(pattern2,pricestr) 
  
  
  
  
            if len(s) == 0: 
  
  
  
  
                item['price'] = 0 
  
  
  
  
            else:item['price'] = s[0] 
  
  
  
  
            item['lng'] = result[0] 
  
  
  
  
            item['lat'] = result[1] 
  
  
  
  
        yield item 
 
 
 
 

item.py

 
 
 
 

  
  
  
  
# -*- coding: utf-8 -*- 
  
  
  
  
 
  
  
  
  
# Define here the models for your scraped items 
  
  
  
  
# 
  
  
  
  
# See documentation in: 
  
  
  
  
# http://doc.scrapy.org/en/latest/topics/items.html 
  
  
  
  
 
  
  
  
  
import scrapy 
  
  
  
  
 
  
  
  
  
 
  
  
  
  
class JiwuItem(scrapy.Item): 
  
  
  
  
    # define the fields for your item here like: 
  
  
  
  
    name = scrapy.Field() 
  
  
  
  
    price =scrapy.Field() 
  
  
  
  
    address =scrapy.Field() 
  
  
  
  
    lng = scrapy.Field() 
  
  
  
  
    lat = scrapy.Field() 
  
  
  
  
 
  
  
  
  
    pass 
 
 
 
 

pipelines.py 注意此处是吧mongodb的保存方法注释了，可以自选选择保存方式

 
 
 
 

  
  
  
  
# -*- coding: utf-8 -*- 
  
  
  
  
 
  
  
  
  
# Define your item pipelines here 
  
  
  
  
# 
  
  
  
  
# Don't forget to add your pipeline to the ITEM_PIPELINES setting 
  
  
  
  
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html 
  
  
  
  
import pymongo 
  
  
  
  
from scrapy.conf import settings 
  
  
  
  
from openpyxl import workbook 
  
  
  
  
 
  
  
  
  
class JiwuPipeline(object): 
  
  
  
  
    wb = workbook.Workbook() 
  
  
  
  
    ws = wb.active 
  
  
  
  
    ws.append(['小区名称', '地址', '价格', '经度', '纬度']) 
  
  
  
  
    def __init__(self): 
  
  
  
  
        # 获取数据库连接信息 
  
  
  
  
        host = settings['MONGODB_URL'] 
  
  
  
  
        port = settings['MONGODB_PORT'] 
  
  
  
  
        dbname = settings['MONGODB_DBNAME'] 
  
  
  
  
        client = pymongo.MongoClient(host=host, port=port) 
  
  
  
  
 
  
  
  
  
        # 定义数据库 
  
  
  
  
        db = client[dbname] 
  
  
  
  
        self.table = db[settings['MONGODB_TABLE']] 
  
  
  
  
 
  
  
  
  
    def process_item(self, item, spider): 
  
  
  
  
        jiwu = dict(item) 
  
  
  
  
        #self.table.insert(jiwu) 
  
  
  
  
        line = [item['name'], item['address'], str(item['price']), item['lng'], item['lat']] 
  
  
  
  
        self.ws.append(line) 
  
  
  
  
        self.wb.save('jiwu.xlsx') 
  
  
  
  
 
  
  
  
  
        return item 
 
 
 
 

最后报表的数据

mongodb数据库

地图报表效果图：https://me.bdp.cn/share/index.html?shareId=sdo_b697418ff7dc4f928bb25e3ac1d52348

网页题目：Python爬取房产数据，在地图上展现！
标题来源：http://jxjierui.cn/article/cdjosee.html