標籤:

第十三章 Python: xml轉json

1,引言

GooSeeker早在9年前就開始了Semantic Web領域的產品化,MS謀數台和DS打數機是其中兩個產品。對web內容做結構化轉換和語義處理的主要路線是 XML -> RDF -> Ontology Engineering。所以這兩款產品的輸出信息是XML格式的,實現第一步:結構化轉換。單純作為一個網頁採集器來說,輸出XML格式也有好處,這是一種標準格式,後續的數據處理可以很容易地接入,任意發揮。

在web集成和網站前端領域,json越來越普遍,在Scrapy架構中,Scrapy dict數據結構本質上就是json,所以,由XML格式轉換成JSON格式很有必要。

無論哪種編程語言,XML轉Json都有很多現成的程序包,但是,就像前面說的,GooSeeker定義的XML格式主要用來做實體建模,有自己規定的一套語義結構描述標準。所以,不能直接使用現成的轉換程序,或者需要在現成的轉換程序上做些修改。

本文是一個實驗過程,並沒有考慮GooSeeker要求的語義結構,只是驗證一下XML到Json的轉換。

2,實驗用的XML文件

我們使用《python爬蟲實戰(2):爬取京東商品列表》一文的結果文件,python爬蟲爬取的結果保存在 京東手機列表_1.xml 文件中。內容如下圖所示

下面針對這個結果文件先做個xml轉json的測試,為提取器gsExtractor添加輸出Json文件的功能做技術準備。

3,測試過程

  • 測試使用的模塊:xml.parsers.expat, json
  • 測試輸入: 以python爬蟲實戰(2):爬取京東商品列表一文的xml結果文件 京東手機列表_1.xml 作為輸入

代碼如下:

#! /usr/bin/env pythonn# -*- coding:utf-8 -*-n# xml 轉 jsonn# xml2json.pyn# Version 1.0nnfrom xml.parsers.expat import ParserCreatenimport jsonnnclass Xml2Json:n LIST_TAGS = [COMMANDS]n n def __init__(self, data = None):n self._parser = ParserCreate()n self._parser.StartElementHandler = self.startn self._parser.EndElementHandler = self.endn self._parser.CharacterDataHandler = self.datan self.result = Nonen if data:n self.feed(data)n self.close()n n def feed(self, data):n self._stack = []n self._data = n self._parser.Parse(data, 0)nn def close(self):n self._parser.Parse("", 1)n del self._parsernn def start(self, tag, attrs):n assert attrs == {}n assert self._data.strip() == n self._stack.append([tag])n self._data = nn def end(self, tag):n last_tag = self._stack.pop()n assert last_tag[0] == tagn if len(last_tag) == 1: #leafn data = self._datan else:n if tag not in Xml2Json.LIST_TAGS:n # build a dict, repeating pairs get pushed into listsn data = {}n for k, v in last_tag[1:]:n if k not in data:n data[k] = vn else:n el = data[k]n if type(el) is not list:n data[k] = [el, v]n else:n el.append(v)n else: #force into a listn data = [{k:v} for k, v in last_tag[1:]]n if self._stack:n self._stack[-1].append((tag, data))n else:n self.result = {tag:data}n self._data = nn def data(self, data):n self._data = datannif __name__ == __main__:n xml = open("京東手機列表_1.xml", r, encoding=UTF-8).read()n result = Xml2Json(xml).result;n outputfile = open("京東手機列表_1.json", w, encoding=UTF-8)n outputfile.write(str(result))n outputfile.close() n

  • 在控制台運行: $ python xml2json.py
  • 測試輸出:京東手機列表_1.json。運行後在當前文件夾下可以看到新生成的json文件

4,接下來的工作

  • 升級gsExtractor提取器類,加入新的方法,支持把提取結果從xml轉換為json格式
  • 轉換成的json結構必須符合GooSeeker要求的語義描述結構,為直接存入MongoDB做準備

5,相關文檔

1, Python即時網路爬蟲項目: 內容提取器的定義

2,Python爬蟲實戰(2):爬取京東商品列表

6,集搜客GooSeeker開源代碼下載源

1, GooSeeker開源Python網路爬蟲GitHub源

7,文檔修改歷史

2016-06-14:V1.0,首次發布

上一章 Python3下運行測試Scrapy <<<<<首頁>>>>> 下一章 下載內容提取器的API


推薦閱讀:

Flowpython針對lambda的一個修正
linux下pip模塊安裝路徑?
python下使用selenium怎麼才能控制瀏覽器載入某個元素?
python里函數作為返回值如何進行比較?
Python有哪些黑魔法?

TAG:XML | JSON | Python |