向csv新增內容
最近因為工作的需要寫了要給爬蟲,爬了20000+ 的數據,後期的更新,主要是在原有的數據基礎上進行新增。文件是保存在csv中,後期的增加的數據需向csv中新增。
操作環境:py3+ubuntu+jupyter notebook
讀取csv習慣用pandas,操作依賴自帶包庫。
#導入包,寫一個文件import csvimport pandas as pd with open("test.csv", "a") as cw: writer = csv.writer(cw) writer.writerow(["1", "2", "3"]) for x in range(10): writer.writerow([x, chr(ord(a) + x), aaa])
寫入內容,這部分是直接寫入
row = [1, 1, 23]out = open("test.csv", "a", newline = "")csv_writer = csv.writer(out)csv_writer.writerow(row)
但是爬蟲需要向裡面新增內容,新增內容的本質就是兩步:1、判斷,2、不存在新增。
row1 = [0000, han, 23]if row1[0] not in data[c1]: print(row1[0]) out = open("csv_tutotial.csv", "a", newline = "") csv_writer = csv.writer(out) csv_writer.writerow(row) print(追加成功)else: print(已經存在了,無需添加)
需要,注意的問題,文本格式和數字格式需要區分,本次的我寫的爬蟲步涉及這個問題。
tips:小知識點就演示操作結果了。
推薦閱讀:
※基於Git的文件自動同步的思考和實現
※好像發現了一個不錯的小工具
※python高效編程實踐-如何在列表,字典,集合中根據條件篩選數據(1/50)
※跟黃哥學Python編程系列文章之插入排序
TAG:Python |