[Python入門] 05 元組與資料庫

「本系列所有代碼均可在原貼中運行,戳 這裡 前往原貼。」

01. 元組

元組(tuple)是另一種Python中常用的數據類型,他跟列表非常相似,都可以包含若干元素,並且元素的調用都是通過方括弧[]+索引的形式。

主要區別在於:

  • 元組用括弧()定義,列表用方括弧[]定義
  • 元組不可更改
  • 即使只有一個元素,也需要有逗號,如(item1, )。如果缺了這個逗號,得到的仍是元素本身,而不是元組。

元組只能在定義時賦值,如果強行更改會得到解釋器的錯誤提示。

有的函數返回值並非一個數值或字元,而是具有多重輸出,這時就以元組格式存在。比如下例返回的是兩個輸入參數的和與乘積,可以點擊運行查看,兩個輸出在()中。(點這裡,去原貼運行程序)

02. 資料庫

在之前的幾篇教程中,我們已經接觸過了一些數據集,既有在程序中生成的,也有存儲在文本文件中的。對於體積較大的數據集,一般都存在文件中,程序運行時再讀入內存。

但是文件存儲數據(.txt或.csv)還面臨很大的問題,一是當數據量比計算機內存還要大的時候,會帶來沉重的計算負擔甚至無法運行;二是數據有可能高頻變化,比如電商在雙11高峰期每秒就有幾萬次交易,普通的文件格式顯然無法處理。

於是資料庫(database)應運而生。資料庫首先是結構化(structured)存儲數據的方式,為了更加靈活的處理數據,程序不再一次性將所有數據讀入內存,而是根據具體需要進行查詢(query),獲得相應的數據集。完成這些工作的程序語言叫作SQL(Structured Query Language),在計算機方面稍有常識的朋友想必都對這個縮寫不會陌生。

著名的關係型資料庫管理系統有MySQL, Oracle等。

真正的MySQL

03. SQLite

SQL是專為查詢、操作資料庫所用的語言,所以不像Python, JavaScript等語言那樣功能豐富,擴展多樣。

一個資料庫由若干個表(table)組成,就像每個Excel文件里有多個Sheets。每個表又包含行(row)列(column),這就比較好理解了。一代表一個樣本,而多定義了各個維度上的屬性。

SQLite是一種輕型的資料庫管理系統,佔用資源極低且處理速度快,目前更新到了3版本。Python有專門處理SQLite語句的庫sqlite3。

以下我們將以一份NBA的歷史賽程數據為例,來了解SQL的基本法則與應用方法。(數據來源:FiveThirtyEight)

04. 查詢

與資料庫進行通信的最基本形式是查詢(query),即返回符合條件的數據子集,其基本關鍵字是SELECT,SELECT後面跟所選列的表頭。前面提到過一個資料庫里可能存在多個表,所以查詢語句必須指定來源表,關鍵字是FROM。

注意SQL是要求句末有分號(;)的,這與Python的習慣大為不同,可能會喚起一度為C++支配的恐懼。

NBA資料庫里只含一張表,名為sheet,假設我們想要查詢sheet表中的team_id列,那麼對應的SQL是:

如果資料庫非常龐大,那麼即使哪怕僅僅查詢某些列,也是不小的計算量,這裡可以引入新的關鍵字LIMIT,之後接想要查詢的行數。比如只想要前5行的team_id列,那麼SQL為:

下例將通過Python調用SQLite,查詢 elo_n 和 win_equiv 兩列的前5行:

可見,查詢語句返回的是以元組(tuple)為元素的列表(list)。上例的輸出即是5個(elo_n, win_equiv)組成的列表,應為:

05. SQLite with Python

在04節最後的例子中,除了SQL語句,還有很多Python命令,這些是Python調用SQLite的語句。

連接對象

首先是建立與資料庫的聯繫,sqlite3.connect()將返回Connection實例對象,然後存為conn變數,此時的conn對應的是整個資料庫。

王莽的游標

游標對象

Connection對象的.cursor()可以創建游標對象(cursor object)。游標對象可以對資料庫執行SQL語句並進行更靈活的數據操作。

query是純SQL語句,通過cur.execute()實際執行,此時資料庫查詢的結果仍在cur對象中。最後調用cur.fetchall()將查詢結果全部返回,並存至變數elos,就是最終得到的元組列表。

如果只想返回一條查詢結果,可以使用cur.fetchone()。

關於Python與SQLite3的聯合應用,以後還會深入講解,本篇仍將重點回歸到SQL語句上。

06. Where

僅僅從資料庫的某個表中查詢某一列的前若干行,這樣的操作局限性太大,很難滿足應用需求。實際上我們感興趣的數據子集並非總是按照順序排列,而是符合某種限制條件。

為了進一步縮減精確查詢範圍,可以使用關鍵字WHERE。比如我們想要查詢NBA歷史上,賽後elo值elo_n高於1850的強隊ID,其SQL語句是:

查詢結果表明,歷史上唯一一支elo值曾經突破1850的隊伍是1996年總決賽時期的芝加哥公牛。

下面請查詢elo_n低於1100的弱隊ID,及其對應比賽日期。sqlite3庫以及連接對象、游標對象已經預定義,可以從定義SQL查詢語句query開始。

查詢篩選結果顯示,歷史上一度衰到1100以下的弱旅,也只有1968年一支名為"Squires"的隊伍。

Virginia Squires

他們這麼弱,我認為與名字起的不好是分不開的。"Squire"在英文中是「侍從」的意思,在《爐石傳說》中,就有很多僕從名為"Squire",比如11聖盾小兵:

銀色侍從

今天的授業就到這裡,我們下期再續!

拓展閱讀:

用科學的力量讓你瞎眼——OpenAI的Dota2AI天下無敵?!

以彼之道,還施彼身——使用機器學習來揪出作弊的玩家

他這個Z炮是怎麼壓到我的?——OpenAI解釋Dota2AI的實現過程

官方微博:@景略集智

微信公眾號:jizhi-im

集智QQ群:557373801

商務合作:chenyang@jizhi.im

投稿轉載:kexiyang@jizhi.im

推薦閱讀:

今年最後一次發車!
別忙著準備期末,這裡有塊1070ti等你拿
怎樣用深度學習發現一首歌屬於哪個流派?
《天才槍手》要失業?AI讓作弊更容易!

TAG:数据库 | 景略集智 | SQL |