標籤：

Python中tuple+=賦值的四個問題

04-05

原文鏈接

最近偶爾翻看Fluent Python，遇到有意思的東西就記下來. 下面的是在PyCon2013上提出的一個關於tuple的Augmented Assignment也就是增量賦值的一個問題。 並且基於此問題, 又引申出3個變種問題.

問題

首先看第一個問題, 如下面的代碼段:

>>> t = (1,2, [30,40])
>>> t[2] += [50,60]

會產生什麼結果呢？ 給出了四個選項:

  1. t變成[1,2, [30,40,50,60]
  2. TypeError is raised with the message tuple object does not support item assignment
  3. Neither 1 nor 2
  4. Both 1 and 2

按照之前的理解,tuple裡面的元素是不能被修改的，因此會選2. 如果真是這樣的話，這篇筆記就沒必要了，Fluent Python中也就不會拿出一節來講了。 正確答案是4

>>> t = (1,2,[30,40])
>>> t[2] += [50,60]
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: tuple object does not support item assignment
>>> t
(1, 2, [30, 40, 50, 60])

問題來了，為什麼異常都出來了，t還是變了?
再看第二種情況，稍微變化一下,將+=變為=:

>>> t = (1,2, [30,40])
>>> t[2] = [50,60]

結果就成醬紫了:

>>> t = (1,2, [30,40])
>>> t[2] = [50,60]
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: tuple object does not support item assignment
>>> t
(1, 2, [30, 40])

再看第三種情況,只把+=換為extend或者append,:

>>> t = (1, 2, [30,40])
>>> t[2].extend([50,60])
>>> t
(1, 2, [30, 40, 50, 60])
>>> t[2].append(70)
>>> t
(1, 2, [30, 40, 50, 60, 70])

又正常了,沒拋出異常?

最後第四種情況, 用變數的形式:

>>> a = [30,40]
>>> t = (1, 2, a)
>>> a+=[50,60]
>>> a
[30, 40, 50, 60]
>>> t
(1, 2, [30, 40, 50, 60])
>>> t[2] += [70,80]
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: tuple object does not support item assignment
>>> t
(1, 2, [30, 40, 50, 60, 70, 80])

又是一種情況, 下面就探究一下其中的原因.

原因

首先需要重溫+=這個運算符,如a+=b:

  • 對於可變對象(mutable object)如list,+=操作的結果會直接在a對應的變數進行修改，而a對應的地址不變.
  • 對於不可變對象(imutable object)如tuple,+=則是等價於a = a+b會產生新的變數，然後綁定到a上而已.

如下代碼段, 可以看出來:

>>> a = [1,2,3]
>>> id(a)
53430752
>>> a+=[4,5]
>>> a
[1, 2, 3, 4, 5]
>>> id(a)
53430752 # 地址沒有變化
>>> b = (1,2,3)
>>> id(b)
49134888
>>> b += (4,5)
>>> b
(1, 2, 3, 4, 5)
>>> id(b)
48560912 # 地址變化了

此外還需要注意的是, python中的tuple作為不可變對象, 也就是我們平時說的元素不能改變, 實際上從報錯信息TypeError: tuple object does not support item assignment來看, 更準確的說法是指其中的元素不支持賦值操作=(assignment).

先看最簡單的第二種情況, 它的結果是符合我們的預期, 因為=產生了assign的操作.(在由一個例子到python的名字空間中指出了賦值操作=就是創建新的變數), 因此s[2]=[50,60]就會拋出異常.

再看第三種情況,包含extend/append的, 結果tuple中的列表值發生了變化,但是沒有異常拋出. 這個其實也相對容易理解. 因為我們知道tuple中存儲的其實是元素所對應的地址(id), 因此如果沒有賦值操作且tuple中的元素的id不變,即可,而list.extend/append只是修改了列表的元素,而列表本身id並沒有變化,看看下面的例子:

>>> a=(1,2,[30,40])
>>> id(a[2])
140628739513736
>>> a[2].extend([50,60])
>>> a
(1, 2, [30, 40, 50, 60])
>>> id(a[2])
140628739513736

目前解決了第二個和第三個問題, 先梳理一下, 其實就是兩點:

  • tuple內部的元素不支持賦值操作
  • 在第一條的基礎上, 如果元素的id沒有變化, 元素其實是可以改變的.

現在再來看最初的第一個問題:t[2] += [50,60]按照上面的結論, 不應該拋異常啊,因為在我們看來+=對於可變對象t[2]來說, 屬於in-place操作,也就是直接修改自身的內容,id並不變, 確認下id並沒有變化:

>>> a=(1,2,[30,40])
>>> id(a[2])
140628739587392
>>> a[2]+=[50,60]
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: tuple object does not support item assignment
>>> a
(1, 2, [30, 40, 50, 60])
>>> id(a[2]) # ID 並沒有發生改變
140628739587392

跟第三個問題僅僅從t[2].extend改成了t[2]+=, 就拋出異常了,所以問題應該是出在+=上了.
下面用dis模塊看看它倆執行的步驟:
對下面的代碼塊執行dis:

t = (1,2, [30,40])
t[2] += [50,60]
t[2].extend([70, 80])

執行python -m dis test.py,結果如下，下面只保留第2,3行代碼的執行過程，以及關鍵步驟的注釋如下:

2 21 LOAD_NAME 0 (t)
24 LOAD_CONST 1 (2)
27 DUP_TOPX 2
30 BINARY_SUBSCR
31 LOAD_CONST 4 (50)
34 LOAD_CONST 5 (60)
37 BUILD_LIST 2
40 INPLACE_ADD
41 ROT_THREE
42 STORE_SUBSCR

3 43 LOAD_NAME 0 (t)
46 LOAD_CONST 1 (2)
49 BINARY_SUBSCR
50 LOAD_ATTR 1 (extend)
53 LOAD_CONST 6 (70)
56 LOAD_CONST 7 (80)
59 BUILD_LIST 2
62 CALL_FUNCTION 1
65 POP_TOP
66 LOAD_CONST 8 (None)
69 RETURN_VALUE

解釋一下關鍵的語句:

  • 30 BINARY_SUBSCR: 表示將t[2]的值放在TOS(Top of Stack)，這裡是指[30, 40]這個列表
  • 40 INPLACE_ADD: 表示TOS += [50,60]執行這一步是可以成功的，修改了TOS的列表為[30,40,50,60]
  • 42 STORE_SUBSCR: 表示s[2] = TOS問題就出在這裡了，這裡產生了一個賦值操作，因此會拋異常！但是上述對列表的修改已經完成, 這也就解釋了開篇的第一個問題。

再看extend的過程，前面都一樣，只有這一行:

  • 62 CALL_FUNCTION: 這個直接調用內置extend函數完成了對原列表的修改，其中並沒有assign操作，因此可以正常執行。

現在逐漸清晰了， 換句話說，+=並不是原子操作，相當於下面的兩步:

t[2].extend([50,60])
t[2] = t[2]

第一步可以正確執行，但是第二步有了=，肯定會拋異常的。 同樣這也可以解釋在使用+=的時候，為何t[2]的id明明沒有變化，但是仍然拋出異常了。

現在用一句話總結下:

tuple中元素不支持assign操作，但是對於那些是可變對象的元素如列表，字典等，在沒有assign操作的基礎上，比如一些in-place操作，是可以修改內容的

可以用第四個問題來簡單驗證一下，使用一個指向[30,40]的名稱a來作為元素的值，然後對a做in-place的修改，其中並沒有涉及到對tuple的assign操作，那肯定是正常執行的。

總結

這個問題其實以前也就遇到過，但是沒想過具體的原理，後來翻書的時候又看到了， 於是花了點時間把這一個系列查了部分資料以及結合自己的理解都整理了出來, 算是飯後茶點吧, 不嚴謹的地方煩請指出.

部分參考如下:

  • python bugs
  • python faq
  • stackoverflow
  • Fluent Python

推薦閱讀：

TAG:Python | Tuple |