標籤:

Python元編程:控制你想控制的一切

很多人不理解「元編程」是個什麼東西,關於它也沒有一個十分準確的定義。這篇文章要說的是Python里的元編程,實際上也不一定就真的符合「元編程」的定義。只不過我無法找到一個更準確的名字來代表這篇文章的主題,所以就借了這麼一個名號。

副標題是控制你想控制的一切,實際上這篇文章講的都是一個東西,利用Python提供給我們的特性,儘可能的使代碼優雅簡潔。具體而言,通過編程的方法,在更高的抽象層次上對一種層次的抽象的特性進行修改。

首先說,Python中一切皆對象,老生常談。還有,Python提供了許多特殊方法、元類等等這樣的「元編程」機制。像給對象動態添加屬性方法之類的,在Python中根本談不上是「元編程」,但在某些靜態語言中卻是需要一定技巧的東西。我們來談些Python程序員也容易被搞糊塗的東西。

我們先來把對象分分層次,通常我們知道一個對象有它的類型,老早以前Python就將類型也實現為對象。這樣我們就有了實例對象和類對象。這是兩個層次。稍有基礎的讀者就會知道還有元類這個東西的存在,簡言之,元類就是「類」的「類」,也就是比類更高層次的東西。這又有了一個層次。還有嗎?

ImportTime vs RunTime

如果我們換個角度,不用非得和之前的三個層次使用同樣的標準。我們再來區分兩個東西:ImportTime和RunTime,它們之間也並非界限分明,顧名思義,就是兩個時刻,導入時和運行時。

當一個模塊被導入時,會發生什麼?在全局作用域的語句(非定義性語句)被執行。函數定義呢?一個函數對象被創建,但其中的代碼不會被執行。類定義呢?一個類對象被創建,類定義域的代碼被執行,類的方法中的代碼自然也不會被執行。

執行時呢?函數和方法中的代碼會被執行。當然你要先調用它們。

元類

所以我們可以說元類和類是屬於ImportTime的,import一個模塊之後,它們就會被創建。實例對象屬於RunTime,單import是不會創建實例對象的。不過話不能說的太絕對,因為如果你要是在模塊作用域實例化類,實例對象也是會被創建的。只不過我們通常把它們寫在函數裡面,所以這樣劃分。

如果你想控制產生的實例對象的特性該怎麼做?太簡單了,在類定義中重寫__init__方法。那麼我們要控制類的一些性質呢?有這種需求嗎?當然有!

經典的單例模式,大家都知道有很多種實現方式。要求就是,一個類只能有一個實例。

最簡單的實現方法是這樣的

class _Spam:n def __init__(self):n print("Spam!!!")nn_spam_singleton =Nonenndef Spam():n global _spam_singletonn if _spam_singleton is not None:n return _spam_singletonn else:n _spam_singleton = _Spam()n return _spam_singletonn

工廠模式,不太優雅。我們再來審視一下需求,要一個類只能有一個實例。我們在類中定義的方法都是實例對象的行為,那麼要想改變類的行為,就需要更高層次的東西。元類在這個時候登場在合適不過了。前面說過,元類是類的類。也就是說,元類的__init__方法就是類的初始化方法。 我們知道還有__call__這個東西,它能讓實例像函數那樣被調用,那麼元類的這個方法就是類在被實例化時調用的方法。

代碼就可以寫出來了:

class Singleton(type):n def __init__(self, *args, **kwargs):n self._instance = Nonen super().__init__(*args, **kwargs)nn def __call__(self, *args, **kwargs):n if self._instance is None:n self._instance = super().__call__(*args, **kwargs)n return self._instancen else:n return self._instancennnclass Spam(metaclass=Singleton):n def __init__(self):n print("Spam!!!")n

主要有兩個地方和一般的類定義不同,一是Singleton的基類是type,一是Spam定義的地方有一個metaclass=Singleton。type是什麼?它是object的子類,object是它的實例。也就是說,type是所有類的類,也就是最基本的元類,它規定了一些所有類在產生時需要的一些操作。所以我們的自定義元類需要子類化type。同時type也是一個對象,所以它又是object的子類。有點不太好理解,大概知道就可以了。

裝飾器

我們再來說說裝飾器。大多數人認為裝飾器是Python裡面最難理解的概念之一。其實它不過就是一個語法糖,理解了函數也是對象之後。就可以很輕易的寫出自己的裝飾器了。

from functools import wrapsnndef print_result(func):nn @wraps(func)n def wrappper(*args, **kwargs):n result = func(*args, **kwargs)n print(result)n return resultnn return wrapppernn@print_resultndef add(x, y):n return x + yn#相當於:n#add = print_result(add)nnadd(1, 3)n

這裡我們還用到了一個裝飾器@wraps,它是用來讓我們返回的內部函數wrapper和原來的函數擁有相同的函數簽名的,基本上我們在寫裝飾器時都要加上它。

我在注釋里寫了,@decorator這樣的形式等價於func=decorator(func),理解了這一點,我們就可以寫出更多種類的裝飾器。比如類裝飾器,以及將裝飾器寫成一個類。

def attr_upper(cls):n for attrname,value in cls.__dict__.items():n if isinstance(value,str):n if not value.startswith(__):n setattr(cls,attrname,bytes.decode(str.encode(value).upper()))n return cls nn@attr_uppernclass Person:n sex = mannnprint(Person.sex) # MANn

注意普通的裝飾器和類裝飾器實現的不同點。

對數據的抽象--描述符

如果我們想讓某一些類擁有某些相同的特性,或者說可以實現在類定義對其的控制,我們可以自定義一個元類,然後讓它成為這些類的元類。如果我們想讓某一些函數擁有某些相同的功能,又不想把代碼複製粘貼一遍,我們可以定義一個裝飾器。那麼,假如我們想讓實例的屬性擁有某些共同的特點呢?有人可能會說可以用property,當然可以。但是這些邏輯必須在每個類定義的時候都寫一遍。如果我們想讓這些類的實例的某些屬性都有相同的特點的話,就可以自定義一個描述符類。

關於描述符,這篇文章docs.python.org/3/howto講得很好,同時它還講解了描述符是怎麼隱藏在函數的背後,實現函數、方法的統一和不同的。這裡我們給出一些例子。

class TypedField:n def __init__(self, _type):n self._type = _typenn def __get__(self, instance, cls):n if instance is None:n return selfn else:n return getattr(instance, self.name)nn def __set_name__(self, cls, name):n self.name = namenn def __set__(self, instance, value):n if not isinstance(value, self._type):n raise TypeError(Expected + str(self._type))n instance.__dict__[self.name] = valuennclass Person:n age = TypedField(int)n name = TypedField(str)nn def __init__(self, age, name):n self.age = agen self.name = namennjack = Person(15, Jack)njack.age = 15 # 會報錯n

在這裡面有幾個角色,TypedField是一個描述符類,Person的屬性是描述符類的實例,看似描述符是作為Person,也就是類的屬性而不是實例屬性存在的。但實際上,一旦Person的實例訪問了同名的屬性,描述符就會起作用。需要注意的是,在Python3.5及之前的版本中,是沒有__set_name__這個特殊方法的,這意味著如果你想要知道在類定義中描述符被起了一個什麼樣的名字,是需要在描述符實例化時顯式傳遞給它的,也就是需要多一個參數。不過在Python3.6中,這個問題得到了解決,只需要在描述符類定義中重寫__set_name__這個方法就好了。還需要注意的是__get__的寫法,基本上對instance的判斷是必需的,不然會報錯。原因也不難理解,就不細說了。

控制子類的創建——代替元類的方法

在Python3.6中,我們可以通過實現__init_subclass__特殊方法,來自定義子類的創建,這樣我們就可以在某些情況下擺脫元類這個討厭的東西。

class PluginBase:n subclasses = []nn def __init_subclass__(cls, **kwargs):n super().__init_subclass__(**kwargs)n cls.subclasses.append(cls)nnclass Plugin1(PluginBase):n passnnclass Plugin2(PluginBase):n passn

小結

諸如元類等元編程對於大多數人來說有些晦澀難懂,大多數時候也無需用到它們。但是大多數框架背後的實現都使用到了這些技巧,這樣才能讓使用者寫出來的代碼簡潔易懂。如果你想更深入的了解這些技巧,可以參看一些書籍例如《Fluent Python》、《Python Cookbook》(這篇文章有的內容就是參考了它們),或者看官方文檔中的某些章節例如上文說的描述符HowTo,還有Data Model一節等等。或者直接看Python的源碼,包括用Python寫的以及CPython的源碼。

記住,只有在充分理解了它們之後再去使用,也不要是個地方就想著使用這些技巧。


推薦閱讀:

小心了!小白無法入門Python你不可避免的4個陷阱
梯度下降法快速教程 | 第一章:Python簡易實現以及對學習率的探討
Python基礎語法
python數據科學-多變數數據分析

TAG:Python | 元编程 |