Python什麼情況下會生成pyc文件?

我用ide寫小項目的時候,目錄下生成了pyc文件,我覺得這種文件就像java class文件。但我現在寫一個py文件,直接命令行執行 python x.py,並沒有產生pyc文件。請問這是為什麼,python什麼時候才生成pyc文件?


  • A program doesn"t run any faster when it is read from a 『.pyc』 or 『.pyo』 file than when it is read from a 『.py』 file; the only thing that"s faster about 『.pyc』 or 『.pyo』files is the speed with which they are loaded.
  • When a script is run by giving its name on the command line, the bytecode for the script is never written to a 『.pyc』 or 『.pyo』 file. Thus, the startup time of a script may be reduced by moving most of its code to a module and having a small bootstrap script that imports that module. It is also possible to name a 『.pyc』 or 『.pyo』file directly on the command line.

在你 import 別的 py 文件時,那個 py 文件會被存一份 pyc 加速下次裝載。而主文件因為只需要裝載一次就沒有存 pyc,你可以寫兩個 a.py 和 b.py,一個 import 另一個試試看。


作為Python愛好者,需要了解.py腳本的基本運行機制特性

在很多工作上Python的運行流程基本上取決於用戶,因此源碼不需要編譯成二進位代碼(否則無法實現大部分貼近用戶的特性),而直接從源碼運行程序。當我們運行python文件程序的時候,Python解釋器將源碼轉換為位元組碼,然後再由解釋器來執行這些位元組碼。因此總的來說,它具有以下三條特性

  1. 源碼距離底層更遠(根據官方文檔的解釋。不說,你們也感覺得到)(。?`ω′?)
  2. 運行時都需要生成位元組碼,交由虛擬機執行。(你們問我虛擬機在哪兒?!你們也不看看各自都是用什麼軟體執行的!沒錯,就是解釋器,別和我說是IDLE啊。虛擬機具體實現了由switch-case語句構成的框架函數PyEval_EvalFrameEx,剛剛說的位元組碼就是這貨執行的)
  3. 每次執行腳本,虛擬機總要多出載入和鏈接的流程。(所以呢,相比於編譯型語言就有點慢了。這與「有絲分裂間期」一樣,準備東西也要花時間啊!)

那麼,有人要問了:「不是說,運行時總要生成位元組碼么!那,位元組碼都去哪兒了?」

咳咳,別急!容我先說說,虛擬機它是怎麼執行腳本的(咕嚕咕嚕喝杯水...):

  1. 完成模塊的載入和鏈接;
  2. 將源代碼翻譯為PyCodeObject對象(這貨就是位元組碼),並將其寫入內存當中(方便CPU讀取,起到加速程序運行的作用);
  3. 從上述內存空間中讀取指令並執行;
  4. 程序結束後,根據命令行調用情況(即運行程序的方式)決定是否將PyCodeObject寫回硬碟當中(也就是直接複製到.pyc或.pyo文件中);
  5. 之後若再次執行該腳本,則先檢查本地是否有上述位元組碼文件。有則執行,否則重複上述步驟。

你看!在我們點擊(或輸入命令)運行腳本,並悠閑地喝咖啡時,「人家」虛擬機做了這麼多的事情。不過,你有沒有發現.pyc或.pyo文件是否生成,是取決於我們如何運行程序的(雖然我們不知道要怎麼做(? ??_??)? )。

同樣,有人會吐槽:「哼!為什麼不直接生成這些文件,這樣來得不是『更快、更高、更強』!」

其實,虛擬機也是講究效率的。畢竟對於比較大的項目,要將PyCodeObject寫回硬碟也是不可避免地要花些時間的,而且它又不知道你是不是也就只執行一次,之後就對剛剛跑完的腳本「棄之不顧」了呢。不過,它其實也有貼心的一面。比如,

  • 若你在命令行直接輸入「python path/to/projectDir」(假設projectDir目錄含有「__main__.py」文件,以及其他將要調用的模塊),那麼程序運行結束後便自動為當前目錄下所有的腳本生成位元組碼文件,並保存於本地新文件夾__pycache__當中。(這也有可能是IDE寫小項目時自動生成.pyc文件的原因,不過問題描述略微曖昧。詳情參見上面知乎問題板塊)

或者是,在命令行輸入「python path/to/projectDir/__main__.py」,則生成除__main__.py外腳本的位元組碼文件。不過總的來說,上述這兩種行為都大大縮短了項目運行前的準備時間(畢竟分工明確的程序,規模應該不會太小,復用率也不會太低。除非吃飽了撐著,搞出這麼多事情(Θ皿Θメ))

  • 模塊在每次導入前總會檢查其位元組碼文件的修改時間是否與自身的一致。若是則直接從該位元組碼文件讀取內容,否則源模塊重新導入,並在最後生成同名文件覆蓋當前已有的位元組碼,從而完成內容的更新(詳見import.py)。這樣,就避免了修改源代碼後與本地位元組碼文件產生衝突(當然,設計者也不會這麼傻。╮( ̄▽ ̄")╭)。

若想優化生成位元組碼,應注意這兩點:

  • .pyc文件是由.py文件經過編譯後生成的位元組碼文件,其載入速度相對於之前的.py文件有所提高,而且還可以實現源碼隱藏,以及一定程度上的反編譯。比如,Python3.3編譯生成的.pyc文件,Python3.4就別想著去運行啦!→_→
  • .pyo文件也是優化(注意這兩個字,便於後續的理解)編譯後的程序(相比於.pyc文件更小),也可以提高載入速度。但對於嵌入式系統,它可將所需模塊編譯成.pyo文件以減少容量

但總的來說,作用上是幾乎與原來的.py腳本沒有區別的,也就是「然並卵 」(當然,並非毫無作用。比如,我個人覺得用處最大的地方就是防止別人偷看我的代碼。_(:з」∠)_畢竟.py源文件是直接以源碼的形式呈現給大家的)。╮(╯▽╰)╭ 呃...這麼說,好像又有點自相矛盾的趕腳。

在所有的Python選項中:

  • -O,表示優化生成.pyo位元組碼(這裡又有「優化」兩個字,得注意啦!)
  • -OO,表示進一步移除-O選項生成的位元組碼文件中的文檔字元串(這是在作用效果上解釋的,而不是說從-O選項得到的文件去除)
  • -m,表示導入並運行指定的模塊

對此,我們可以使用如下格式運行.py文件來生成.pyc文件(以下調用均假設/path/to目錄含有.py腳本):

python -m py_compile /path/to/需要生成.pyc的腳本.py #若批量處理.py文件
#則替換為/path/to/{需要生成.pyc的腳本1,腳本2,...}.py
#或者/path/to/

其效果等效於如下代碼:

import py_compile
py_compile.compile(r"/path/to/需要生成.pyc的腳本.py") #同樣也可以是包含.py文件的目錄路徑
#此處儘可能使用raw字元串,從而避免轉義的麻煩。比如,這裡不加「r」的話,你就得對斜杠進行轉義

py_compile是Python的自帶模塊,這裡面就兩個函數(看到這個,我笑了(??? ? ???)噗噗

)。其下的py_compile.compile(file[, cfile[, dfile[, doraise]]])可將.py文件編譯生成.pyc文件(默認),對應的參數解釋如下

  1. file,表示需要生成.pyc或.pyo文件的源腳本名(字元串);
  2. cfile,表示需要生成.pyc或.pyo文件的目標腳本名。呃...好像沒有區別(>﹏<) ,也就是源腳本-----[巴拉拉賜予你力量!編譯!]( * ̄▽ ̄)o ─═≡※:☆-----&>目標腳本。當然,它默認是以.pyc為擴展名的路徑名的字元串(呼...好長)。此外,當且僅當所使用的解釋器允許編譯成.pyo文件,才能以「.pyo」結尾。這也就是我上面為什麼會在函數功能解釋上加上「(默認)」這兩個字的原因。
  3. dfile,表示編譯出錯時,將報錯信息中的名字「file」替換為「dfile」
  4. doraise設置是否忽略異常。若為True,則拋出PyCompileError異常;否則直接將錯誤信息寫入sys.stderr(什麼!不知道sys.stderr?!溫馨提示:sys.stderr是Python自帶的標準錯誤輸出

(╯" - ")╯︵ ┻━┻ (掀桌子) ┬─┬ ノ( " - "ノ) (擺好擺好) (╯°Д°)╯︵ ┻━┻(再TA喵掀一次)

另外,生成.pyo文件的格式調用如下:

python -O -m py_compile /path/to/需要生成.pyo的腳本.py

那麼,有人要問了:為什麼不是像生成.pyc文件那樣採用「python -O /path/to/需要生成.pyo的腳本.py」形式的調用?

「忘記」說明這一點了,很多博客以及書籍都像我上面那樣解釋「-O」選項的作用,但詳細來解釋的話是

-O選項,將.pyc文件優化(注意我一直強調的「優化」二字,這裡就用到啦!)為.pyo文件,而不是將.py文件優化編譯為.pyo文件。(其直接的結果是優化編譯後的文件略微小於.pyc文件,也就是「減肥」了。現在,大家知道.pyo文件為什麼小的原因了吧!)

注意:

以上無論是生成.pyc還是.pyo文件,都將在當前腳本的目錄下生成一個含有位元組碼的文件夾__pycache__

可能還有人會問,.pyd文件又是什麼鬼(>﹏<)?!(問題真多,精分ing...)

別在意,那只是Python的動態鏈接庫。如果要深究,還得扯上C++的知識(長篇大論的,會被噴的啊)。

再啰嗦一句:生成位元組碼的方法多了去了,不止以上這幾種。比如,你們不妨試試將上面命令行調用中的「py_compile」改成「compileall」,而代碼行中的「py_compile.compile」改成「compileall.compile_file」或「compileall.compile_dir」,又或者直接使用帶有編譯功能的IDE生成位元組碼。

再再啰嗦一句:知道Python運行機制,並不是我們一般人所必須的(吃瓜群眾:「滾!我剛好不容易看完了,你才說?!」)。但是,了解其加速程序運行以及優化代碼的設計思想,對於我們在日後構造緩存系統、如何減少不必要的運行時間,以及同步更新工作內容等問題上起到很大的借鑒作用。

若想要了解更多的內容,可以去翻翻官方文檔和其他博客:

  • https://docs.python.org/3.5/using/cmdline.html?highlight=#command-line-and-environment
  • https://docs.python.org/3.5/library/py_compile.html?highlight=.pyc#module-py_compile
  • https://docs.python.org/3.5/c-api/code.html?highlight=pycodeobject#code-objects

  • http://nedbatchelder.com/blog/200804/the_structure_of_pyc_files.html

  • http://www.tuicool.com/articles/Q7Rj6rr

  • http://developer.51cto.com/art/201002/184914.htm

貼心提示:以上顏文字以及搞怪語氣,主要是為了能夠提高各位的閱讀興趣。如有不當的地方,懇請各位能夠悉心指出。


Linux下還需要注意許可權。必要時需要使用對應賬戶或者root運行一次,才會生產。否則還是py。


如果 Python 進程在機器上擁有寫入許可權,那麼它將把程序的位元組碼保存為一個以 .pyc 為擴展名的文件( ".pyc" 就是編譯過的 ".py" 源代碼)。當程序運行之後,你會在那些源代碼的附近(也就是說同一個目錄下)看到這些文件

Python這樣保存位元組碼是作為一種啟動速度的優化。下一次運行程序時,如果你在上次保存位元組碼之後沒有修改過源代碼的話,Python將會載入.pyc文件並跳過編譯這個步驟。當Python必須重編譯時,它會自動檢查源文件和位元組碼文件的時間戳:如果你又保存了源代碼,下次程序運行時,位元組碼將自動重新創建。

來自《python學習手冊》


可以自己手動編譯:

import compileall
compileall.compile_dir(目錄)


推薦閱讀:

如何看待NOI奧賽編程題目只著重於演算法而不讓學生養成良好的編程習慣?
微軟開源Windows驅動程序框架和MSBuild源代碼會有什麼影響?
Linux下調用pthread庫創建的線程是屬於用戶級線程還是內核級線程?求大神指教?
怎麼寫規範、風格良好的代碼?
數學一般的人適合學習編程嗎?

TAG:Python | 編程 | 計算機科學 |