Python 中有哪些性能優化方法？

01-06

在拙著編寫高質量代碼：改善Python程序的91個建議 (豆瓣) 中，我們用了一章的篇幅來講這一方面的問題：

第8章　性能剖析與優化 227

建議79：了解代碼優化的基本原則 227

建議80：藉助性能優化工具 228

建議81：利用cProfile定位性能瓶頸 229

建議82：使用memory_profiler 和 objgraph 剖析內存使用 235

建議83：努力降低演算法複雜度 237

建議84：掌握循環優化的基本技巧 238

建議85：使用生成器提高效率 240

建議86：使用不同的數據結構優化性能 243

建議87：充分利用set的優勢 245

建議88：使用multiprocessing克服GIL的缺陷 248

建議89：使用線程池提高效率 254

建議90：使用C/C++模塊擴展提高性能 257

建議91：使用 Cython 編寫擴展模塊 259

希望能夠有點幫助。另外有一本專著好像不錯，但我沒有看過：High Performance Python - O"Reilly Media

所有的性能優化的前提是：確定瓶頸所在。

只有根據各種測試或者線上數據，確切的定位出瓶頸所在和清晰的分析出其原因，才能有針對性的設計優化方案。

在此之前，一切討論優化措施或者手段的，都是空談。

語言代碼的精簡與否關係到執行效率，作為程序猿就是希望如何優化代碼，精簡代碼。下面大聖眾包平台（http://www.dashengzb.cn）就為大家精選7條python代碼優化建議。

　　1、優化演算法時間

　　演算法的時間複雜度對程序的執行效率影響最大，在Python中可以通過選擇合適的數據結構來優化時間複雜度，如list和set查找某一個元素的時間複雜度分別是O(n)和O(1)。不同的場景有不同的優化方式，總得來說，一般有分治，分支界限，貪心，動態規劃等思想。

　　2、循環優化

　　每種編程語言都會強調需要優化循環。當使用Python的時候，你可以依靠大量的技巧使得循環運行得更快。然而，開發者經常漏掉的一個方法是：避免在一個循環中使用點操作。例如，考慮下面的代碼：

　　每一次你調用方法str.upper，Python都會求該方法的值。然而，如果你用一個變數代替求得的值，值就變成了已知的，Python就可以更快地執行任務。優化循環的關鍵，是要減少Python在循環內部執行的工作量，因為Python原生的解釋器在那種情況下，真的會減緩執行的速度。

　　（注意：優化循環的方法有很多，這只是其中的一個。例如，許多程序員都會說，列表推導是在循環中提高執行速度的最好方式。這裡的關鍵是，優化循環是程序取得更高的執行速度的更好方式之一。）

　　3、函數選擇

　　在循環的時候使用xrange而不是range；使用xrange可以節省大量的系統內存，因為xrange()在序列中每次調用只產生一個整數元素。而range()將直接返回完整的元素列表，用於循環時會有不必要的開銷。在python3中xrange不再存在，裡面range提供一個可以遍歷任意長度的範圍的iterator。

　　4、並行編程

　　因為GIL的存在，Python很難充分利用多核CPU的優勢。但是，可以通過內置的模塊multiprocessing實現下面幾種並行模式：

　　多進程：對於CPU密集型的程序，可以使用multiprocessing的Process,Pool等封裝好的類，通過多進程的方式實現並行計算。但是因為進程中的通信成本比較大，對於進程之間需要大量數據交互的程序效率未必有大的提高。

　　多線程：對於IO密集型的程序，multiprocessing.dummy模塊使用multiprocessing的介面封裝threading，使得多線程編程也變得非常輕鬆(比如可以使用Pool的map介面，簡潔高效)。

　　分散式：multiprocessing中的Managers類提供了可以在不同進程之共享數據的方式，可以在此基礎上開發出分散式的程序。

　　不同的業務場景可以選擇其中的一種或幾種的組合實現程序性能的優化。

　　5、使用性能分析工具

　　除了上面在ipython使用到的timeit模塊，還有cProfile。cProfile的使用方式也非常簡單：python-mcProfilefilename.py，filename.py是要運行程序的文件名，可以在標準輸出中看到每一個函數被調用的次數和運行的時間，從而找到程序的性能瓶頸，然後可以有針對性地優化。

　　6、set的用法

　　set的union，intersection，difference操作要比list的迭代要快。因此如果涉及到求list交集，並集或者差的問題可以轉換為set來操作。

　　7、終級武器：PyPy

　　PyPy是用RPython(CPython的子集)實現的Python，根據官網的基準測試數據，它比CPython實現的Python要快6倍以上。快的原因是使用了Just-in-Time(JIT)編譯器，即動態編譯器，與靜態編譯器(如gcc,javac等)不同，它是利用程序運行的過程的數據進行優化。由於歷史原因，目前pypy中還保留著GIL，不過正在進行的STM項目試圖將PyPy變成沒有GIL的Python。

　　如果python程序中含有C擴展(非cffi的方式)，JIT的優化效果會大打折扣，甚至比CPython慢（比Numpy）。所以在PyPy中最好用純Python或使用cffi擴展。

我的建議是真需要的時候改用c

推薦一個 Python: faster way