學習筆記TF050:TensorFlow源代碼解析

TensorFlow目錄結構。

ACKNOWLEDGMENTS #TensorFlow版本聲明

ADOPTERS.md #使用TensorFlow的人員或組織列表

AUTHORS #TensorFlow作者的官方列表

BUILD

CONTRIBUTING.md #TensorFlow貢獻指導

ISSUE_TEMPLATE.md #提ISSUE的模板

LICENSE #版權許可

FOR SALE: README.md

RELEASE.md #每次發版的change log

WORKSPACE #配置移動端開發環境

bower.BUILD

configure

models.BUILD

tensorflow #主目錄

third_party #第三方庫，包括eigen3(特徵運算，SVD、LU分解等)、gpus(支持cuda)、hadoop、jpeg、llvm、py、sycl

tools #構建cuda支持

util

tensorflow目錄結構：

BUILD

__init__.py

c

cc #採用C++進行訓練的親樣例

compiler

contrib #將常用功能封裝在一起高級API

core #C++實現主要目錄

examples #各種示例

g3doc #針對C++、Python版本代碼文檔

go

java

opensource_only #聲明目錄

python #Python實現主要目錄

stream_executor #流處理

tensorboard #App、Web支持，以及腳本支持

tensorflow.bzl

tf_exported_symbols.lds

tf_version_script.lds

tools #工具雜項

user_ops

workspace.bzl

contirb目錄。保存常用功能封裝高級API。不是官方支持。高級API完善後被官方遷移到核心TensorFlow目錄或去掉。部分包(package)在https://github.com/tensorflow/models 有更完整實現。

framework:很多函數在這裡定義(get_varibles、get_global_step)，一些廢棄或不推薦(deprecated)函數。

layers:initializers.py，變數初始化函數。layers.py，層操作和權重偏置變數函數。optimizers.py，損失函數和global_step張量優化器操作。regularizers.py，帶權重正則化函數。summaries.py，摘要操作添加到tf.GraphKeys.SUMMARIES集合中的函數。

learn:使用TensorFlow進行深度學習高級API，訓練模型、評估模型、讀取批處理數據、隊列功能API封裝。

rnn:額外RNN Cell，對RNN隱藏層改進，LSTMBlockCell、GRUBlockCell、FusedRNNCell、GridLSTMCell、AttentionCellWrapper。

seq2seq:建立神經網路seq2seq層和損失函數操作。

slim:TensorFlow-Slim(TF-Slim)，定義、訓練、評估TensorFlow複雜模型輕量級庫。TF-Slim與TensorFlow原生函數和tf.contrib其他包自由組合。TF-Slim已逐漸遷移到TensorFlow開源Models，裡面有廣泛使用卷積神經網路圖像分類模型代友，可以從頭訓練模型或預測訓練模型開始微調。

core目錄。C語言文件，TensorFlow原始實現。

BUILD

common_runtime #公共運行庫

debug

ditributed_runtime #分散式執行模塊，含有grpc session、grpc worker、grpc master

example

framework #基礎功能模塊

graph

kernels #核心操作在CPU、CUDA內核實現

lib #公共基礎庫

ops

platform #操作系統實現相關文件

protobuf #.proto文件，用於傳輸時結構序列化

public #API頭文件目錄

user_ops

util

Protocol Buffers，谷歌公司創建的數據序列化(serialization)工具，結構化數據序列化，數據存儲或RPC數據交換格式。定義協議緩衝區，生成.pb.h和.http://pb.cc文件。定義get、set、序列化、反序列化函數。TensorFlow核心proto文件graph_def.proto、node_def.proto、op_def.proto保存在framework目錄。構圖時先構建graph_def，存儲下來，在實際計算時再轉成圖、節點、操作內存對象。

tensorflow-1.1.0/tensorflow/core/framework/node_def.proto，定義proto文件。node_def.proto定義指定設備(device)操作(op)、操作屬性(attr)。

framework 目錄還有node_def_builder.h、http://node_def_builder.cc、node_def_util.h、http://node_def_util_test.cc。在C++里操作node_def.proto的protobuf結構。

examples目錄，深度學習例子，MNIST、Word2vec、Deepdream、Iris、HDF5。TensorFlow在Android系統上的移動端實現。擴展.ipynb文檔教程，jupyter打開。

g3doc。存放Markdown維護的TensorFlow文檔，離線手冊。g3doc/api_docs目錄內容從代碼注釋生成，不應該直接編輯。腳本tools/docs/gen_docs.sh生成API文檔。無參數調用，只重新生成Python API文檔，操作文檔，包括Python、C++定義。傳遞-a，運行腳本重新生成C++ API文檔，需要完裝doxygen。必須從tools/docs目錄調用。

python目錄。激活函數、卷積函數、池化函數、損失函數、優化方法。

tensorboad目錄。實現TensorFlow圖表可視化工具代碼，代碼基於Tornado實現網頁端可視化。Tornado Web Server - Tornado 4.5.1 documentation 。

TensorFlow源代碼學習方法。

1)了解自己研究的基本領域，圖像分類、物體檢測、語音識別，了解領域所用技術，卷積神經網路(convolutional neural network,CNN)、循環神經網路(recurrent neural network,RNN)，知道實現基本原理。

2)運行GitHub對應基本模型，目錄結構：

AUTHORS

CONTRIBTING.md

LICENSE

FOR SALE: README.md

WORKSPACE

autoencoder

compression

differential_privacy

im2txt

inception

lm_1b

namignizer

neural_gpu

neural_programmer

next_frame_prdiction

resnet

slim

street

swivel

syntaxnet

textsum

transformer

tutorials

video_prediction

計算機視覺，compression(圖像壓縮)、im2txt(圖像描述)、inception(對ImageNet數據集用Inception V3架構訓練評估)、resnet(殘差網路)、slim(圖像分類)、street(路標識別或驗證碼識別)。

自然語言處理，lm_1b(語言模型)、namignizer(起名字)、swivel(Swivel演算法轉換詞向量)、syntaxnet(分詞和語法分析)、textsum(文本摘要)、tutorials目錄word2vec(詞轉換向量)。

教科書式代碼，看懂學懂有助今後自己實現模型。運行模型，調試、調參。完整讀完MNIST或CIFAR10整個項目邏輯，就掌握TensorFlow項目架構。

slim目錄。TF-Slim圖像分類庫。定義、訓練、評估複雜模型輕量級高級API。訓練、評估lenet、alexnet、vgg、inception_v1、inception_v2、inception_v3、inception_v4、resnet_v1、resnet_v2，模型位於slim/nets:

alexnet.py

alexnet_test.py

cifarnet.py

inception.py

inception_resnet_v2.py

inception_resnet_v2_test.py

inception_utils.py

inception_v1.py

inception_v1_test.py

inception_v2.py

inception_v2_test.py

inception_v3.py

inception_v3_test.py

inception_v4.py

inception_v4_test.py

lenet.py

nets_factory.py

nets_factory_test.py

overfeat.py

overfeat_test.py

resnet_utils.py

resnet_v1.py

resnet_v1_test.py

resnet_v2.py

resnet_v3_test.py

vgg.py

vgg_test.py

TF-Slim包含腳本從頭訓練模型或從預先訓練網路開始訓練模型並微調，slim/scripts:

finetune_inception_v1_on_flowers.sh

finetune_inception_v3_on_flowers.sh

train_cifarnet_on_cifar10.sh

train_lenet_on_mnist.sh

TF-Slim包含下載標準圖像數集，轉換TensorFlow支持TFRecords格式腳本，slim/datasets:

cifar10.py

dataset_factory.py

dataset_utils.py

download_and_convert_cifar10.py

download_and_convert_flowers.py

download_and_convert_mnist.py

flowers.py

imagenet.py

mnist.py

3)結合要做的項目，找到相關論文，自己用TensorFlow實現論文內容。質的飛躍。

參考資料：

《TensorFlow技術解析與實戰》

歡迎付費諮詢(150元每小時)，我的微信：qingxingfengzi