編程大佬不會寫tokenizer是不是一件很值得驕傲的事情？

02-23

我java工作5年了不知道

tokenizer是什麼鬼

計算機科班的基本都寫過，後來轉行的基本都沒寫過。

會寫其實平常真的也沒什麼用，我本科編譯原理寫個LR(1)也就花了普通作業的時間，這也不是什麼屠龍之技。

沒寫過一般不影響一個程序員的水平。

但是沒寫過不是什麼光榮的事

非科班，寫過SQL解析。沒看過編譯原理。

tokenizer很難寫嗎？(是真的不知道，不是反問)

有幾種情況：

我會寫，但我沒真正寫過
我不會寫，但是我花點時間想一想一定能寫出來
我不會寫，你會寫就 nb 了？

python cookbook不是一章就是寫個tokenizer的

面向工資，面向JD編程不好嗎？

打打嘴仗是不是能賺錢？

實際工程中會碰到比tokenize難得多的東西。這種看看書一個禮拜就寫好的東西，根本沒難度。

具體技術問題有論文有演算法的都很簡單。難的項目根本不知道如何分解成具體技術問題，然後交給一幫寫tokenize水平的人去做。

所以我一直認為王垠很菜，他老闆很牛，因為他老闆把問題分解到王垠能理解而且能完成的粒度，反過來卻不行。

值得驕傲的事有很多，不過1k粉絲絕對不是。

一肚子話，但是不想說，就說三個字：路轉黑！

編譯原理前端也好意思說，flex+bison不比你手寫的好？有能耐去搞優化

不是。人們可能會因為沒說過髒話，沒作過弊，來表現自己的自控能力。但卻不會因為沒做過一件本來具生產力的事而自豪的。

他文中的意思也清楚: 他自己的環境只能寫玩具，沒有感到他說沒用。

&> 眾所周知，parser，tokenizer這種東西不過是屠龍技。

我是剛剛才知。

酸，真酸。

沒事整天瞎比比，瞎內耗。

請管好自己的玻璃心。

有哪個人擅長所有的IT學科知識？從基礎到最新前沿技術，誰敢說有？

看不習慣別人是大V但是竟然寫出這樣的代碼來？內心不平衡？他本人有說自己是掌握了Python核心科技圈的大佬嗎？不要見風就是雨

此外，知乎大V說的你全信？我也要呵呵。

此事怕還真是變成了，如何才能成為知乎大V，是不是有人一臉憤懣憑啥我技術這麼吊卻不是大V？

說到底，光逼逼沒用，請拿出拿得出手的東西，不卑不亢，不裝不吹，適當幽默的說話，想成為大V會寫代碼就完了？那你一輩子都別指望了

這就是科班的好處之一吧，聽到parser,tokenizer等名詞會覺得很平常，不會上跳下竄的。

it行業有很多半路出家的parser從來沒寫過，語法樹什麼的都沒聽說過，可能會覺得是屠龍記，很正常

你會寫tokenizer，那你負責寫tokenizer的tests么？

這種東西不被重複發明是有道理的，為啥一般人都用parser generator也是避免少趟坑，你以為搞定了其實根本沒搞定呢。

會不會寫tokenizer確實沒什麼大不了，你寫的tokenizer，給你公司省錢了？有多少人用上了？有什麼價值？

cs本科編譯原理大作業，屠啥龍。。。

恕我直言。。。整個編譯器前端都算不上屠龍術。。前端弄出花來也就是個字元串解析。。別說用工具 yacc bison antlr，就是純手寫也沒有任何難度。都已經是業界穩定成熟了幾十年的領域了。

人家確實不會，就說了不會！還要怎樣？那按照你的意思，應該怎麼謙虛低調實誠的表達？難道回復的時候還得照顧下你這[種]人。那你說一個：即要承認事實，又不能說的太傲嬌？

總感覺沒有問題

tokenizer？

人家寫 Web 的，面向高級。

然後呢，帶帶新手（萌新的）總歸是好的不可能讓人家那些寫 tokenizer 的大大去帶吧？

其次呢，帶著帶著，難免會有點裝逼傾向，這也人之常情，畢竟在萌新面前確實很牛逼啊。

最後出版書，估計也有出版社慫恿啥的，么問題啊，版稅有啥不好的。都要養家糊口。。

那麼問題來了，

既然都不敢亮身份，那我也匿了。我覺得這種事情沒什麼好管的。能幹活產生效益的程序員才是有價值的。

很正常嘛，這位專欄「大佬」追求坐井殺雞，確實用不著屠龍術啊，也許抬頭看龍的時間都沒有呢

利益聲明：Web開發者，寫過幾個解釋器，看過hy的實現。

做Web開發的不會編譯原理也不是什麼大事，沒必要大驚小怪。聞道有先後術業有專攻。

我感覺技術佈道圈子總有一些誤區，就是如果你不能做到毫無缺陷就不配分享。如果佈道者分享的內容有錯誤或者有帶錯路的嫌疑，這個肯定得用力懟，但是咬文嚼字，攻訐對方，這風氣有點壞。

諸位懟某位董姓豆瓣工程師可能是因為最近他的曝光頻率有點高，然後突然發現其實他似乎有點盛名之下其實難副。至於其他可能的動機，根據羅伯特議事規則我就不揣度了。

董姓工程師也說了，有比寫tokenizer更高優先順序的事情要做，不妨可以分享出來以正視聽。如果確實是對Web開發者更優先的事情，那我覺得也無可厚非。

以我個人的經驗來看，編譯原理對Web開發有用，但這個作用更多的是一種潛移默化潤物無聲的，沒有一個立竿見影的效果。不過出於個人興趣，我還是很喜歡安利這些知識的。

總結：對於此次事件，我反感某些人懟董姓工程師的可能的動機，對董姓工程師持中立態度。最後，浪費三十分鐘寫這個答案，感覺有點虧，滾回去看書寫代碼了。

窩也不會，但這並不妨礙我年薪百萬呀。

另外為啥我只有這個小號收到了要實名綁定手機號的私信？？

既然要綁定手機號，那我也就只好跟各位說拜拜了。有緣再見吧。

1. 人家沒有驕傲；

2. 文章明顯說的是自以為寫了這就很厲害的；

3. 前面有個答案連「%進行字元串格式化」都能黑，寫C的人是不是要拉出去槍斃啦？

4. 哪位去認真看了第三個視頻的，哪位又去了解過那位講解人背景的？

5. 演示性的代碼說人家不try except真的大丈夫？

6. 陰陽怪氣很厲害么？這算提問的正確姿勢？

其實不會就不會吧，承認就行了，為啥不能好好說，

非要強行給找理由，什麼不需要，用不到啥的，還要反諷一波

做人還是謙虛點比較好哦