AI領域的灌水之風如何破局？

隨著人工智慧的新一輪浪潮，各大頂級會議人滿為患，IJCAI、AAAI之類的綜合性大雜燴每年發表600+論文，審稿質量奇差難忍，甚至打招呼橫行；ACL、CVPR、ICCV幾個子領域會議發表文章也在300-600篇，審稿質量也有下滑趨勢；只有ICML、NIPS、KDD的發表規模和審稿質量控制得還可以。

在AI領域工作的科研人員面臨著論文通貨膨脹的巨大壓力，一篇ICML、NIPS的工作量是IJCAI、AAAI的數倍，但在各種評價中作用一樣，CCF的這個指揮棒導致一些課題組寧願一年發表近10篇IJCAI、AAAI而不願意衝擊一篇ICML、NIPS。

長此以往就會論文越來越多，而中國的AI水平在國際上不升反降，畢竟國際同行恐怕不會認為ML、CV、NLP影響力最大的一批論文來自IJCAI、AAAI。或者，CCF（中國計算機學會）的指揮棒應該改一改了？

你知道做學術圈其實跟金融圈有類似之處嘛，這個是需要底層勞動力的，底層的勞動力決定上層發展。

最底層灌水表面上看沒什麼用，發一堆垃圾論文，但其實這些垃圾論文是引用之前的論文的，發論文的人在想，「哈哈哈，我就隨便改改別人的模型就能發了，好高興！」，從此帶動了第二層的發展。

第二層的人看見自己的工作被引用了自己的模型被改進了，好開心，心想「哈哈哈，我也就是把別人的模型和我的一些insight結合了一下就能獲得引用，好開心。」，他們又帶動了第三層的發展。

第三層的人看見自己的工作不僅被廣泛引用還有相當的insight在裡面，開心得不行，心想「哈哈哈，我就知道跟著業界大佬走准沒錯！」，他們帶動了頂層的發展。

最頂層的人根本不在乎自己的工作是否被引用，心想「看來這個坑差不多了啊，是不是得再挖一個」。

從此學術界繁榮昌盛，直到某一天，大佬說，媽蛋，之前這個tm的搞錯了啊，從此大佬不再是大佬，是個sha X, 因為他這一番話將要斷掉下面人的活路。但是大佬的話應驗了，從此泡沫破滅，大廈倒塌，人們四處逃散。

大佬挖坑，韭菜進場，先進的成為老手，然後是老鳥，然後是菜鳥，最後是還沒進的！

用量化分析的職業道路來一一對應

韭菜砸錢進局&<---&>菜逼研究生找灌水之法；

機構菜逼研究員&<---&>高階研究生知如何灌水

機構基金經理&<---&>Assitant Professor可以挖小坑自己灌自己的

普通基金董事長&<---&>普通Associate或者full professor可以小打小鬧

頂級基金董事長&<---&>領域大牛決定下一個坑在何處

所以說如何破局？

既然你覺得水，你不妨先水十幾篇看看。

相信你水了十幾篇之後無論如何都能有些insight，然後你再考慮如何進一步水一些高級的可能有高影響力的。

然後在拿了tenure之後，有了穩定的基礎之後再憋大招即可！

如果你只是一個菜逼研究生，一篇論文還沒發，你給我說這些會都在灌水，你不屑於發，你想憋大招，發大新聞。

你省省吧，先照照鏡子，然後好自為之！

多年前，IJCAI曾是人工智慧界最美麗的女神，當年中國被女神看上的人鳳毛麟角，若被女神邀請去喝一杯咖啡，那是至高榮譽。

時至今日，女神已有歲月痕迹，年輕的新貴們，哪怕被女神邀請共進晚餐也談不上是太激動人心的事情。

但這並不會抹去，曾經仰慕女神的CCF大叔，初見女神時，那砰砰亂跳年輕的心。

我之前是做AI+Game Theory的，也算是在AI圈子裡混過一段時間，知道一點情況。

我覺得好的工作分兩種，要麼你專註application，setting貼合實際，解決實際問題，那我可以不care你的理論分析; 要麼你就專註理論，有好的理論貢獻。

但我看了這麼多AAAI, IJCAI論文，我的感覺是大多數論文既不貼合實際，也沒啥理論貢獻，方法都是用別人的稍微改一改。好多論文都是作者已經有一套解決此類問題的辦法了，然後去找具體應用場景，找到一個場景就可以水一篇論文。很多做偏應用的人，發在IJCAI AAAI上的文章完全是矯揉造作，無病呻吟，本來這個問題在實際中就不重要，或者不存在，偏要捏造出這麼個問題，還要在introduction裡面可勁argue，真的是看得我尷尬症都犯了。

我也是對這個圈子的這種整體文化不太喜歡，好像不是為了解決真的問題而做科研，發論文，而是為了發論文而發論文。我覺得做科研本來就是一件辛苦且報酬相對低的事情，如果不能做真正重要的研究，不能做自己真正感興趣的研究，為啥不去公司賺錢呢？

這問題跟地圖炮有啥區別？！

使勁兒投 AAAI IJCAI還不是因為CCF評級？我一個搞NLP的，A類裡面別說NAACL了，EMNLP都不在A類。本來做的就是偏應用的NLP領域，ACL不一定能中，不挖空心思投這兩個會，評級咋辦？

不去噴CCF，反而噴在高校混口飯吃的並且努力發國際會議的老師？還噴「中國的AI水平在國際上不升反降」？中國老師既得擴大國際影響力、又需要在國內這個評級制度下多賺點兒名分，然後還被人說？！送你陳老師的一句話：「EVERYONE NEED TO MAKE A LIVING」

科研工作者，如果是終身教職，最高興的應該是實驗驗證了自己的猜想。至於投什麼會議、中不中，是錦上添花的事情。我們評價一個教授，其實並不應該只看在什麼會議上發表了多少論文、引用量怎麼樣，今天看CCF、明天看 h-index？！。何況一個老師對學生好不好、教授培養了多少人才，更是難以量化的。牛人不在乎CCF；不牛的人又不給人家自由，只能夾縫中求生存了。

從Kuhn的科學哲學角度說，科學的發展不是簡單的知識積累，而是一個接一個的revolution，一個接一個paradigm構成的。說白了，就是牛人挖坑為主要貢獻，灌水填坑為歷史過渡。做研究之人，如果不能為推進這些revolution或者paradigm shift做出自己的獨立思考，起碼要尊重他人發表的工作，不能因為現在會議小學生審稿人太多就放低了對自己的要求。在學術圈，一個人科研做的質量好壞在同行心中自有高低，這不是由發了多少篇頂級文章或者有多少引用來決定的。

其實AI圈內人對各個會議的特點是很清楚的，大家都心照不宣。從研究者角度來看，內心肯定更願意將論文投到最合適的會議，讓自己得意的研究獲得小同行更為專業的認可。比如演化計算、知識表示、邏輯推理等傳統AI的論文，投IJCAI、AAAI確實是可以代表該領域的最高水平的，這是一種良性的發展狀態。而如果是做機器學習、計算機視覺的工作，大量投到IJCAI、AAAI上，大同行評審缺乏領域足夠的專業性，稿件多隨機性大，不免渾水摸魚，恐怕不是一種良性的發展趨勢。

雖然沒有去統計數據，但直觀上感受，CCF列表出來之前，AI七個A類會議（包括一些很好的B類）發表的文章是更為均衡的，較好的反映了國內各個子領域研究力量的分布情況；CCF列表出來之後，投稿變得嚴重偏斜了，現在經常看到一個機器學習組全年不發表ICML、NIPS，一個計算機視覺組全年不發表CVPR、ICCV的情況，甚至乾脆懶得投稿，滿足於在IJCAI、AAAI上發表小10篇論文。這種態勢發展下去，是不是就會出現發表IJCAI、AAAI的，學生獎學金拿到手軟，教師順利評到職稱，還能在同行評議中對發表ICML、NIPS的給出「大同行意見」，甚至很多AI以外的方向認為IJCAI、AAAI好水，紛紛前來投稿，不免讓人擔憂。

AI七個A類會議每年發表約3500篇論文（可能是計算機學科其他方向的A類論文之和！），其中IJCAI、AAAI約有20%的論文來自中國，而ICML、NIPS則只有約3%，這和國內的機器學習、計算機視覺等研究力量的真實分布可能差異很大。Anyway，拋開所有利益相關的因素，僅從國內AI的整體發展來說，圈內人可以感受下。

NIPS結果剛出來了, 2017 AI CCF-A論文稱埃落定, 7大會議錄用情況

CCF-A #Ps #Subs Rate

AAAI-2017 638 2590 24.63%

IJCAI-2017 660 2540 25.98%

ACL-2017 344 1419 24.24%

CVPR-2017 783 2620 29.88%

ICCV-2017 621 2143 28.98%

ICML-2017 433 1701 25.46%

NIPS-2017 678 3240 20.93%

TOTAL 4157!

這一年四位數的「頂會」論文，真的能配得上「頂」嗎？？

國內有多少？

只看到AAAI-17有給出這個數據

發表／投稿：大陸=180/790左右（美國=190/780左右）

估計7個會下來怎麼也有個大幾百？

從投稿，發表，錄用率 AI的CCF-A會議相比其他領域（軟工／網路／資料庫／體系結構／系統軟體）都算是巨無霸級別了

一直以來都有存在跨領域的爭論，主要也就是關於「體量」問題，現在已經發展到大AI領域的內部了

其實單領域內的比較，數數論文數也就算了，但國內最可怕的是跨領域的數論文數 . . .

這幾年小到學生評獎、評優秀畢業論文，大到各種帽子四青的評選，AI領域的都佔到了巨大的比例，

CCF—A篇數作為主要量化指標實際上起到了決定性作用 現在大AI領域內也開始「細分」蛋糕了

個人覺得可能問題並不在AI會論文多少，做的人也確實多，體量確實應該符合領域需要和特點

問題是出在了國內的評價體系上，而這個評價體系又和太多的東西聯繫在一起變的太重要了

最後就直接翻過來驅使這個老師和學生去扭曲的追求CCF-A類論文的數量最大化

其實有的評論批評一些國外大學的華人教授在圈子裡吃相太差，打招呼成風，很多也是撈資本過幾年回來帶高帽子

在國外研究界和產業界，每年發特別多的沒影響力的論文有時沒啥「大用」 ，reputation這東西其實越往上越重要

國內也應該學學，至少在一些重要的指標上應該至少不要搞直接看數量這種笑話

可惜這指標正好是外行評內行、跨領域評的時候專家最喜歡和最保險的指標，估計要改難

中了NIPS的paper一定就好？記得很多年前曾聽人抱怨過NIPS的方差有些大：某創會大神的徒子徒孫們比小白容易中得多，後來長期觀察發現這個說法似乎有一點道理。今年還聽說了一些關於某宇宙名校的NIPS spotlight論文是如何被水出來的故事，以及涉及到的實驗是怎麼沒有可重複性。

其實再牛逼的專家也一定難以在比如30分鐘里（通常是因為好的會議投稿多，但靠譜的審稿人少）100%準確的鑒定出一篇論文的好壞。甚至相關問題經驗少點的連對方工作是不是瞎編的估計都看不出來。於是現在ICLR這樣的open review很盛行，大家都可以來審稿、提供意見，可問題是難道大眾就不會受到作者名聲等等的影響而帶有偏見么？真理面前也能是人人等值的一人一票么？

其實IEEE對待盛會的態度有一定價值：會議接受率相對高（&>30%），但是還是可以在小誤傷率的情況下幹掉絕大多數渣文，同時又可以讓大家都來開會，皆大歡喜。可是論文接受率高了魚目混珠的多怎麼辦？靠讀者們自己自己甄別唄！好的工作持之以恆一次不行兩次總會被大家注意到的；而一個人常常灌水，次數多了口碑自然就完蛋了。但提高會議接受率最直接的受害人其實是認真做工作寫文章的人：除非工作被廣泛接受變得很流行，否則很難通過某個單一指標來簡單判定工作的質量。不過另一個角度想，同樣兩個永遠不流行的工作，水平高低其實也沒有什麼意義。有人說可以用論文引用率做指標，可大佬們的論文通常比小白的有更好的可見度；另外現在流行做通用測試集，以使得不同論文的結果可比。結果出現很多論文被高引用並不是因為它們深刻的影響了其他人的工作或者提出的演算法被工業界廣泛採用，而僅僅是因為結果與其他人的結果『看起來可比』……之所以說是『看起來可比』，是因為現在的統計機器學習實驗，尤其是現在deep learning的實驗，把論文里通常永遠不寫的某個優化參數稍微調一下（比如正則化）很多時候結果就會變很大；另外模型的參數數目、甚至數據集的預處理等等對不同作者經常也很難完全一致，難以做到單一變數，從而導致這些看起來可比的結果其實沒有什麼可比性……

所以，最公平的方式可能還是徹底取消CCF這種用會議分級，甚至是論文引用等指標評定科研結果的方式。除了個別網紅演算法，大多數科研成果產生價值往往是一個比較長期的過程，可以適當的引入一些長期的評價標準，比如5年後科研成果產生的經濟效益、科研人員被所在社群認可的情況等等（比如業內聲望、擔任的行業職務等等）。也許有人說這個又關係到一個人是不是夠social等等非科學的因素，不過如果一個人對社群的管理髮展貢獻大，也就促進了行業發展，被重視也有合理性。

最後同意好的工作一般應該發到自己領域內最權威的會議去。大家都喜歡吹噓會議的接受率，甚至靠接受率浮動個百分之幾來判斷一些相關領域的水平。這樣很大程度上就是在扯淡：假如一個領域內最好的會議（頂級會議）接受率比較高，一定能說這個領域就比頂會論文接受率低的領域水平差么？一個頂會，甚至它背後的社群能站得住腳自然是有每年大量優秀的工作支持的。而至於會議的接受率么，經常跟社群的文化和管理方式等等有關。舉個例子，比如NLP里前5名的會議論文接受率都在30%以下，可是這依然難以改變2~5名會議裡面的絕大多數論文都是排第一的ACL挑剩下的，這些論文難道就能比接受率更高的頂會的優秀論文好么？另外會議接受的論文多了、甚至接受率升高，跟會議水平變化沒什麼關係。通常只有一個會議投稿數增加、優秀論文的比例上升才會有論文數增加的情況。論文變多、 來開會的人變多，說明社群發展欣欣向榮，會議的board可能早就高興的眉開眼笑。

確實也存在 @劉知遠 老師提到的跨領域論文不容易被（在實驗細節等方面）挑剔審查的情況。個人感覺投跨領域的會議被關注的往往是idea本身而非實驗細節，這也非常合理。有很多例子可以證明這樣確實有助於一些（可能開始時候有問題的）潛力股的發展。比如現在大行其道的深度學習，至少在這波火起來之前，不少重要工作在實驗的專業性、效果、甚至可重複性和嚴謹程度上很難跟他們當時用來做實驗的視覺、NLP、語音等領域的專業工作比（一些圈子裡大概還流行著關於某些大佬的上千次引用的論文實驗無法重複等等）。如果不是像NIPS這樣更廣領域的會議存在，這些工作肯定早早的就完蛋了。所以無論deep learning多火，覆蓋面更大的IJCAI和AAAI永遠有它的重要性和必要性。

說到底，科研是個良心活。不是要『對得起別人』，而是要『對得起自己』。能想著在頂會水論文的都是聰明人，做什麼都能生活。科研的投資回報曲線長、回報率低，並不是最有效率的目標。如果每天只想著灌水刷指標，那真不如把這份熱情投入到創業等等對社會和對自己都更有意義的事情上去。如果大家都能這麼想，那灌水之風自然煙消雲散。

為什麼一定要糾結投什麼會議？為什麼一定要「破局」？

研究單位應當有兩個基本功能：治學和育人。以國內多數單位對學生缺乏耐心的訓練和培養方式來看，國內要想出突破性工作本來就很難。極個別真正有點追求的導師也不會在意CCF列表，所以根本沒必要糾結「CCF指揮棒」。絕大多數國內單位目前僅存的價值就只是給相關人才需求越來越大的市場提供有一定能力的畢業生。如果大家都不灌水了，如何讓學生在研究過程中得到具體的鍛煉、同時有若干能寫在簡歷上、證明自己確實略懂相關技術的發表記錄？

針對有些質疑說幾句，純屬個人看法。

IJCAI、AAAI之類的綜合性大雜燴每年發表600+論文，審稿質量奇差難忍，甚至打招呼橫行；ACL、CVPR、ICCV幾個子領域會議發表文章也在300-600篇，審稿質量也有下滑趨勢；只有ICML、NIPS、KDD的發表規模和審稿質量控制得還可以。

我剛查了下NIPS 2010年錄用論文292篇，NIPS 2015 403篇，NIPS 2016 569篇；ICML 2016 322篇。且不說IJCAI/AAAI涵蓋領域比ML大很多（包括知識、規劃等很多領域），單看論文規模，NIPS/ICML論文數量一點也不小，漲幅一點也不慢。憑什麼靠論文數量就認定其他會議灌水成風呢？某老師也在微博上分享過AAAI 2016論文作者統計，第一是美國，第二是中國。照這麼說美國的AI水平更是「在國際上不升反降」？還是有人潛意識裡就認為，只要是國人中的多的學術會議就Low，就是灌水，就是通貨膨脹？

個人一點都不否認現在AI很熱，不否認有灌水現象，不否認IJCAI、AAAI審稿意見有太多不靠譜，更不否認有些成果是「追趕」而少「引領」。但我想說，這幾年國內學者在各大AI/NLP/CV學術會議上的崛起，絕不是用灌水等負面字眼所能抹殺的。回想2006年我剛讀博士生的時候，國內中1篇頂會就能上校系新聞，很多學生還要巴巴地去MSRA等機構深造一下才能發出頂會論文。短短的10年後，國內能夠在頂會上持續發表論文的單位和學者已經遍地開花，學術氛圍空前濃厚。在這樣的氛圍下，相信大家自然會不斷提高研究品位和水平，催生「引領」式的成果。路是一步一步走的，飯是一口一口吃的，不應該因為吃到第六個饅頭吃飽了，就埋怨不該費神吃前面那五個。

在AI領域工作的科研人員面臨著論文通貨膨脹的巨大壓力，一篇ICML、NIPS的工作量是IJCAI、AAAI的數倍，但在各種評價中作用一樣，CCF的這個指揮棒導致一些課題組寧願一年發表近10篇IJCAI、AAAI而不願意衝擊一篇ICML、NIPS。

AI領域並非鐵板一塊，方向也有很多。術業有專攻，有的課題組研究方向就是NLP就是知識圖譜，之前的相關工作就是發在IJCAI、AAAI、ACL、EMNLP上，那麼他們為什麼要去投偏重機器學習方法和理論的ICML/NIPS？

像「一篇ICML、NIPS的工作量是IJCAI、AAAI的數倍」這樣的說法，還是請給出定量統計數據再做決斷的好。至少我知道的發表在IJCAI、AAAI上的Open Information Extraction，Explicit Semantic Analysis等一批有影響力的工作，工作量一點都不小。

即使是做ML，也不見得所有工作都該投ICML/NIPS。雖然IJCAI/AAAI由於規模太大，審稿人大都是大同行，審稿意見容易出現偏差；但這樣反而容易讓那些問題新穎、腦洞大開的論文得到錄用，不見得是件壞事。所以，我一直建議同學，如果做的是經典任務的改進模型，應該投ACL/EMNLP等小同行會議；如果做的是新問題新思路，倒是投IJCAI/AAAI更合適些。

長此以往就會論文越來越多，而中國的AI水平在國際上不升反降，畢竟國際同行恐怕不會認為ML、CV、NLP影響力最大的一批論文來自IJCAI、AAAI。或者，CCF的指揮棒應該改一改了？

為什麼有人會覺得10篇IJCAI、AAAI也不如1篇ICML、NIPS，呼籲CCF的指揮棒改一改？我反而覺得這些人的思想深處，才是對學術會議有根深蒂固的偏見。歸根結底，發表學術論文、參加學術會議無非是向學術界宣傳自己的學術成果，無非是在不同學術會議上宣傳的受眾不同而已。學術成果發表出來，是否經得起歷史考驗才是關鍵。論文發表在NIPS/ICML上，如果沒人看、沒人引、沒人用、沒有對該方向的實際推動，又有什麼意義；論文發表在AAAI/IJCAI上，如果有人看、有人引、有人用，那也是影響力的體現。

CCF期刊會議列表只是個門檻，學術會議也只是個門檻，上不封頂。學者的聲譽，是靠研究成果自身是否過硬來獲取的，是靠持續推動某個方向發展來獲取的，是靠為學術界/產業界培養人才來獲取的，而不是僅僅靠發表了幾篇A幾篇B而已。動不動就拿調整CCF列表說事兒，反而說明沒有看到問題的本質。問題不在研究人員自身，而在制定研究人員評價標準的人身上。

總之，在發展中遇到的問題，應當在發展中解決，也會在發展中解決，關鍵是看發展趨勢對不對、好不好。我覺得現在發展趨勢挺好的，所謂「破局」之問，會在大家普遍能發表頂會論文之後迎刃而解。

能投中NIPS或者ICML的還在乎CCF的要求？？

講道理的話，nips最近幾年有不少論文也蠻水的。我記得之前還有不少人痛批nips審稿人各種翻車吧

ai目前應用這麼廣，方向又極多，細分到小領域裡，很多方向想投頂會也不見得是件簡單的事。

真要批評，還不如去看看期刊那邊，國內唯trans論，tmm，tcsvt上面的論文質量都差成什麼樣了，tip和tkde這幾年也淪陷了，水的一塌糊塗，感覺很多時候連看的必要都沒有了

首先手工點贊劉知遠老師的回答

其次，這種就是覺得NIPS ICML比IJCAI AAAI強、並且聲稱不看某某會議的文章的行為，與被痛斥的某些審稿人不仔細看內容的行為，本質是一樣的：不究其本里、只看某種表徵

最後，勸大家看開一點，會議的主要目的是交流，不是發大紅花，畢竟絕大多數論文，不管是NIPS還是IJCAI，50年後都沒人記得，做研究的，還是追求自我認同

==

回過頭再說兩句，有人說「憑什麼CCF推薦列表上某某會議是A某某會議是B某某會議是C，以我在某某領域做過這麼多工作看過這麼多文章發過這麼多論文來看，某某會議就不應該是ABC」。既然都是行內人士了，難道對一個工作沒有自己的評判嗎，還需要用一個列表劃分來評價文章嗎。CCF列表從來都不是針對高水平研究者/研究機構，而是為全國服務的。在該列表的推動下，目前能認同高水平會議論文的學校越來越多，這就是它的意義所在。11年前我們投AAAI，沒有CCF列表，論文發了畢業都用不上，但這不影響我對該會議是頂級會議的看法，現在也一樣。

====

再回頭說一句，從這個問題的回答來看，能夠看清楚背後事理的比例超出預料，這也說明我國的研究水平提高了。什麼論文是「水」，當水平是30分，看60分的論文覺得一點都不水，當水平到80分，即使看78分的論文也覺得水。這樣的水未必是壞事。

等到沒funding了就沒人灌水了。

憋人一直以IJCAI 和 AAAI 和AAMAS的論文為指引，我的博士課題就是靠跟著上面的論文做做實驗。博士心愿就是到博四快畢業時能有幸搞出一篇那個水平的論文。

現在你們告訴我這些都是水....

感覺博士要畢不了業了...

別的先不說，華人學術圈各種打招呼讓熟人bid自己文章的歪風邪氣應該治一治了。

稍微多說幾句，據我所知這種情況在華人圈子裡很普遍。不少喜歡厚著臉皮找人掛名的學術混子，甚至一些國內外名校教授都有混圈子打招呼的習慣。這些人往往有動輒幾十上百篇的論文和幾千以上的引用量(不是說符合這條件的都是混子)，但自己真正做的工作卻是少之又少。

提醒一下各位，你們也知道俺說話一貫良心。

所有的學科都這樣吧，區別是數學包裝技巧高低。

當年讀書時看了不少本專業權威期刊，IEEE Trans on control/signal/info/aerospace/pattern 什麼的，還有automatica。 坦率點說，10篇能有一篇能用自己的測試數據重複就是走了狗屎運，一年期刊里能找到有一篇有價值就是祖墳冒煙了。

還是現實點，只要不偽造數據不刻意選擇測試樣本，都是好文章。

某老師東拉西扯的工夫確實厲害。連審稿質量不高也能說成個優勢。

說幾個點吧。

引用多就是有意義？抱團灌水灌出來的也是意義嗎，某些小利益團體還明著說要互相引用呢。

IJCAI，AAAI上的文章工作量大？確實這兩個會的傳統AI領域很多方向工作量不小，這也是它們被ccf列為A類會議的原因。但是現在國內發在這兩會上的文章真的不是灌水？起碼不少人都是畢不了業了或者覺得工作分量不夠就投這兩個會。現在這行情已經有劣幣驅逐良幣的趨勢。

最後就是貴組的很多文章吶...

請勿對號入座，斜眼笑。

從事AI研究的人多確實是事實。個人意見，主流會議中，錄用率超過20%的會論文質量都是有待商榷的，或許都不能稱之為頂會。

所謂NLP的頂會ACL 這幾年的錄用率沒有低於25%的時候(16年更高達28%)，IJCAI的錄用律也25%左右，AAAI錄用率更高一些。無疑這麼高的錄用率是有水分的。但是水分到底是來自母語為英語的作者更多還是國內的作者更多。這個是值得商榷的。作為非英語為母語的作者，論文的wording是非常吃虧的，那麼論文的內容上會被更critical的看待。其實好多中國人被拒的工作，如果讓老外寫很大一部分是可以被錄用的。

但是錄用率比較低的會如WWW和KDD又存在單盲的問題，使得審稿結果出現了很大bias。單盲的bias參見 Andrew Tomkins, Min Zhang and William D. Heavlin 的試驗論文 Single versus Double Blind Reviewing at WSDM 2017 (https://arxiv.org/pdf/1702.00502v1.pdf) 。這裡我想說一個親身遇到的事情，有一次審到一個國內大牛投WWW的一篇論文，我們幾個審稿人的一致意見是拒稿，由於area chair和作者私交甚好，所以親上火線，加了一個各項分數都是滿分的review。最後文章還是被錄用了。

所以，論文的質量到底如何，也不能迷信venue，應該個別看待。關注論文的個性特質，不要這麼強掉共性特質。時間會給每個研究成果以公正的評價。