NIPS大佬的科研踩坑经验和教训

作者 | ALme
原文链接 | https://zhuanlan.zhihu.com/p/415883326

研三伊始，中了一篇NIPS论文，终不枉研究生期间的奋发图强。前两年的科研经历可谓曲折坎坷，积累了不少负面经验，下面每一点都是我自己踩过的坑，希望能作为后来者一个参考。

如果老师放养，找准一个方向深挖，不能三心二意。研一的时候因为组里做什么方向的都有，走马观花式地看各种各样方向的论文，包括不并不限于NLP、GAN、VAE、Bayes、meta-learning、feature disentanglement、stain kernel、NTK、neural process，结果就是浪费了几乎一年的时间，看的东西除了对ai整个领域的广度有了深刻的理解以外，几乎没有任何作用，要是从一开始就锁定few-shot learning的方向不再变动，可能后面自己就不会这么煎熬了。。。而反观另一个实验室的一名同学，一开始就被导师定死做adversarial attack的方向，之后就只钻研相关论文，非常早就开始做实验，接连中了ECCV2020和IJCAI2021。一个小的子领域挖到深处，大概率能发现该领域深刻涉及核心的本质问题，实验的trick和流程也会更加熟悉，只要发了第一篇论文，后续的文章做起来会容易很多。

刚入门科研的时候，最好目标放低一点点。一开始投个低一点的会议或者期刊，有熟悉科研流程（思考idea熟悉实验trick写论文）的作用（有大佬带除外），并且给自己建立初步的自信心，一步一步往上走，路会走的更加顺利。我作为反面例子，从入学开始就想发三大会，导致自己长达一年的无产出状态，经历了长达一年的深度焦虑。

如果老师放养，尽量多找公司的研究岗位实习。这点就不多说了，出去实习利大于弊，能大大扩展眼界，结识更牛逼的人，同时大概率能找到能帮助你科研的mentor。之前认识一个清华的研三实习生，他从研一一直在外实习，一路上有各路高人相助，目前已3篇a。虽然他本人确实非常牛逼，但不可否认，如果不出去实习，大概率不会更优秀，因为听他说留在实验室的师兄们不少6、7年都几乎没有论文产出。

论文写作非常非常非常重要！！！我认识的有一些同学是非常幸运的，每一篇论文导师都会非常细致地帮忙修改，甚至直接重写。但如果像我们组，只能自己动手丰衣足食的话，那就得平时花很大的功夫在写作上面，不然写论文即使idea不错，因为稀烂的英语或者糟糕的表意和结构组织，都会导致论文被拒，有时间可以不妨看一看今年iclr的oral论文，几乎每一篇都是写作上的典范。那怎么练呢？首先是平常看顶会优秀的外国人写的论文的时候，一句话一句话地仔细看，观察其语法结构，思考一个问题：如果是我，写得出这种话吗？如果写不出，就记在脑子里，对很可能有用且自己不会用的短语比如be grouped into、fall short of就找个东西记下来，以后写文章的时候看。另外我们写文章受高考毒害很深，写出来的句子很可能及其僵硬，总是觉得however只能放句首、which用的特别多、特别喜欢写长句等等，所以句法结构就要多向native speaker学习。这几个月也在不断增强自己的写作能力，回头再看我自己这篇nips的写作也不够好。除开看论文，自己任何一个idea在想出来以后，都可以用latex把method正式地写出来，以后有变动再作修改，实验同理，做的时候同步写实验章节，这样不管idea work不work，都能达到平时练习的目的，同时减轻之后写论文的负担。

如果想发顶会，尽量避免A+B或者incremental的idea。多看顶会论文提高taste，多思考并寻找本领域的本质核心问题，最好不要先有了方法，再回头想motivation，这样牵强的论文被拒的几率比较大。去年自己投iclr的论文就是热点A+B而且是事后想的motivation，最后果然GG。但如果是大多数b类及以下的会议、期刊，A+B或者incremental的idea也是能中的。

保持对科研的热情，想清楚为什么要走这条路。自我驱动力对于做科研很重要，如果平时看论文想idea做实验很痛苦，那肯定是找工作更香，毕竟钱多、有明确考核指标、没有很多潜在的压力。科研的目标也不是发论文，发论文只是一种手段，真正的科研应该享受过程，喜欢探索未知，拥有无尽的求知欲，愿意在一线见证某一天AGI的诞生。顶会论文是必需的，是探索路上的通行证，但它不是目标，更不是终点。

长期目标放高，心态放低。长期目标高与第2点的短期目标低一点并不矛盾，可以类比李沐老师说的global minima和local update。每一次投稿心态放平，会议review方差很大，好论文不中的概率也蛮大的，所以不能把投稿看作一篇论文的终点，随时思考论文的不足，努力迎接rebuttal，做好失败的进一步打算。希望越小，失望越小。

文章来源: andyguo.blog.csdn.net，作者：山顶夕景，版权归原作者所有，如需转载，请联系作者。

原文链接：andyguo.blog.csdn.net/article/details/120580967