……最近，我通过同事了解到一篇由某些作者发表的新基于代理的建模工具包的论文，该工具包使用了另一种更时髦的编程语言。他们将他们的系统与其他系统进行了比较，包括我的系统，并列出了一份相当长的清单，比较了谁在哪些方面更好，不出所料，他们的系统在清单中名列前茅。但深入研究后，很快就能看出他们并不了解如何正确运行我的软件；而且在许多其他地方，他们刻意挑选对自己有利的信息，并做出了许多大胆而完全错误的声明。更正事实后，他们的软件远远落后于我的。不过，我非常高兴看到有比我的工具包更好的新工具包——毕竟我写这个东西已经20多年了，之后我也已经转向其他项目了。但几位同事要求我这么做。然而经过多次来回后，很明显期刊的编辑感到很尴尬，不想要求撤稿或修改。而作者们不断为他们的错误找借口。因此，期刊悄悄地放弃了投诉。我担心这种情况很常见。
源讨论这篇论文被引用了超过6000次。它存在致命的缺陷。原帖 374 条评论 · 导入时统计把你的经验，加入这段讨论。
如果你就是我所想的Sean Luke： 我在90年代中期在马里兰大学读本科时，你在那里读研究生。你当时所说的很多内容塑造了我对计算机科学的看法。谢谢你。
完整原文之前我写过一段（学术）软件。几年前，我被要求在论文发表前进行评审，那篇论文是关于一段功能相似的软件的，他们对一组较旧的软件进行了基准测试，包括我的软件，当然他们发现他们的软件是最好的。然而，他们的测试方法存在根本性的问题，尤其是因为没有“正确”的答案可以用来比较软件的输出。因此，他们使用了不同的方法来生成“真相”，然后训练他们的软件（当然，是机器学习）来生成与这个（非常有缺陷的）“真相”相匹配的结果，然后当然他们的软件是最好的，因为它生成的结果最接近“真相”，而其他软件可能更接近真正的真相。 我建议期刊不要发表这篇论文，…
完整原文> 事情变得很明显，期刊的编辑感到太尴尬了 真令人难过。承认并纠正错误可能会让人感到困难，但这会让你变得可信。 作为读者，如果一个期刊主动征求批评意见，并在必要时迅速发表更正和撤稿，我会对它有更大的信任。
完整原文当我还是研究生的时候，我联系了一家期刊，告诉他们我的导师伪造了他们的数据。期刊从未回复。我也联系了我大学的法务部门。他们邀请我进去谈了一个小时，说他们会再和我联系，但之后再也没有和我联系或回复我的电话。这是一所全美排名前十的计算机科学项目。我对学术界几乎没有任何信任。这就是我们有「可重复性危机」的原因。
完整原文这种情况通常是发布撤稿的原因吗，还是只是你有责任提交一篇新论文来纠正记录？我不知道这些事情是怎么运作的。谢谢。
完整原文我认为学术界的「不发表就灭亡」文化使得这种情况非常容易被忽视——尤其是对于统计分析而言。分享数据、算法、代码和方法对于科学出版物会有帮助。对于引用次数达到一定数量的论文，这使得它们看起来「重要」，我希望谷歌学术能提供一个注释，说明该论文是否可以被重复，以及重复的程度。虽然这不能避免作者所谈论的情况，但可能会迫使期刊编辑更认真地对待反驳和修改。 从学术界的角度来看，如果数据和代码被共享，那么发表错误结果的动机将会降低。
完整原文这让我想起以前的一位大学同学让我检查一些研究中的代码，我当时并不知道这段代码已经发表了，我告诉他我希望他没有写这段代码，因为很可能得出了错误的结果。他们声称某个过程太复杂而无法完成，因为它的时间复杂度是O(2^n)，于是决定对问题进行重大简化，并将此作为他们答案中的事实。结果是，原始算法只是二次的，而不是更差的，因为数据集在几分钟内就能完成（而不是他们声称的几天），而且最终结果与他们的结论完全没有支持关系。 我们的结论是，永远不要相信心理学专业的学生编写计算机代码。就像其他任何专业领域一样，他们至少应该在发表之前向计算机科学专业的学生展示他们的想法和/或代码。
完整原文我借此机会说明，我帮助制作/重写了不同基于代理的建模软件之间的比较，详见https://github.com/JuliaDynamics/ABMFrameworksComparison，不确定这是否公平地代表了所有软件，但如果有人想参与改进其中任何框架的代码，我将非常高兴接受任何改进。
完整原文尊重不同观点，分享具体经验。
登录后即可发帖、评论、转发和引用。