绝对,当我几年前在(半知名独角兽公司)工作时,在……
绝对,当我几年前在(半知名独角兽公司)工作时,在数据工程团队,经理告诉我「嘿,我们下个季度想使用spark,这是一个巨大的项目。」我立刻问:「以什么方式?」答案是「不知道/不重要,只是重要的是我们可以声称我们在使用它。」我真希望我能理解这是从哪里来的(他的经理简历制作?某人得到回扣?)
源讨论命令行工具可以比你的Hadoop集群快235倍(2014)原帖 276 条评论 · 导入时统计绝对,当我几年前在(半知名独角兽公司)工作时,在数据工程团队,经理告诉我「嘿,我们下个季度想使用spark,这是一个巨大的项目。」我立刻问:「以什么方式?」答案是「不知道/不重要,只是重要的是我们可以声称我们在使用它。」我真希望我能理解这是从哪里来的(他的经理简历制作?某人得到回扣?)
源讨论命令行工具可以比你的Hadoop集群快235倍(2014)原帖 276 条评论 · 导入时统计这简直是千倍的重复!我认为整个行业一直在推动管理者和更年轻的工程师相信,Spark和分布式工具是进行数据工程的正确方式。 我认为这与网络开发影响者说服所有人使用巨大的hydration-spa-framework-craziness(过度复杂的框架)的情况类似,而实际上一个静态网站就足够了。 我给人们的建议是摆脱这种混乱: - 管理者,不要要求特定的解决方案(Spark、React)。要要求聪明的工程师解决问题,并优化/跟踪你关心的内容(成本、性能等)。你雇佣他们是因为他们最了解,他们很可能确实如此。 - 技术负责人,如果你的经理说“关于超大规模呢?”,你不需要回答“我们的现有解决方案可以永远扩展”。可以说,"我们的数据管道处理最大20GB的数据集,我们预计不会看到更大的数据,如果有的话,我们会做x/y/z来满足这个规模"。你的经理…
完整原文把你的经验,加入这段讨论。
那就是当你用Ada的SPARK方言重写你的代码库,并在管理层询问你时装作无辜的时候。
完整原文他们永远不会说这是为了简历或回扣,他们会编造一些听起来技术性或商业性的理由来达到同样的结果。
完整原文最有趣的是,你可以声称你在做/使用某样完全独立的东西,而不管你实际上是否真的在做。当然,这是个谎言,但只使用某样东西以便声称你在使用它同样也是谎言(他们可能向你承认这就是原因,但那不会是他们放在LinkedIn上的原因)。
完整原文尊重不同观点,分享具体经验。
登录后即可发帖、评论、转发和引用。