Tag Archive for pipeline

从工具使用的痛苦说开去

从工具使用的痛苦说开去

是因为最近团队里的数据分析师(data analyst)向我抱怨,为了分析数据,要跑job,要执行pipeline,要用Spark来算结果,但是期间遇到各种问题,虽然我们一起研究问题的解决方法,但是依然非常耗时而且令人沮丧。这些问题大多并非数据本身的问题,而是工程问题。换言之,我认为数据分析师的价值在于数据思维,他们有我们软件工程师不具备的数据敏感性,他们能从海量的数据中获得有价值的信息——但是

[......]阅读全文

分享到:

Preview on Feedage: