使用命令行进行数据处理

《命令行中的数据科学》是一本讲解如何使用命令行高效进行数据处理和分析的书。其作者在书中指出,尽管数据科学家拥有海量激动人心的技术和编程语言可供选择,如 Python、R、Hadoop、Julia、Pig、Hive、Spark 等等,但命令行工具因其灵活性、可增强性、可扩展性、可扩充性及易得性等诸多特点,许多问题使用命令行工具往往更加简单高效。…

踩坑记之 Xorm 升级

大部分情况下,项目是由业务驱动的,在开发过程中,由于业务较多,开发任务繁重,会代码质量下降。而此后由于顾及项目的稳定性,我们往往倾向于保持旧的代码不动(哪怕知道很多地方可以优化的情况下)。通过引入完整的单元测试和集成测试,加上 Goland 强大的 Refactor 功能,是可以在业务开发任务较轻的时候进行项目代码优化的。目前在其他项目上,我们已经经过几轮较频繁的优化迭代了,没有出现过像此次这样的故事。不过,在优化的过程中,我们要保证对业务逻辑不影响,就得保证进行充分的回归测试。我们应该多做小范围重构,而不是等到项目无法维护时再进行项目重写。…

go脚本阻塞问题排查

脚本阻塞问题的排查,主要有两种方式:一、查看代码或者打印日志,缩小范围;二、借助工具(pprof),pprof的goroutine可以很好的分析协程泄漏,协程堵塞这类问题。…

一次tcp泄露的探秘

这篇文章中,主要是记录了一次由于使用elasticsearch的golang客户端导致的tcp连接泄露问题,从最初的问题出现、中间的过程问题排查和最终的问题解决都做了详细的记录,方便以后有类似问题可以参考,其中特别是网络指令:netstat 指令可以让我们得知整个系统的网络情况,迅速排查问题。…