感悟

感悟

大规模数据上传的问题和解决

过完年第一天上班,就接到一个项目连夜出差去了。客户手头有大约 20 万条住房信息需要上报到一个指定的系统。这 20 万条记录由 200 多个员工花了超过一个月的时间到该县辖区内的各自然村挨家挨户上门采集,然后以乡镇-行政村-自然村的结构存放在 1000 多个 excel 文件中。excel 中的每条记录对应一套住房,同目录下,还有房屋的照片。 这些信息和图片都要上传到一个指定的网站,当然,没有接口。 所以,问题还是很清晰的,就是实现一个爬虫模拟请求,先登录网站,然后从 excel 中依次读取记录,将相应的信息和图片进行上传,重复这个过程。 常规问题 技术选择 其实没什么好选,我最熟悉的语言是 PHP 和 JavaScript,最终选了 Node.js 。平常处理网络请求已经用的很多,处理数据的话有 underscore ,模拟请求有 superagent ,处理 dom 内容有 cheerio

By 熊立丁

感悟

如何写好一个教程

* 要明确和清晰的将教程分为多个步骤。 * 核心思想要用简短的语句进行表述,并通过适当的重复来进行强化。 * 用黑体和斜体等标注重要内容。 * 尽可能多的使用可视化元素,以表达文字难以表述的内容。 * 读你的教程的人可能完全是个新手,你不该期望他已经对你提到的东西有所了解。所以,不要跳过任何步骤,并且每个步骤都要尽可能详细。 * 确保你的教程可以被你的读者理解。不要使用他们可能不懂的术语和缩写却不加以解释。 * 给出一些讨论相关话题的文章的链接,以作参考。 * 给出一些实际的例子并告诉他们该如何做。 * 发表它,从而得到反馈建议并进行改进。

By 熊立丁

感悟

早起

小雨…还没伞 昨天一晚没睡好。今天早上6点半就出门了。经过一家网吧门口,看到七八个人还在那上网,感觉更困了… 等公交,站牌旁停了一队接新娘子的车,旁边一小伙子精神不错,蹬三轮的也已经开工。 美好的早晨,只是我的公交怎么还不来… … 要不是下雨,我不会坐一站公交。 长途车站里安检的机器都还没开,难道现在还真那么早? 估计到宁波还能赶上上班高峰…

By 熊立丁
浙ICP备15043004号-1