Love and Hate to Rust -- Two Years' Journey of a Data Engineer
I want to share my first hand knowledge, using my 5 years' experience in data engineering, to tell you the great things and the bad things Rust has to offer in this field.…
Go 调用 Rust 动态库：FFI 零拷贝传递 Arrow 数据块
Go 与 Rust 间的 FFI 调用踩坑学习…
GO 低内存极速 I/O 编程：无缓冲编码文件，同时计算哈希值一并上传
Golang 自带了内容相当丰富的 io 库，对 io 编程友好。最近碰到个需要发送文件的 REST api，文件内容需 base64 编码为文本，同时还要文件的 md5sum，再附加一系列其他信息，最后用 json 文本发送。最无脑的做法是将整个文件读入缓冲区，依次计算 md5sum，再把文件编码为 base64 文本，最后拼接所需的 json 文本完成发送。当然这样文件一大铁定崩内存💩，显然有更合适的做法………
AMD CPU 做科学计算还香吗？（2022 年 MKL 与 OpenBLAS 的 NumPy 简单测试）
2022 年 MKL 与 OpenBLAS 在 NumPy 上的简单测试…
PySpark DataFrame 写入 Elasticsearch
在 spark 中使用 elasticsearch-hadoop 将 dataframe 写入 elasticsearch 服务…
Apache Spark 用比特位操作处理状态标志类数据的一种高效实践
前段时间遇到一个略有挑战性的数据需求，要求高速处理巨量的标志位数据，费了些折腾功夫在 Spark 里用 SQL 的二进制操作给实现了个。…
本地 PAC 代理脚本服务器
Chrome 自某个版本开始，移除了对 pac "file://" URL 的支持，至此只剩下 HTTP 能用了。本地 pac 文件用不了，还得给丢到 http 服务上，单独部署维护多麻烦，那么就写个本地专用的 pac 服务器好啦！…
PyQt5 下拉菜单如何优雅地连接函数
近日接触到 PyQt，做点小工具在工作时方便用。发现用它做一些桌面应用相当给力，结合了 Python 的快速开发、Qt 的高运行效率。对普通程序员来说，如果 Python 还行的话，稍微花点时间读读文档就能立马掌握 PyQt，实在是相当划算的一项技能！平时一些自用的 Python 脚本用 PyQt 一封装，就能做成相当拿的上台面的桌面软件（还通杀 Windows、Linux、macOS 三平台），吹水装逼撩妹岂不信手拈来（（雾雾雾…