OpenRefine官网最新版 v3.10.0
OpenRefine官网最新版 v3.10.0 是一款数据清理软件,安装包 165.18MB,支持 CSV、Excel、JSON、XML、数据库等多类格式的导入导出,自带分面筛选、聚类合并、正则表达式匹配与 GREL 表达式语言,每一步操作都有历史记录、可撤销重做,成千上万行的数据整理不再靠手工硬磨。
装在本地跑在浏览器里的清洗台
OpenRefine 是跨平台软件,Windows、macOS、Linux 均可部署,操作界面通过浏览器访问,本地启动后浏览器里就是全部工作环境。数据全程留在本机处理,不需要上传到任何在线服务,客户名单、交易明细这类敏感数据的整理,没有外流的顾虑。
- 跨平台部署,浏览器完成全部操作;
- 数据留在本地,不上传;
- 版本历史记录每一步操作,随时撤销或重做。
各类数据源都接得住
导入环节的兼容面铺得很开:CSV、TSV、JSON、XML、ODS、Excel 常见格式直接进;数据库方面支持 MySQL、MariaDB、PostgreSQL、SQLite;URL、RDF、Google Sheets、Wikibase 也都在支持列表,另可通过扩展插件接入更多格式。处理完按需导出,CSV、TSV、HTML、ODS、Excel、SQL 语句等格式自由选,清洗前后的数据流向都是通的。
GREL 一行表达式搞定一列
数据清洗的常规动作——大小写转换、移除空白字符、字符串替换、截取、拼接、拆分列、合并列——界面上点选完成。批量规则交给 GREL 表达式语言:软件内置的这套表达式语言功能强大且易于学习,一行表达式对整列数据执行复杂逻辑,配合正则表达式匹配,格式五花八门的字段基本都能捋顺。日期、电话、编号这类规范性要求高的列,GREL 写一次,全列生效。
分面筛选加聚类合并
查数据用分面和筛选器:按某一列的值快速查看、筛选数据子集,例如把所有”状态”为”未知”或”空值”的记录一次性挑出来核查,不用写脚本。分组这块的聚类功能对付拼写混乱很有一手——自动识别拼写上相似但略有不同的值,例如 Microsoft 和 Microsft 这类手误变体,聚成一组后一键合并,脏数据一轮清完。软件还能将数据集与外部源匹配链接,为数据添加上下文和唯一标识符,对账、溯源都用得上。
使用方法
- 在口袋网下载软件安装包,按照提示进行安装。
- 自定义选择安装位置,点击 next。
- 选择开始菜单文件夹,点击 next。
- 勾选附加任务,点击 next。
- 点击 install,等待软件安装完成。
- 启动软件,浏览器会自动打开操作界面。
- 导入数据创建项目,用分面、GREL 等工具清洗,完成后导出成果。
整个处理过程可以导出留存,在其他项目上重复使用;同一套清洗流程跑新数据,配置工作只做头一回。
v3.10.0 的更新看点
导入功能这个版本补了一块拼图:通过 Apache Compress 新增对 XZ、LZMA、7zip、ZStandard 以及 Unix 压缩格式(.Z 文件)的支持,压缩包不必先手动解开就能直接导入。表达式语言有了新的字符串标准化函数,处理方式与指纹函数内部一致;应用配方时显示撤销通知,列移动操作更泛化,表达式历史支持上下箭头滚动翻找。导出器恢复了错误报告功能,XLS/XLSX 文件的错误处理机制一并优化。
