数据清洗与训练集制造小工具箱

大家在进行数据清洗和训练集制造时可能会需要的一些小工具。
A small toolkit for data cleaning, literature-format conversion, dataset splitting, and training-set packaging.

这是什么？

这是一个偏实用主义的轻量工具合集，主要服务于：

• 文献数据清洗与格式转换，例如 Scopus / PubMed / Web of Science 相关格式转换；
• 训练集制造前的数据拆分、打包、格式整理；
• CSV、Excel、JSON、Parquet、PDF 等常见数据文件的预处理；
• 本地开发辅助，例如 Python 脚本打包成 EXE、清理监听端口。

仓库里的 HTML 工具多数可以直接用浏览器打开；Python 工具可以直接运行，部分 GUI 工具需要安装依赖。

工具列表

工具	路径	用途	运行方式
WoS 拆包机	tools/python/wos_unpacker.py	将 WoS Plain Text 文献记录拆分为单篇 TXT 并压缩	python tools/python/wos_unpacker.py
ArXiv JSON 拆包器	tools/python/arxiv_json_splitter.py	将大型 JSON/JSONL 数据按批次拆分	python tools/python/arxiv_json_splitter.py
Python 转 EXE 打包器	tools/python/py_to_exe_packager.py	GUI 化调用 PyInstaller 打包脚本	python tools/python/py_to_exe_packager.py
一键清理监听端口	tools/python/kill_listening_ports.py	结束本机监听端口进程	python tools/python/kill_listening_ports.py
Scopus → WoS 转换器	tools/web/scopus_to_wos_converter.html	将 Scopus 数据转换为 WoS 风格文本	浏览器打开
PubMed → WoS 转换器	tools/web/pubmed_to_wos_converter.html	将 PubMed / 近似文本转换为 WoS Plain Text	浏览器打开
Universal Packer	tools/web/universal_packer.html	训练集打包与格式整理	浏览器打开
CSV / Excel 拆包器	tools/web/csv_excel_unpacker.html	CSV / Excel 拆分与压缩导出	浏览器打开
Parquet → JSONL 转换器	tools/web/parquet_to_jsonl_converter.html	Parquet 转 JSONL	浏览器打开
PDF 批量切割器	tools/web/pdf_batch_splitter.html	按页数批量切割 PDF	浏览器打开

快速开始

使用网页工具

直接双击 tools/web/*.html，或在浏览器中打开对应文件。

如果工具依赖 CDN 库或 Google Fonts，离线环境下界面字体可能变化，部分功能可能需要联网加载依赖。详见 docs/USAGE.md。

使用 Python 工具

建议使用 Python 3.10+：

python tools/python/wos_unpacker.py
python tools/python/arxiv_json_splitter.py

如果使用 Python 转 EXE 打包器，请先安装依赖：

pip install -r requirements.txt
python tools/python/py_to_exe_packager.py

GitHub 仓库标题建议

数据清洗与训练集制造小工具箱

副标题 / description 可用：

大家在进行数据清洗和训练集制造时可能会需要的一些小工具。

英文标题可用：

Data Cleaning & Training Dataset Toolkit

GitHub Topics / Keywords

data-cleaning, dataset-tools, training-data, jsonl, parquet, csv, excel, pdf, wos, scopus, pubmed, vosviewer, python, tkinter, html-tools, offline-tools

重要提醒

• tools/python/kill_listening_ports.py 会结束本机监听端口的进程，属于危险操作。请确认没有重要服务正在运行后再使用。
• 文献格式转换工具用于数据整理与兼容性辅助，不代表 Web of Science、Scopus、PubMed 或 VOSviewer 官方工具。
• 上传到 GitHub 前，建议你自己再跑一遍常用样例，确认输出格式符合你的使用场景。

版本

当前版本：v0.1.0
整理日期：2026-05-28

License

MIT License. See LICENSE.