开发工具【免费下载链接】jcCLI tool and python library that converts the output of popular command-line tools, file-types, and common strings to JSON, YAML, or Dictionaries. This allows piping of output to tools like jq and simplifying automation scripts.项目地址https://gitcode.com/gh_mirrors/jc/jc点击查看免费下载本指南系统讲解 jc 中pkg_index_deb解析器的功能与用法它能将 Debian/Ubuntu 软件源仓库中的Packages索引文件RFC 822 风格的段落式文本转换为结构化的 JSON 数组使包名、版本、依赖关系、SHA256 校验值等元数据可以直接交给jq或 Python 脚本处理。读完本文你将掌握该解析器的 CLI 与模块两种调用方式、完整输出 Schema、raw原始模式与默认处理模式的区别以及它在源码层面对rpm_qi解析器的复用机制。什么是 Debian Package Index 文件在 Debian 系发行版中每个软件源仓库的根目录都维护着一个名为Packages的索引文件它采用「空行分隔段落、每行一个字段: 值」的 RFC 822 风格格式逐条描述仓库中每个.deb包的元数据典型片段如下取自仓库测试固件 tests/fixtures/generic/pkg-index-deb.outPackage: dotnet-host Version: 3.1.16-1 Architecture: amd64 Section: libs Priority: standard Installed-Size: 146 Maintainer: .NET Core Team dotnetpackagesdotnetfoundation.org Description: Microsoft .NET Core Host - 3.1.16 Homepage: https://dot.net/core Conflicts: dotnet, dotnet-nightly Depends: libgcc1, libstdc6, libc6 SHA256: 2557da13447d61382f255eb751ba29cc1a8220899c1e3e640a7bb3d2a0c1d297 Size: 32594 Filename: pool/main/d/dotnet-host/dotnet-host-3.1.16-x64.deb这类文件体积巨大实际仓库中往往有数百 MB 和数十万个包条目人工阅读或逐行awk处理效率低下。jc 提供的pkg_index_deb解析器可以把整个文件一次性解析成 JSON 数组每个元素对应一个包。使用方式一CLI 管道解析器在 CLI 下的调用方式是管道式读取将Packages文件通过标准输入送入 jc$ cat Packages | jc --pkg-index-deb输出是 JSON 数组数组中的每个对象即一个包的解析结果[ { package: dotnet-host, version: 3.1.16-1, architecture: amd64, section: libs, priority: standard, installed_size: 146, maintainer: .NET Core Team dotnetpackagesdotnetfoundation.org, description: Microsoft .NET Core Host - 3.1.16, homepage: https://dot.net/core, conflicts: [ dotnet, dotnet-nightly ], depends: [ libgcc1, libstdc6, libc6 ], sha256: 2557da13447d61382f255eb751ba29cc1a8220899c1e3e640a7bb3d2a0c1d297, size: 32594, filename: pool/main/d/dotnet-host/dotnet-host-3.1.16-x64.deb }, { package: aspnetcore-runtime-5.0, version: 5.0.10-1, architecture: amd64, section: devel, priority: standard, installed_size: 18551, maintainer: Microsoft nugetaspnetmicrosoft.com, description: Shared Framework for hosting of Microsoft ASP.NET Core applications. ..., homepage: https://asp.net, depends: [ dotnet-runtime-5.0 ( 5.0.10) ], sha256: 1d9869f862cb4e9c46b245a343d8e39fbbc84d9f8ab9ef357c4643da20805ad3, size: 6084188, filename: pool/main/a/aspnetcore-runtime-5.0/aspnetcore-runtime-5.0.10-x64.deb } ]管道下游可以直接接jq做筛选。例如只列出所有section为devel的包名与版本$ cat Packages | jc --pkg-index-deb | jq .[] | select(.section devel) | {package, version}注意默认输出的 JSON 是经过类型转换和结构整理的结果整数、列表已规整若文件过大建议配合-r原始模式见下文降低处理开销。使用方式二Python 模块在 Python 中通过jc.parse()入口调用同名解析器import jc with open(Packages, r, encodingutf-8) as f: pkg_index_deb_output f.read() result jc.parse(pkg_index_deb, pkg_index_deb_output)result是一个「字典列表」每个字典对应Packages文件中的一个包段落。也可以直接调用底层模块函数from jc.parsers.pkg_index_deb import parse result parse(pkg_index_deb_output, rawFalse, quietFalse)parse 函数签名与参数parse的函数签名在 jc/parsers/pkg_index_deb.py 中定义如下def parse(data: str, raw: bool False, quiet: bool False) - List[Dict[str, Any]]data待解析的文本数据字符串即Packages文件的完整内容。raw布尔值设为True时返回未经过类型转换与结构化的原始数据。quiet布尔值设为True时抑制警告信息。返回值是字典列表——即原始raw或已处理的结构化数据。对空数据调用时返回空列表测试用例test_pkg_index_deb_nodata验证了parse(, quietTrue) []。输出 Schema 全览解析后每个包对象包含的字段Schema如下完整定义见 docs/parsers/pkg_index_deb.md字段类型说明packagestring软件包名versionstring包版本号architecturestring目标 CPU 架构如amd64sectionstring所属软件区如libs、devel、utilsprioritystring优先级如standard、optional、extrainstalled_sizeinteger安装后占用磁盘空间KiB由Installed-Size转换而来maintainerstring维护者信息descriptionstring包描述homepagestring项目主页 URLdependslist[string]依赖的包列表逐项拆分含版本约束表达式conflictslist[string]冲突包列表replaceslist[string]替换的包列表vcs_gitstring上游 Git 仓库地址sha256string安装包的 SHA256 校验值sizeinteger.deb文件体积字节filenamestring包文件在仓库中的相对路径各字段并非全部必需——实际仓库的包条目中字段可有可无例如 fixture 中的aadsshlogin就没有section因此解析结果中只有输入中确实存在的字段会出现。字段命名如何产生normalize_key 规则从源码看Packages文件中的原始字段名并不会原样保留而是经由jc.utils.normalize_key()定义于 jc/utils.py统一规范化全部转为小写空格与!#$%()*,-./:;?[\]^{|}~ 等特殊字符转为下划线连续与结尾的下划线会被移除。因此映射关系如下Installed-Size→installed_sizeVcs-Git→vcs_gitSHA256→sha256Package-Type→package_type等。这也是为什么输出 Schema 中看到的键名都是小写下划线风格。类型转换与列表拆分默认非 raw模式下parse会调用内部_process()完成两类加工逻辑在 jc/parsers/rpm_qi.py整数字段转换installed_size与size属于整数集合int_list其字符串值经jc.utils.convert_to_int()jc/utils.py转为整数转换失败时返回None。因此默认输出中installed_size: 146是数字而 raw 输出中它是146字符串。列表字段拆分depends、conflicts、replaces以及上游 rpm 语境下的pre_depends、recommends、suggests等属于split_list按逗号拆分并去除首尾空白得到一个字符串列表。因此默认输出中depends: [libgcc1, libstdc6, libc6]而 raw 输出中是整段原始字符串libgcc1, libstdc6, libc6。深入理解-r原始模式与默认模式对比CLI 提供-r--raw开关输出未加工数据$ cat Packages | jc --pkg-index-deb -r原始模式下所有字段都保持字符串且depends、conflicts、replaces不会被拆分成数组。以下为 raw 输出的片段对比取自 docs/parsers/pkg_index_deb.md[ { package: aspnetcore-runtime-2.1, version: 2.1.22-1, architecture: amd64, section: devel, priority: standard, installed_size: 71081, maintainer: Microsoft nugetaspnetmicrosoft.com, description: Microsoft ASP.NET Core 2.1.22 Shared Framework, homepage: https://www.asp.net/, depends: libc6 ( 2.14), dotnet-runtime-2.1 ( 2.1.22), sha256: 48d4e78a7ceff34105411172f4c3e91a0359b3929d84d26a493..., size: 21937036, filename: pool/main/a/aspnetcore-runtime-2.1/aspnetcore-run... }, { package: azure-functions-core-tools-4, version: 4.0.4590-1, architecture: amd64, section: devel, priority: optional, maintainer: Ahmed ElSayed ahmelsmicrosoft.com, description: Azure Function Core Tools v4, homepage: https://docs.microsoft.com/en-us/azure/azure-func..., conflicts: azure-functions-core-tools-2, azure-functions-co..., replaces: azure-functions-core-tools-2, azure-functions-cor..., vcs_git: https://github.com/Azure/azure-functions-core-tool..., sha256: a2a4f99d6d98ba0a46832570285552f2a93bab06cebbda2afc7..., size: 124417844, filename: pool/main/a/azure-functions-core-tools-4/azure-fu... } ]对比可见默认模式下installed_size/size是整数raw 模式下是原样字符串默认模式下depends/conflicts/replaces是数组raw 模式下是逗号分隔的单一字符串其余文本类字段package、version、description等在两种模式下内容一致。对大型Packages文件若只需要文本字段、不需要类型加工使用-r可以省略拆分与转换开销需要数值运算或依赖项遍历时则应使用默认模式。源码实现它是 rpm_qi 解析器的别名理解pkg_index_deb的关键实现事实是它本身不包含解析逻辑而是rpm_qi解析器的别名alias。完整实现只有寥寥几行见 jc/parsers/pkg_index_deb.py# This parser is an alias of rpm_qi.py rpm_qi.info info # type: ignore rpm_qi.__name__ __name__ return rpm_qi.parse(data, raw, quiet)pkg_index_deb.py顶部的import jc.parsers.rpm_qi as rpm_qi声明了依赖关系解析器元数据中的details Using the rpm-qi parser同文件第 134 行也印证了这一点。之所以可以复用rpm_qi是因为两者的输入格式高度相似Packages索引文件与rpm -qi的输出都是「字段: 值」行组成的段落结构。在 jc/parsers/rpm_qi.py 的parse()主循环中可以看到它按以下规则切分段落以Name或Package开头的行标志着新段落的开始split_line[0].startswith(Name) or split_line[0] Package每一行以: 为分隔符做一次maxsplit1拆分得到字段名与值字段名经normalize_key()规范化为 JSON 键。这样Packages文件中的Package:行恰与 rpm 输出中的Name:行等价都承担「分段锚点」的角色从而两个解析器可以共享同一套文本切分逻辑。多行 Description 的累积处理值得留意的是rpm_qi.parse()中对描述字段的特殊处理当遇到Description :或Description-en:起始行后后续的所有续行都会累积到description列表中desc_entry/desc_en_entry两个状态标志控制最终在段落结束时用空格拼接为一个完整字符串jc/parsers/rpm_qi.py。这也是为什么 fixture 中多行描述的包如moby-containerd、intune-portal解析后description是连贯文本。需要说明的是这一拼接逻辑本身最初是为apt-cache show输出设计的pkg_index_deb作为别名继承的是同一套行为。测试与固件验证仓库为pkg_index_deb提供了自动化测试与真实固件数据可作为行为验证与二次开发的参考测试文件tests/test_pkg_index_deb.py包含两个用例空输入返回空列表对固件输入parse()的结果必须与预期 JSON 完全一致。输入固件tests/fixtures/generic/pkg-index-deb.out是真实的 Microsoft 软件源Packages索引含数千个包条目覆盖amd64架构下的 .NET、Azure 工具链、Dockermoby、OpenJDK、PowerShell 等。预期输出固件tests/fixtures/generic/pkg-index-deb.json即对该输入运行解析器后的结构化 JSON可直接对照本文所述 Schema 进行字段验证。从固件 JSON 可以看到部分输入行还会产生 Schema 之外的键例如Recommends→recommends、Provides→provides、Essential→essential、Package-Type→package_type、Source→source、Original-Maintainer→original_maintainer、Vendor→vendor、License→license等。由于_process()的int_list/split_list集合同时覆盖了这些键它们同样遵循「整数字段转整数、逗号字段拆列表」的规则——例如recommends也会被拆成数组。兼容性与适用前提根据解析器元数据jc/parsers/pkg_index_deb.pypkg_index_deb的兼容平台为linux、darwin、cygwin、win32、aix、freebsd。它标记为tags [file]即面向文件型输入而非命令输出因此即使在不安装 Debian 系系统的环境下只要手头有Packages索引文件例如从任意软件源镜像下载即可完成解析。使用前提与限制包括输入必须是合法的 DebianPackages索引格式字段: 值段落结构对apt-cache show风格输出也兼容得益于上述Description-en:处理逻辑由于解析器复用了rpm_qi的通用切分逻辑Installed-Size、Vcs-Git、SHA256等带连字符/大写字段会经normalize_key转换为小写下划线键名默认模式会对整数字段做「剥离非数字字符再转 int」的处理convert_to_int极端情况下字段值为空或非数字时返回None使用时宜注意空值若需对比两种输出请记住-r只影响整数转换与逗号列表拆分不影响段落切分与键名规范化。总结pkg_index_deb是 jc 中「一个解析器复用另一个解析器」的典型示例借助rpm_qi成熟的「字段段落切分 键名规范化 类型转换」流水线一行别名声明即获得了对 DebianPackages索引文件的完整解析能力。对运维与自动化场景cat Packages | jc --pkg-index-deb | jq ...的组合让原本需要大量脚本工作的软件源元数据查询变得简洁可靠而raw模式则为需要原始字符串的批处理场景保留了灵活性。赞分享开发工具【免费下载链接】jcCLI tool and python library that converts the output of popular command-line tools, file-types, and common strings to JSON, YAML, or Dictionaries. This allows piping of output to tools like jq and simplifying automation scripts.项目地址https://gitcode.com/gh_mirrors/jc/jc点击查看免费下载相关推荐jc 解析 /etc/hosts 文件hosts 解析器完整指南jc 解析 /etc/hosts 文件hosts 解析器完整指南 本指南介绍 jcJSON Convert内置的 hosts 解析器它能把 Linux/开发工具jc 解析 dpkg -l 输出将 Debian 系软件包列表转换为 JSON 的完整指南jc 解析 dpkg l 输出将 Debian 系软件包列表转换为 JSON 的完整指南 dpkg l 是 Debian/Ubuntu 系系统上查询软件包安装开发工具使用 jc 将 Linux /proc/net/netlink 文件解析为 JSON完整指南使用 jc 将 Linux /proc/net/netlink 文件解析为 JSON完整指南 导读 /proc/net/netlink 是 Linux 内核暴开发工具上一篇灯哥开源FOC控制器ESP32驱动的240W双路无刷电机驱动终极指南下一篇智能图像分层终极指南如何3分钟完成专业级PSD分层处理创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考