CLI数据分析【免费下载链接】millerMiller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON项目地址https://gitcode.com/gh_mirrors/mi/miller点击查看免费下载本篇技术指南系统讲解 Miller面向名称索引数据的命令行工具如 CSV、TSV、表格化 JSON的数值算术语义从数据文件中的数字扫描与类型推断mlr -O/mlr -A/mlr -S三个标志到数学函数与算术运算符的整数/浮点转换规则再到 64 位整数溢出时的自动提升为浮点机制以及 Pythonic 除法/、//、%与 IEEEInf/NaN的处理方式。读完本篇你将能准确预测 Miller 对任意数值输入的计算结果类型并在编写put/filterDSL 表达式时避免类型陷阱。本指南以 docs/src/reference-main-arithmetic.md 为骨架结合 Miller 仓库的 Go 源码实现pkg/bifs/arithmetic.go、pkg/mlrval/mlrval_infer.go、pkg/scan/find.go与测试用例进行深度印证。数值类型的总体模型Miller 中的数字只有两种底层表示64 位有符号整数int64对应 DSL 类型int双精度浮点IEEE-754 double对应 DSL 类型float。不存在其他整数宽度如 32 位 int 或任意精度整数也不存在单独的长整型。这一模型直接反映在 pkg/scan/type.go 定义的扫描类型枚举中十进制整数、前导零十进制整数、八进制整数、前导零八进制整数、十六进制整数、二进制整数、疑似浮点其余一律归为字符串。因此理解 Miller 数值行为的关键就是回答两个问题输入值被扫描成什么类型以及运算后输出什么类型。输入扫描数字识别与进制前缀数据文件中读入的字段值在首次访问时进行延迟类型推断见 pkg/mlrval/mlrval_infer.go 中Type()方法的 JIT 计算注释推断规则如下能按整数解析的如123、0xabcd→int否则能按浮点解析的如4.56、8e9→float其余一律为string。Miller 支持三种显式整数进制前缀前缀含义示例十进制值0x十六进制0xff/0xcafe255 / 519660o八进制0o3772550b二进制0b1101/0b101113 / 11这些前缀的识别逻辑位于 pkg/scan/find.go 的findScanTypePositiveNumberOrString以0开头时依次检查0x/0X、0o/0O、0b/0B并用isHexDigit、isOctalDigit等位表见 pkg/scan/digits.go逐字符验证。十六进制还支持 C 语言风格的二补码表示0x7fffffffffffffff为正的最大int640x8000000000000000到0xffffffffffffffff则解析为负数实现见 pkg/mlrval/mlrval_infer.go 的inferHexInt其注释明确说明Go 的有符号解析不允许这种写法但 Miller 不希望 Go 语义凌驾于 Miller 语义之上。前导零数字默认按字符串处理与多数语言不同Miller默认将数据文件中带前导零的数字视为字符串例如0377和06789都不会被当作数值原因在于扫描阶段0377被归类为leading-zero-octal类型但默认推断表中该类型映射为字符串见 pkg/mlrval/mlrval_infer.go 的normalInferrerTable其中inferString, // inferLeadingZeroOctalIntAsInt的注释正说明这一设计pkg/scan/find.go 中还有细节以 0 开头且后续字符全部为 0–7 的如0377归为前导零八进制包含 8/9 的如06789归为前导零十进制两者默认都落入字符串。这正是为了保留 ID 号、版本号、邮编等看起来像数字但不是数字的字段原样。三个输入推断标志-O、-A、-S要改变上述默认行为Miller 提供三个全局标志。它们的定义与解析位于 pkg/cli/option_parse.go每个标志通过mlrval.SetInferrerXxx()切换 pkg/mlrval/mlrval_infer.go 中的包级推断器函数。mlr -O把前导零当作八进制/十进制整数-O即--infer-octal启用inferWithOctalAsInt其推断表leadingZeroAsIntInferrerTable将前导零数字也解析为整数0377→ 八进制整数值 25506789→ 因含 8/9 不是合法八进制回退为十进制整数值 6789。注意-O的帮助文本特别说明00–07这类纯八进制数字扫描为 int而含8/9的如08、09扫描为 float见 pkg/cli/option_parse.go 的 help 字段。pkg/mlrval/mlrval_infer_test.go 中inferWithOctalAsInt的测试覆盖了0123、0377、0923均为 int 的情形并验证12_3、0xca_fe含下划线分隔符仍保持字符串。mlr -A所有整数一律当浮点-A即--infer-int-as-float启用inferWithIntAsFloat先按正常规则推断若结果为int则立即转成float见 pkg/mlrval/mlrval_infer.go 的inferWithIntAsFloat将mv.intf转换为float64并把类型标记为MT_FLOAT。适用场景当你的后续运算如除法、均值、百分比本就以浮点为主且不希望int/float混算时频繁转换时-A可以统一数据源类型。若不想全局开启也可以在 DSL 表达式中手动强转例如把$c $a * $b改写为$c float($a) * float($b)mlr -S全部按字符串读入-S即--infer-none启用inferString所有数据文件字段值一律保持字符串不做任何数字解析。之后若确实需要参与运算再在 DSL 中用int()或float()显式转换。三标志对比标志全称行为典型用途-O--infer-octal前导零数字按八进制/十进制解析为 int处理八进制权限位、旧式编号-A--infer-int-as-float所有 int 读入即转 float统一浮点计算、避免类型分叉-S--infer-none一切字段保持字符串精确保留原始文本、延迟强转值得强调的是这三个标志只影响数据文件输入的类型推断DSL 表达式中的字面量如put $z123不受影响0x/0o/0b前缀在任何位置都有效。数学函数引起的类型转换大多数数学函数遵循整数入、浮点出的规则输入整数会被强制转成 float 参与计算输出也是 float。例如exp(0)的结果是1.0而非1。但以下函数/运算符在输入为整数时保持整数输出 - * / // % abs ceil floor max min round roundm sgn这些整数保持函数的实现集中在 pkg/bifs/mathlib.go 的BIF_abs、BIF_ceil、BIF_floor、BIF_round、BIF_sgn均经由imudispo整数保持调度表分发以及 pkg/bifs/arithmetic.go 中的二元运算调度表。例如ceil(1.2)是 2.0float而ceil(2)是 2int。不仅 DSL 函数如此聚合与步进动词也遵循同样规则stats1 -a min、stats1 -a max、stats1 -a sum若输入字段全是整数输出也保持整数对应 pkg/transformers/stats1.go 中 min/max 复用BIF_min_binary/BIF_max_binary的整数路径step -a delta、step -a rsum整数输入的差分与累积和输出保持整数见 pkg/transformers/step.go 的 stepper 枚举含delta、rsum等。算术运算符的整数溢出自动转浮点整数加法、减法、乘法的结果在不溢出时仍为整数一旦结果超出 64 位有符号整数范围小于-2**63或大于2**63 - 1Miller 会自动把结果转为浮点返回。对使用者而言这通常是透明的——Miller 替你处理好了你不必多想原文语义。但这背后有精妙的实现取舍全部代码注释与实现都保留在 pkg/bifs/arithmetic.go加/减符号变化检测。整数加减最多溢出 1 个 bit因此只需检查结果的符号是否与预期相反。plus_n_ii与minus_n_ii中若同号相加出现负号、或异号相减出现异常符号即判定溢出并改用float64计算返回。乘法浮点精度边界检测。乘法可能溢出整个字长符号变化检测不再可靠。Miller 的做法是先把两个整数转成 double 相乘再检查其绝对值是否超过小于 2**63 的最大可表示 IEEE double——即 9223372036854774784.0见times_n_ii中的阈值常量。之所以不能用整数比较结果可能已回绕也不能用 double 精确比较精度不够原因如下表所示64 位整数hex64 位整数十进制转成 double 后再转回 64 位整数0x7ffffffffffff9ff92233720368547742719223372036854773760.0000000x7ffffffffffff8000x7ffffffffffffa0092233720368547742729223372036854773760.0000000x7ffffffffffff8000x7ffffffffffffbff92233720368547747839223372036854774784.0000000x7ffffffffffffc000x7ffffffffffffc0092233720368547747849223372036854774784.0000000x7ffffffffffffc000x7ffffffffffffdff92233720368547752959223372036854774784.0000000x7ffffffffffffc000x7ffffffffffffe0092233720368547752969223372036854775808.0000000x80000000000000000x7ffffffffffffffe92233720368547758069223372036854775808.0000000x80000000000000000x7fffffffffffffff92233720368547758079223372036854775808.0000000x8000000000000000由于 64 位整数有 64 位精度而 IEEE double 只有 52 位尾数含隐式前导 1 共 53 位在2**63附近 double 已经无法区分相邻整数。因此 Miller 不追求恰好超过 2**63-1 才转浮点而是以 9223372036854774784 为阈值做保守判断。源码注释也明确指出备选方案是手写多字 128 位整数运算但该方案未被采用。仓库的回归测试直接验证了这种行为test/cases/dsl-basic/00470x7fffffffffffffff 0x7fffffffffffffff输出18446744073709551616.00000000即溢出后自动转 float与 test/cases/dsl-basic/0049同样的乘法则得到更大的浮点结果。不自动溢出的点运算符如果不希望自动转浮点Miller 还提供四个点运算符.、.-、.*、./它们执行纯粹的 64 位整数运算、不做溢出保护实现位于 pkg/bifs/arithmetic.go 的dotplus_i_ii、dotminus_i_ii、dottimes_i_ii、dotdivide_i_ii。例如 test/cases/dsl-basic/0048 用.相加同样的溢出操作数会得到回绕后的整数结果与的行为形成鲜明对比。当你的业务明确需要固定宽度整数回绕语义如校验和计算时可选用点运算符。Pythonic 除法/、//、%Miller 的除法与取余遵循 Python 语义而非 C 语义源码注释在 pkg/bifs/arithmetic.go 中反复强调这一点整数相除的商是浮点除非结果恰好能表示为整数这一点与 Python 不同7/2是3.5但6/2是3不是3.0。实现见divide_n_ii先判零返回 IEEE 浮点语义的Inf/NaN避免整数除零触发运行时 FPE再用a%b 0判断整除与否整除时返回 int。整数除法用//7//2是3向负无穷方向取整。int_divide_n_ii在 Go 的向零取整结果基础上对异号且有余数的情况额外减 1实现向负取整。余数非负当除数为正时13 % 10和-17 % 10都是3。modulus_i_ii在 Go 取余的基础上根据被除数与除数的符号调整符号使余数与除数同号——这正是 Python 的约定因此除数为负时余数也可能为负与 Python 一致。测试用例 test/cases/dsl-pythonic-division 对该语义做了系统覆盖例如 0002 中$pi1/1075/10得quot7.50000000、$pi1//10得iquot7、$pi1%10得mod50010/0012 系列则覆盖了负数除数与负数被除数的组合如$ni1//-10、$pi1%-10。浮点版本同理int_divide_f_ff使用math.Floor实现向负取整modulus_f_ff用a - b*math.Floor(a/b)得到 Python 风格余数。无穷与 NaNInf与is_nanMiller 的 DSL 遵循 IEEE-754 浮点语义1/0得到Inf正无穷0/0得到NaN非数值也可以直接按名字引用Inf和NaN这两个字面量。一个重要的 IEEE 事实NaN ! NaN。这与 Miller 无关是所有 IEEE 浮点实现的通用属性。因此不能用x NaN判断非数值必须使用is_nan(x)函数定义于 pkg/bifs/types.go 的BIF_is_nan内部用math.IsNaN判断且只有浮点输入才可能为真整数输入直接返回false。文档给出的一段 REPL 会话可以直观说明全部行为下方输出来自原文档示例实际提示符与版本信息以你本地构建为准$ rlwrap mlr repl Miller 6.0.0-dev REPL for darwin/amd64/go1.17 Docs: https://miller.readthedocs.io Type :h or :help for online help; :q or :quit to quit. [mlr] 1/0 Inf [mlr] 0/0 NaN [mlr] 1/0 Inf true [mlr] 0/0 NaN false [mlr] is_nan(0/0) true [mlr] is_nan(NaN) true [mlr] ?is_nan is_nan (classtyping #args1) True if the argument is the NaN (not-a-number) floating-point value. Note that NaN has the property that NaN ! NaN, so you need is_nan(x) rather than x NaN. [mlr] log10(0) -Inf [mlr] log10(-2) NaN [mlr] is_nan(log10(-2)) true注意1/0 Inf为true而0/0 NaN为falseInf是普通浮点值可以正常比较NaN则因NaN ! NaN只能靠is_nan识别。数学库函数的边界行为同样如此log10(0)得-Inflog10(-2)得NaN。最后要澄清一点Miller 中的NaN只表示数学库计算出的非数值结果绝不表示缺失、空值或 absent 值。数据缺失相关语义请参阅 null/empty/absent 数据处理 文档。实战速查数据文件里0377、06789默认是字符串需要数值化时用mlr -O或用int($f)/float($f)手动强转想全部按浮点计算用mlr -A或改写表达式为float($a) * float($b)想原样保留文本用mlr -S需要时再int()/float()大整数乘法溢出时会自动得到 float想要回绕语义就用.*等点运算符判整除用//取余数用%Python 语义余数与除数同号判NaN用is_nan()不要用 NaN。更完整的运算符与函数清单可继续查阅 DSL 运算符参考 与 DSL 内建函数参考对应的实现代码与测试则可在 pkg/bifs 与 test/cases 目录下按需深入。赞分享CLI数据分析【免费下载链接】millerMiller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON项目地址https://gitcode.com/gh_mirrors/mi/miller点击查看免费下载相关推荐Porffor数值转换安全浮点转换Porffor数值转换安全浮点转换 还在为JavaScript数值转换的不确定性而烦恼Porffor引擎通过创新的AOT编译技术和Wasm底层优化提供了前编译器开发工具yq 取模运算符%完全指南整数、浮点数与除零行为深度解析yq 取模运算符%完全指南整数、浮点数与除零行为深度解析 导读 本文围绕 yqportable command line YAML/JSON/XML/C示例工程CANN PyPTO SaturationMode 详解浮点转整数的溢出处理与饱和截断机制CANN PyPTO SaturationMode 详解浮点转整数的溢出处理与饱和截断机制 导读 SaturationMode 是 CANN PyPTOPa人工智能编译器模型编译深度学习高性能计算CANNAscend上一篇旧Mac再战3年OpenCore Legacy Patcher系统修复与性能优化速成指南下一篇在 OpenSandbox 中运行 Claude CodePython SDK 注入 CLI、Headless 调用与会话恢复的完整实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考