数据分析CLI数据可视化【免费下载链接】visidataA terminal spreadsheet multitool for discovering and arranging data项目地址https://gitcode.com/gh_mirrors/vi/visidata点击查看免费下载vdsql 是 VisiData 生态中的数据库查询接口它把 VisiData 的表格交互范式映射到 SQL 数据库之上让用户通过按键组合即可完成过滤、排序、聚合与联表查询而不必手写 SQL。本文以 visidata/apps/vdsql/CHANGELOG.md 的版本记录为主线结合 vdsql README 与 核心实现 _ibis.py完整梳理 vdsql 0.1 到 0.2 的功能演进、后端支持、可配置选项、命令行为以及已知限制帮助读者快速判断 vdsql 是否适合自己的数据库查询场景并掌握其正确使用姿势。vdsql 是什么vdsql 是一个独立的 VisiData 应用位于 visidata/apps/vdsql本质是面向数据库的 VisiData 界面。它由 Python 查询表达式框架Ibis驱动用户在 VisiData 中通过命令组合出的每一个操作都会被翻译成 Ibis 表达式最终由 Ibis 编译为对应后端SQLite、PostgreSQL、DuckDB、ClickHouse、BigQuery 等的 SQL 并执行。其核心能力可以概括为三点见 README 的 Features 一节从任何受支持的后端把数据查询进 VisiData用 VisiData 命令组合复杂查询替代手写 SQL把当前查询结果输出为 SQL、Substrait 或 Python 表达式。vdsql 独立打包为 PyPI 包pip install vdsql安装后同时提供两个入口常规的vd -f vdsql以插件形式加载以及行为与vd完全一致但默认走 Ibis 加载器的vdsql脚本见 setup.py 的 entry_points 与 scripts 声明。其版本号定义在about.py 中当前为0.3dev即 0.2 之后的开发版。版本演进主线CHANGELOG.md 记录了三个版本的演进版本发布日期主题0.12022-08-08初版以vdsql文件类型加载 SQLite 与 DuckDB 数据命令基于 Ibis 表达式实现0.1.12022-08-08依赖收窄ibis-framework 依赖仅限 sqlite 和 duckdb0.22022-10-12大规模扩展新增 6 类后端、4 类新选项、3 组新命令并系统化地标注了未实现功能从 0.2 的说明可以看出vdsql 在早期迭代中已经把大多数 VisiData 命令和特性实现了第一遍以至于维护者认为列举未实现的东西比列举已实现的更容易原文its easier to talk about whats not implemented, than what is。这一判断与代码现状吻合_ibis.py 单文件承载了连接池、索引表、列映射、表达式编译、频率表、联表等完整逻辑。后端支持矩阵0.2 确认并测试的后端根据 CHANGELOG 0.2 条目以下后端在 0.2 中已添加并通过测试BigQueryClickHouseMySQLPostgreSQLDuckDB.ddb扩展名SQLite.sqlite3扩展名Snowflake依赖未发布的 Ibis 版本README 的 Supported Backends 与之一致并进一步说明SQLite 是默认随包安装的唯一后端其他后端通过pip install ibis-framework[postgres]这类方式单独安装 Ibis backend 后自动被支持。连接方式与文件扩展名映射vdsql 的file_or_url可以是ibis.connect()支持的任何连接串也可以是 VisiData 自身支持的文件类型见 README Usagevdsql foo.sqlite # 或 .sqlite3、.db vdsql foo.duckdb # 或 .ddb vdsql mysql://... vdsql postgres://... vdsql clickhouse://play:clickhouseplay.clickhouse.com/?secure1 vdsql bigquery:///bigquery-public-data在源码层面这一映射在 open_vdsql 中完成本地文件按扩展名改写为duckdb://或sqlite://连接串再交给IbisConnectionPool惰性建立连接。vdsql脚本运行时还会为db、ddb、duckdb、sqlite、sqlite3等扩展名注册open_*加载器并把所有 Ibis 后端的openurl_*加载器覆盖为 vdsql 版本见main.py仅对 bigquery、clickhouse、snowflake 保留其各自目录下的专用实现bigquery.py、clickhouse.py、snowflake.py。后端专属说明PostgreSQL默认只展示publicschema 的表通过--postgres-schemamyschema otherschema指定多个 schema或--postgres-schema*展示所有非系统 schema命令行中需对*加引号以免 shell 通配展开见 README PostgreSQL 节。该选项在源码中由IbisTableIndexSheet读取并用于过滤数据库列表_ibis.py。MySQLDebian/Ubuntu 上需要libmysqlclient-dev若遇时区警告可执行mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql mysqlREADME MySQL 节。BigQuery连接串格式为bigquery://billing_project/dataset_idbilling project 作为 netloc、dataset 作为 pathbigquery.py 模块 docstring。ClickHousevdsql 为其实现了流式读取与真实行数统计ClickhouseSheet.countRows覆盖并把total_rows_to_read用作进度条总量clickhouse.py。Snowflake走 Ibis 的异步查询执行execute_async 轮询并提供warehouse初始化属性与查询取消能力snowflake.py。此外README 列出的Apache Impala、Datafusion、Dask、PySpark、HeavyAI属于Ibis 支持但 vdsql 未专门测试的后端使用前需自行验证。0.2 新增的选项CHANGELOG 0.2 的 options 部分 与 README Options 节 共同给出了完整选项清单选项默认值说明sql_always_countFalse是否在每次查询中附带总行数统计disp_histogram/disp_histolen关闭频率表freq sheet中的柱状图显示默认禁用clean_namesTrue仅 ibis sheets对列名做清洗规范化load_lazyTrue仅 ibis sheets惰性加载regex_flags不忽略大小写正则匹配默认区分大小写ibis_limit500单次查询最多抓取的行数postgres_schema仅 publicPostgreSQL 展示的 schema 列表disp_ibis_sidebarpending_sql侧边栏展示哪个属性这些选项在源码中均有对应注册点sql_always_count、ibis_limit、disp_ibis_sidebar在 _ibis.py 顶部通过vd.option(...)注册postgres_schema、load_lazy、clean_names、regex_flags则分别作为IbisTableIndexSheet/IbisTableSheet的 class_options 设置_ibis.py。sql_always_count的底层行为开启sql_always_count后vdsql 会把总行数并入查询结果withRowcount()将查询与聚合计数做 cross join产出__n__列_ibis.py。iterload中con.execute(..., limitibis_limit or None)执行查询_ibis.py而countRows属性会优先从结果首行的__n__列取值_ibis.py。CHANGELOG 特别提醒该选项默认关闭因为部分后端上统计总行数成本高昂甚至不可行——这也正是 0.2 中rowcount 默认禁用的原因。频率表柱状图histogram0.2 起频率表支持柱状图但默认关闭需同时设置options.disp_histogram █ # 任意字符即可源码中作为 repeat 的填充字符 options.disp_histolen 40 # 柱状图长度源码实现位于groupBy()在仅有 count 聚合时用ibis.literal(histogram_char).repeat(...)在 SQL 层生成柱状图列柱长按histolen*t[count]/t.maxcount计算_ibis.py全程在数据库内完成不把全量数据拉到本地。0.2 新增的命令CHANGELOG 命令部分 记录了四组命令行为变化exec-sqlexec-sql让用户直接输入任意 SQL 文本vdsql 将其作为新查询源打开为名为rawsql的 sheet。实现上IbisTableSheet.rawSql()调用con.sql(qstr)把原始 SQL 包成 Ibis 表达式_ibis.py索引表与表 sheet 都注册了该命令_ibis.py。适合对 vdsql 组合不出的复杂 SQL 直接兜底。dup-limitz与dup-nolimitgz这两个命令用于控制派生子表的行数上限dup-selected基于当前选择与排序以默认ibis_limit打开新查询zdup-limit提示输入新的行数上限gzdup-nolimit去掉上限、抓取全部行CHANGELOG 与 README 均提示小心使用。实现上dup_limit()以pending_expr作为新 sheet 的 query并把options.ibis_limit设为指定值0 表示不限制sheet 名追加_topN或_all后缀_ibis.py。配套地dup-selected也是基于pending_expr而非已加载的行数据_ibis.py这保证了派生查询仍由数据库引擎完成。侧边栏键位重构b/zb/gb0.2 把侧边栏交互统一收拢到b键族b切换侧边栏开/关从循环切换改为开关切换zb选择侧边栏展示内容待执行 SQL、基础 SQL 等gb把侧边栏内容作为独立 sheet 打开。侧边栏可展示的属性在源码中定义得很明确_ibis.py属性展示内容pending_sqlSQL待执行含选择与排序base_sqlSQL基础查询str_current_expr当前 Ibis 表达式str_pending_expr待执行 Ibis 表达式curcol_sql光标所在列的 SQL 片段pending_sql是sqlize(pending_expr)的结果而pending_expr依次叠加了当前列、选择过滤ibis_filter与排序_ordering_ibis.py。README 给出的经典工作流是用 VisiData 命令组合出查询 → 打开 SQL 侧边栏 → 把 SQL 存文件或复制进剪贴板README Sidebar 节。调试模式下options.debugsqlize还会先withRowcount把行数并入 SQL_ibis.py方便核对查询规模。与普通 VisiData 的行为差异vdsql 尽量让命令行为与 VisiData 一致但查询是延迟编译的因此少数键位语义有数据库化改造README 差异清单dup-sheet跑一次新的基础查询包含新增列、当前选择过滤与当前排序把当前列 cast 到给定类型并持久化到后续查询中addcol-cast在源码中通过query.mutate(**{col.name: expr})改写查询并隐藏旧列_ibis.pygfreeze-sheet把已加载的行冻结成普通 VisiData sheet此后所有 VisiData 命令均可用。已知限制与未实现命令不适用于多数后端的三类能力CHANGELOG 明确列出progress进度多数后端无法提供rowcount行数默认禁用部分后端昂贵或不可行task cancellation任务取消不支持。ClickHouse 与 Snowflake 是例外前者通过流式读取拿到total_rows_to_read支撑进度后者实现了基于SYSTEM$CANCEL_QUERY的异步取消见上文后端专属说明但这两者都不改变整体结论。未实现可能未来实现的命令CHANGELOG 的 not-implemented 清单 覆盖四类正则与表达式选择regex select、select-expr、unselect-expr、select-exact-cell/row、select-rows列变换addcol-capture、addcol-incr/incr-step、addcol-window、capture-col、contract-col、expand-col-depth/expand-cols/expand-cols-depth、cache-col/cache-cols元操作describe-sheet、melt、freq-summary、random-rows、dive-selected-cells数据修改依赖 Ibis 支持增删行、原地改值duplicate 类命令dup-rows、dup-rows-deep、dup-selected-deep。这些命令在源码中被显式禁用notimpl_cmds、neverimpl_cmds、dml_cmds三组命令名逐一注册到notimpl()处理器触发时给出警告并提示用g复制到新的非 Ibis sheet_ibis.py。其中dml_cmds覆盖了编辑、复制粘贴、删除、setcol 系列等数据变更命令与 CHANGELOG 中data modification commandspending Ibis support的说明一致。永远不会实现的命令CHANGELOG 明确点名两类transpose以及select-after、select-error等不常用选择命令。这些在neverimpl_cmds中同样被绑定到notimpl()_ibis.py。绕过限制的标准姿势CHANGELOG 给出的通用解法是先freeze-sheetg把当前已加载的行拷贝成一个普通 VisiData sheet再在该 sheet 上执行任何受限命令。README 补充了重要前提基础 VisiData 命令只能使用已加载的行默认 500 行数据集可能不完整因此大多数未实现命令被禁用若明知数据不完整仍要使用先用g冻结README。依赖策略与测试覆盖0.1.1 的关键调整把 ibis-framework 依赖收窄到sqlite与duckdb两个后端避免默认安装过重。对应到 requirements.txt 与 requirements-extra.txt默认依赖为ibis-framework[sqlite]、ibis-substrait、sqlparse、pandas1.5.0额外依赖则追加ibis-framework[duckdb,clickhouse,bigquery] 12、psycopg2-binary、duckdb-engine、duckdb。0.2 的依赖提示加载时若缺少ibis-framework依赖vdsql 会给出可读的错误提示CHANGELOG 第 25 行。测试visidata/apps/vdsql/tests 目录中每个.vdj脚本如 dup-limit.vdj、select-expr.vdj、freq.vdj都对应一个 golden 输出覆盖 dup-limit、正则选择、表达式选择、频率表、toggle 等 0.2 重点功能的回归验证clickhouse-demo.vdx 则提供了 ClickHouse 后端的演示会话。小结从 CHANGELOG.md 的版本记录看vdsql 在 0.2 已形成稳定的能力边界七个确认后端、以 Ibis 表达式为核心的命令体系、可组合的 SQL/Ibis/Substrait 侧边栏输出以及一套显式标注未实现/永不实现的受限清单。对于需要用交互式表格手感查询数据库的场景vdsql 提供了一条从按键操作到可复用 SQL 的完整路径对于需要完整 VisiData 命令集的操作则记住gfreeze-sheet这一逃生通道即可。赞分享数据分析CLI数据可视化【免费下载链接】visidataA terminal spreadsheet multitool for discovering and arranging data项目地址https://gitcode.com/gh_mirrors/vi/visidata点击查看免费下载相关推荐Cilium 项目中的 Sprig 模板函数库基于 CHANGELOG 的版本演进与函数能力全解析Cilium 项目中的 Sprig 模板函数库基于 CHANGELOG 的版本演进与函数能力全解析 导读 本文以 Cilium 仓库内 vendored 依赖云原生网络服务网格可观测性网络安全eBPFSeaTunnel MySQL CDC 连接器版本演进全解基于 changelog 与源码的 2.3.0 → 2.3.12 能力地图SeaTunnel MySQL CDC 连接器版本演进全解基于 changelog 与源码的 2.3.0 → 2.3.12 能力地图 本文以 SeaTunne数据集成ETL大数据批处理流处理变更数据捕获Knex 查询构建器版本演进全解析从 0.1.0 到 3.3.0 的核心能力发展脉络基于官方 ChangelogKnex 查询构建器版本演进全解析从 0.1.0 到 3.3.0 的核心能力发展脉络基于官方 Changelog Knex 是一款面向 PostgreSQ数据库后端关系型数据库上一篇快速上手抖音无水印下载:douyin-downloader 单条、批量与直播下载教程下一篇ChaldeaFGO玩家的全能战斗模拟器与养成规划神器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考