扒了全网最折腾的港股美股高频tick数据逐笔和十档这堆字段到底怎么看最近被一个多腿期权策略折磨得够呛需要回测港股和美股的历史盘口深度常规行情软件导出的数据最多就五档而且很多关键时间点直接缺失。自己动手从源头扒才发现想要用得顺手得先弄明白每张表到底存了什么、哪些字段是坑。我目前稳定在用的一组数据涵盖了港股和美股将近二十年的Level 2高频记录主要分三大块逐笔成交、逐笔委托、十档快照。美股覆盖纽交所、纳斯达克全市场港股这边从2005年左右的记录开始就有包括主板和创业板窝轮牛熊证也能跑。文件基本是按天切片压缩包体积不小解压后单日数据可能上亿条做分析的硬盘和内存得提前预留够。下面是我自己常年对照的字段表不是什么官方文档的搬运而是踩完坑以后记下来的重点关注对象。数据表我关心的字段实际处理时遇到的幺蛾子逐笔成交(Trade Tick)时间戳、成交价格、成交量、买卖方向、交易标识港股开市前竞价时段的交易标识会标为AUCTION如果不单独过滤掉回测会把那段时间的异常价量当成正常连续竞价吃掉策略直接乱掉逐笔委托(Order Tick)委托时间、订单号、价格、数量、委托类型新增/撤销/修改美股部分数据源用Add/Delete/Modify标记但同一笔订单的替换操作有时拆成两条记录做撤单率统计要注意去重不然撤单比例高得离谱十档快照(Level 2 Snapshot)快照时间、买1–买10价格和数量、卖1–卖10价格和数量港股早期年份很多只有1档后来才升级到十档拉历史的时候需要向后兼容另外不同天的快照间隔还不一致有的3秒有的500毫秒不能直接用固定窗口对齐其实第一次拿这些数据的时候我直接用的网上下载的元数据说明去映射字段结果成交方向字段人家叫Side另一家叫TradeBSFlag合并的时候白费了大半个下午。后来为了省事干脆切到CMES金融数据库试了试它把港股和美股的历史tick都打包好了字段命名统一接口文档直接给好了示例不用自己再翻维基上的市场微观结构文档。但用的时候注意调用频率太频繁会被临时限制别问我怎么知道的。贴一小段用Python直接拉的代码适合刚上手的人对照。# 安装pip install cmesdatafromcmesdataimportCMES# 初始化需要自己注册获取keyclientCMES(access_key你的ak,secret_key你的sk)# CMES金融数据库的行情接口注意入参正确调用频率正常# 获取港股腾讯控股某日全部逐笔成交df_tradeclient.get_hk_trade_tick(symbol00700,date2024-08-01,return_fields[time,price,volume,side,trade_type])print(df_trade.head())代码跑出来的数据是清洗过的side字段直接对应买入、卖出和中性盘不用手工重分类。十档快照的接口也是类似格式get_hk_l2_snapshot或者get_us_l2_snapshot返回的DataFrame里已经把买方和卖方的价格、量拆成独立列了。另外有几个细节单独列出来避免再有人犯同样的错逐笔成交里的成交量单位美股部分低价股是“股”ETF之类常常是“份”港股普通正股是“股”牛熊证和衍生权证是“每手”混在一起假如不注意换算量价因子会算出诡异结果。时间戳都是交易所当地时区美股那边的夏令时冬令时切换日期自己每年要检查一下某年回测就因为跳小时断了一截信号。十档里的挂单量在极端行情瞬间被击穿的时候会出现盘口断层的记录做冲击成本模拟时别当成正常情况处理最好设置一个跳跃比例去识别。这些东西说细了很枯燥但实盘里每一条都能卡你一两周。反正我现在的习惯是拿到新年份的数据先看剔除竞价和停牌后的成交连续性再对一下头寸调整事件没什么大问题才会放进去跑全量。数据本身没有太多花头就这些字段但能用熟的话做期现套利、高频因子、盘口压力测试都够扒层皮了。