Deep Limit Order Book Forecasting: A microstructural guide

7/10

Ключевые слова: лимитный стакан, эконофизика, HFT, микроструктура рынка, глубокое обучение.

Аннотация

Современный DL применяется к прогнозу высокочастотных изменений mid-цены на гетерогенном наборе акций NASDAQ. Вместе с работой выпускается LOBFrame — открытая кодовая база для обработки крупномасштабного LOB и количественной оценки SoTA-моделей. Два результата: микроструктурные свойства бумаги влияют на эффективность DL; высокая прогнозируемость не обязана давать торгуемый сигнал. Классические ML-метрики плохо оценивают качество прогноза в стакане. Альтернатива — операционный каркас: вероятность верно спрогнозировать полную транзакцию. Академикам и практикам — путь принимать решения о применении DL, его области и пределах, опираясь на emergent-свойства LOB.

1. Введение

Финансовые рынки — сильно стохастическая среда с низким отношением сигнал/шум: разнородные агенты на разных масштабах, асимметрия информации и техники. Современные биржи собирают поток заявок в FIFO-стакан [1, 2] и в каждый момент показывают всем одно и то же состояние рынка. Как этой информацией пользуются и как рынок отвечает — экологическая линия работ [3–5]. Здесь фокус на HFT: преимущество скоростью, действие на информации, ещё недоступной другим [6]; хищник–жертва относительно остальных стратегий [3]; интеграция рыночных данных вместо внешней информации, производство шума и поддержание непредсказуемости цены [4]. Консенсуса, полезен HFT или вреден, нет [7–11].

DL для одно- и многомерных рядов открыл сценарии прогноза LOB [12–15]. Академия и практики расходятся: доступ и хранение live/исторических HFT-данных дороги, вычислительные ресурсы тоже; молодое DL-сообщество часто берёт LOB как ещё один полигон для SoTA, игнорируя сложность системы.

Стилизованные факты микромасштаба (ликвидность, спреды по типам бумаг) давно изучены [1, 16], но почти не используются в прогнозе стакана. Мы связываем «predictability rate» (вероятность верно угадать направление mid на горизонте) с микроструктурой. 15 акций NASDAQ: сначала свойства, затем DeepLOB [15] на неоднородных горизонтах, затем пригодность прогнозов и simulation-to-reality gap [17]. Параллельно — LOBFrame: открытый код с высокой usability, куда можно вставлять новые модели. В поле нет стандартизированных протоколов и полного open-source пайплайна; статья и код претендуют на бенчмарк-ресурс.

Дальше: §2 — механика LOB; §3 — литература; §4 — данные; §5 — обучение DeepLOB; §6 — микроструктурные свойства; §7 — прогноз; §8 — синтез и открытые задачи.

2. Лимитный стакан

Электронная книга неисполненных лимиток. Цена — самоорганизация через постановку и отмену заявок [18]. Заявка $o=(\epsilon_o,p_o,v_o,\tau_o)$ [1]: знак $\epsilon=+1$ bid / $-1$ ask; цена на дискретной сетке с тиком $\theta$ (на NASDAQ 0,01 USD для всех бумаг); объём с лотом 1; время непрерывно (до наносекунд).

Три семейства: лимитка — не по текущему лучшему встречному, исполнения нет гарантии, обычно дешевле (добавляет ликвидность); маркет — по лучшему встречному, остаток глубже, дороже (забирает ликвидность); отмена — полная или частичная, обычно без комиссии.

LOB в момент $\tau$ — множество активных лимиток актива на площадке [18], ряд $L$, запись $L(\tau)\in\mathbb{R}^{4L}$ на $L$ уровнях:

Mid $m_\tau=(p^{\mathrm{ask}}_1+p^{\mathrm{bid}}_1)/2$; спред $\sigma_\tau=p^{\mathrm{ask}}_1-p^{\mathrm{bid}}_1$.

3. Связанные работы

Обзор статистического и автоматизированного моделирования динамики LOB: эконофизика и стилизованные факты [1, 16]; ранние ML/DL для mid (CNN, LSTM, DeepLOB [15]); нехватка воспроизводимого кода и пайплайнов. Полный разбор — в оригинале §3; ближайший перевод на сайте — HLOB тех же авторов на том же LOBFrame.

4. Данные

15 акций NASDAQ, tick-by-tick LOBSTER [77], 2017–2019, large- и mega-cap. Сектора: Technology (AAPL, GOOG, IBM, NVDA, ORCL), Health Care (ABBV, PFE, PM), Telecom (CHTR, CSCO, VZ), Finance (BAC, GS), Staples (KO), Discretionary (MCD). Средняя капитализация 2017/18/19: 254 / 229 / 297 млрд USD, медиана ниже среднего (правый хвост); максимум AAPL (барьер 1 трлн USD в 2019), минимумы CHTR / GS.

Сплит по годам: обучение / 5 дней валидации / 10 дней теста (табл. 2 оригинала). Горизонты $H_{\Delta\tau}\in\{10,50,100\}$ в обновлениях стакана, не в физическом времени. Разметка «возврата» — простая разность mid (не log-return), чтобы контролировать амплитуду тик-за-тиком, что нужнее HFT, чем сглаженные тренды [15, 70, 74, 80]:

В коде метки 0/1/2; в тексте $-1,0,1$ как у Zhang et al. [15]. Табл. 3–5: дневные частоты классов. Small-tick ближе к балансу на $H_{10}$; large-tick балансируются на $H_{50}$ и $H_{100}$. Это позже объясняет $p_T$.

5. Методы

Два шага: (i) извлечь и классифицировать микроструктуру (§6); (ii) прогноз и сопоставить с (i).

LOBFrame — открытый пайплайн: трансформация данных, быстрые train/val/test, оценка выходов торговыми симуляциями (сами симуляции в эту статью не входят, см. §7.2), вставка новых моделей. Здесь SoTA — DeepLOB [15]: CNN ловят меж уровневую пространственную динамику без сильных априори [81–83]; LSTM — остаточные временные зависимости [84, 85]. Короткие зависимости уже в свёртках по снимкам (рис. 2). Критерии выбора модели: есть оригинальный код; data-driven архитектура; признание сообщества. Теоретические выводы §7 от конкретной модели не зависят.

Вход $100\times 40$: 100 последовательных обновлений $\times$ 40 пространственных компонент (10 уровней $\times$ ask/bid цена/объём). Батч 32. На обучении сэмплинг случайный и сбалансированный: на день берут $n=\min(5000, n_{\mathrm{min-class}})$ представителей каждого класса.

6. Микроструктурные приоры

Классика: $\langle\sigma\rangle\gg\theta$ — small-tick, $\langle\sigma\rangle\simeq\theta$ — large-tick [1]. Для NASDAQ это слишком грубо. Количественные границы (условие должно держаться $\ge 2$ из 3 лет):

• small-tick: $\langle\sigma\rangle \gtrsim 3\theta$;
• large-tick: $\langle\sigma\rangle \lesssim 1.5\theta$;
• medium-tick: $1.5\theta \lesssim \langle\sigma\rangle \lesssim 3\theta$ (пограничные бумаги, уже отмечались в [1, 92]).

Рис. 3 — PDF спреда в тиках: large-tick пик у 1 тика; small — длинный хвост. Рис. 4 — CCDF объёма на лучших котировках: large-tick ликвиднее на best. Рис. 5 — PDF «фактической глубины» $\Xi$ (расстояния до следующего занятого уровня: сетка не однородна). Табл. 7: вероятность, что $H\in\{10,50,100\}$ обновлений уложится в физические окна; у large-tick активность выше, события чаще в $[1,10)$ с.

Кластеры поведения в итоге сводятся к эффектам тик-сайза, даже если мерить information richness [45] (прил. A).

7. Результаты

DeepLOB на трёх классах, $H_{\Delta\tau}\in\{10,50,100\}$, разные пороги уверенности. Связь с микроструктурой §6.

7.1. Классические ML-метрики

$H_{10}$. Small/medium путают крайние классы (Down/Up): у small 29% истинных Up как Down и 27% наоборот; medium — 36% Up как Down. Large-tick крайние классы ловит лучше, ошибки в основном в Stable (0).

$H_{50}$ и $H_{100}$. У small/medium путаница крайних растёт (на $H_{50}$ small: 39% истинных Up как Down). Large-tick остаётся устойчивее.

MCC — уместная метрика при разных размерах классов [95, 96]. Large-tick легче предсказывать, сигнал крепче и держится по $H$. Но полезность зависит от того, успевает ли железо среагировать: mid-апдейт large-tick чаще в коротких физических окнах — нужен low-latency стек.

7.2. Практичность прогнозов

Исторический бэктест стратегии по DL-выходам невозможен без разрушительных допущений [15, 97, 98]: успеть записать live, посчитать и исполнить; всегда получить fill; нулевой импакт; нулевые издержки. Это не то, чем академия должна закрывать gap с практиками.

Предложение: assumption-free, нечувствительный к дисбалансу классов разбор хронологически упорядоченных прогнозов (рис. 10). Прямое отображение: первая Down — открыть шорт $O_s$; Stable — держать $M_s$; Up — закрыть шорт $C_s$ и открыть лонг $O_b$; и т.д. Транзакция = успешные открытие и закрытие.

Метрики: PT — потенциальные транзакции по таргетам; TT — исполненные по прогнозам; CT — пересечение (совпали вход и выход); вероятность верной транзакции

«Открыть/закрыть» здесь — только совпадение паттернов в двух последовательностях, без fill, импакта и комиссий.

Табл. 8 (по тикерам): у small-tick разделение, невидимое на рис. 9, следует микроструктуре. На $H_{100}$ у small средний $p_T\approx 0.05$ при PT $\sim 7\cdot 10^4$; у large $p_T\approx 0.15$ при меньшем PT ($\sim 2.7\cdot 10^4$), и $p_T$ заметно выше 0 при порогах $\le 0.7$. Уникальный паттерн large-tick по горизонтам не объясняется одной микроструктурой: плюс симметрия дисбаланса классов (табл. 3–5) и сбалансированный сэмплинг на обучении.

Итог §7: высокий MCC $\ne$ торгуемый сигнал. $p_T$ учитывает хронологию ошибок; это устойчивее, чем PnL одной стратегии на истории.

8. Заключение и дальнейшая работа

Мост между микроструктурным анализом LOB и прогнозом. 15 ликвидных NASDAQ, 2017–2019, классы по тик-сайзу с количественными границами. Поведенческие кластеры сводятся к эффектам тика. LOBFrame — стандартный протокол обработки крупного LOB, готов к новым моделям. Разметка (2) заточена под HFT; пайплайн бережно работает с дисбалансом. MCC по трём $H$ и порогам: large-tick предсказуемее и устойчивее, но полезность сигнала требует низкой латентности.

Практичность: $p_T$ вместо исторического PnL с нереалистичными допущениями. Хронология ошибок входит в оценку явно.

Дальше: кросс-биржевая валидация; систематическое сравнение архитектур на small/medium (разреженный стакан) — трансформеры [99–102], диффузия [103–106], графы [107–109].

Литература

Полный список — в PDF. Ключевые:

1. Bouchaud, J.-P. et al. (2018). Trades, Quotes and Prices. CUP. ↑
2. Gould, M. D. et al. (2013). Limit order books. Quant. Finance. ↑
3. Zhang, Z., Zohren, S. and Roberts, S. (2019). DeepLOB. J. Financial Data Science. ↑
4. Huang, R. and Polak, T. LOBSTER: Limit Order Book System — The Efficient Reconstructor. ↑
5. Briola, A., Bartolucci, S. and Aste, T. (2024). HLOB. arXiv:2405.18938. Перевод: hlob.html.
6. Sirignano, J. and Cont, R. (2019). Universal features of price formation. Quant. Finance. ↑
7. Tsantekidis, A. et al. — CNN/LSTM for LOB mid-price.
8. Prata, M. et al. — survey / reproduction of LOB DL models.

Перевод основного текста. Приложения A–C — в PDF. Оригинал: arXiv:2403.09267 · Briola, Bartolucci, Aste · CC BY-NC-ND 4.0 · код LOBFrame.