TradeFM: генеративная foundation-модель для потока сделок и микроструктуры рынка

8.5/10

Аннотация

Foundation-модели преобразили области от языка до геномики, выучивая универсальные представления из крупномасштабных разнородных данных. Мы представляем TradeFM — генеративный трансформер на 524 млн параметров, переносящий эту парадигму на микроструктуру рынка: он учится напрямую на миллиардах торговых событий по более чем 9 тысячам акций. Чтобы обеспечить обобщение между активами, мы разрабатываем масштабно-инвариантные признаки и универсальную схему токенизации, отображающие разнородный мультимодальный поток событий в единую дискретную последовательность и устраняющие необходимость калибровки под каждый актив.

В связке с детерминированным симулятором рынка развёртки, порождаемые TradeFM, воспроизводят ключевые стилизованные факты финансовых доходностей: тяжёлые хвосты, кластеризацию волатильности и отсутствие автокорреляции доходностей. Количественно TradeFM достигает в 2–3 раза меньшей распределенческой ошибки, чем базовые модели на составном процессе Хоукса, и обобщается без дообучения на географически чужие рынки Азиатско-Тихоокеанского региона при умеренном росте перплексии. В совокупности это позволяет предположить, что масштабно-инвариантные представления сделок улавливают переносимую структуру микроструктуры рынка, открывая путь к генерации синтетических данных, стресс-тестированию и обучаемым торговым агентам.

1. Введение

Финансовые рынки — сложные адаптивные системы, где стратегические взаимодействия разнородных участников порождают высокочастотную нестационарную динамику. Атомарной записью этих взаимодействий служит поток заявок: череда заявок на покупку и продажу, подаваемых на рынок. Моделирование потока заявок — грозная задача: статистические свойства торговых данных резко различаются между активами, режимами ликвидности и периодами времени, а любой отдельный участник наблюдает лишь частичную картину истинного состояния рынка.

Несмотря на эту сложность, есть веские свидетельства того, что формирование цены подчиняется универсальным принципам на разных рынках. Сириньяно и Конт (2021) показали, что единая модель глубокого обучения, обученная на объединённых данных многих акций, превосходит модели, специфичные для отдельного актива, — даже для отложенных акций. Это подводит к естественному вопросу: может ли единая foundation-модель выучить универсальное представление рыночной механики из сырого многоактивного потока заявок?

Мы отвечаем утвердительно моделью TradeFM — декодирующим трансформером на 524 млн параметров, предобученным более чем на 10 миллиардах токенов, полученных из свыше 9 тысяч акций США. Наши вклады четверичны:

1. TradeFM: крупномасштабная генеративная foundation-модель микроструктуры рынка, выучивающая единую динамику потока сделок из миллиардов транзакций по всей широте рынка акций США.
2. Обучение на частичных наблюдениях. В отличие от прежних подходов глубокого обучения, требующих на входе полный лимитный стакан (таблица 1), TradeFM учится на частично наблюдаемом состоянии рынка — потоке событий, доступном любому отдельному участнику. Это показывает, что foundation-модель микроструктуры не нуждается в привилегированном доступе к полному стакану.
3. Масштабно-инвариантное представление и токенизация. Сквозная методология, превращающая сырые разнородные данные о сделках в единую дискретную последовательность через масштабно-инвариантные признаки и универсальную схему токенизации. Это позволяет одной модели обобщаться на разнообразные активы и режимы ликвидности без калибровки под конкретный актив.
4. Замкнутая симуляция рынка. Интеграция предобученной модели с детерминированным симулятором создаёт среду высокой достоверности для оценки реалистичности через воспроизведение стилизованных фактов, изучения рыночного воздействия и обучения агентов.

2. Предварительные сведения

2.1. Механика современных электронных рынков

Чтобы задать контекст для широкой аудитории специалистов по ИИ и машинному обучению, кратко изложим базовые понятия микроструктуры, стандартные для современных электронных рынков.

Финансовые рынки преимущественно организованы вокруг лимитного стакана — записи всех неисполненных заявок по бумаге в реальном времени, работающей как непрерывный двусторонний аукцион. Стакан состоит из стороны покупки (bid) и стороны продажи (ask); середина между наивысшей ценой покупки и наименьшей ценой продажи есть средняя цена актива. Лёгкость, с которой актив можно быстро купить или продать по устойчивой цене, называется ликвидностью.

Участники взаимодействуют со стаканом через последовательность действий, называемую в совокупности потоком заявок. Участники могут подавать лимитные заявки с конкретным ценовым пределом, которые лежат в стакане в ожидании сопоставления. Расстояние между ценой заявки и средней ценой — это ценовая глубина, измеряемая в тиках (минимальный шаг цены, обычно 0,01 доллара) либо в базисных пунктах (0,01% от цены). Участники могут также подавать рыночные заявки для немедленного исполнения против лежащих лимитных, начиная с лучшей цены, и снятия для отзыва лежащих заявок. Когда входящая заявка сопоставляется с лежащей, происходит исполнение. Процесс сопоставления обычно управляется детерминированным алгоритмом приоритета «цена — время»: сначала приоритет по цене, затем по времени подачи. Эти элементы и механизмы и составляют микроструктуру рынка.

2.2. Стилизованные факты как эмерджентные свойства

Стратегические взаимодействия участников порождают эндогенную рыночную динамику. Эта динамика, в свою очередь, порождает универсальные и устойчивые статистические свойства, известные как стилизованные факты. Они наблюдаются на широком круге активов, рынков и периодов и служат важнейшим эталоном реалистичности любой генеративной модели рынка. Ключевые из них:

• Тяжёлые хвосты доходностей. Доходности лептокуртичны — экстремальные движения случаются намного чаще, чем предсказывает гауссовское распределение.
• Кластеризация волатильности. Периоды высокой волатильности группируются вместе, что проявляется в медленно затухающей автокорреляции абсолютных доходностей.
• Отсутствие автокорреляции доходностей. В согласии с эффективностью рынков автокорреляция доходностей незначима за пределами очень коротких лагов.

3. Связанные работы

Моделирование микроструктуры эволюционировало от явных, теоретически обоснованных формулировок к неявному обучению представлений на данных. Наша работа продолжает эту траекторию, помещая генеративную foundation-модель как естественный следующий шаг — выучивание универсальной рыночной динамики прямо из сырых разнородных данных.

3.1. Микроструктура и моделирование потока заявок

Классические стохастические модели. Значительный корпус литературы моделирует времена приходов заявок точечными процессами — например, процессами Хоукса, чтобы уловить самовозбуждающуюся природу потока. Более изощрённые подходы принимают составные процессы Хоукса, сочетающие процесс Хоукса для межсобытийных интервалов с эмпирическими распределениями для прочих признаков вроде объёмов и ценовых глубин. Обеспечивая прочное теоретическое основание, эти модели опираются на конкретные параметрические допущения (например, гауссовость), не способные уловить тяжелохвостую природу рыночных доходностей. Схожим образом ансамблевые методы на скрытых марковских моделях применялись для классификации последовательностей торговой активности, показывая, что вероятностные последовательностные модели улавливают осмысленную структуру финансовых данных даже при малом числе размеченных примеров.

Агентные модели. Агентные модели симулируют динамику рынка, задавая поведение отдельных участников и наблюдая эмерджентные свойства системы. Исторически они требовали ручного конструирования поведения агентов, но недавние подходы успешно калибруют агентов на реальных рыночных данных. Наша работа вносит вклад в это направление, позволяя выучивать сложную рыночную динамику, которая может служить основой для более изощрённого агентного моделирования.

Ранние модели глубокого обучения. Применение глубокого обучения к данным стакана начато моделями вроде DeepLOB. Они показали потенциал выучивания признаков напрямую из данных, но обычно обучались на подмножестве инструментов, что ограничивает способность выучивать универсальные представления для разнообразных активов и рыночных условий.

3.2. Трансформеры и foundation-модели в финансах

Архитектура трансформера широко применяется в самых разных областях, включая геномику, прогноз временных рядов и моделирование платёжных транзакций. В микроструктуре рынка недавние трансформерные модели сосредоточены на дискриминативном предсказании для краткосрочного прогноза. Эти подходы работают на полных снимках лимитного стакана и нацелены на один или несколько инструментов. К генерации финансовых данных применялись также генеративно-состязательные сети и диффузионные подходы; эти методы обычно нацелены на ряды цен или доходностей, а не на поток заявок на уровне событий, и не оценивались в многоактивном масштабе.

Заметный генеративный подход — MaRS, симулятор рынка с foundation-моделью в основе. Опираясь на его принципы, TradeFM отличается по трём измерениям (таблица 1): (1) данные предобучения явно построены так, чтобы максимизировать разнородность по тысячам активов, секторов и режимов ликвидности; (2) частичная наблюдаемость — обучение на сообщениях уровня 3 о сделках, а не на полных снимках стакана, что соответствует информации, доступной реальному участнику; (3) географическое обобщение без дообучения на невиданные рынки, обеспеченное масштабно-инвариантной конструкцией признаков, укоренённой в теории универсального формирования цены. Прямое количественное сравнение с MaRS неосуществимо: она требует на входе контекст лимитного стакана (строго больше информации, чем поток событий), обучена на другом рынке (китайские акции) и охватывает меньше активов (около 500 против более 9 тысяч).

4. Постановка задачи

Мы формулируем задачу моделирования микроструктуры как генеративную авторегрессионную задачу моделирования последовательностей. Пусть рыночная динамика представлена последовательностью дискретных торговых событий $E = (e_1, e_2, \ldots, e_T)$.

Рисунок 1 — смотреть в оригинале (PDF)

Цель — выучить условное распределение $P(e_t \mid e_{

4.1. Представление торгового события

Отдельное торговое событие $e_t$ есть многопризнаковый кортеж, фиксирующий состояние рынка в момент транзакции. Формально $e_t = (\Delta t_t,\ \delta p_t,\ v_t,\ a_t,\ s_t)$, где основные признаки таковы: $\Delta t_t$ — межсобытийный интервал с предыдущего события (секунды); $\delta p_t$ — ценовая глубина транзакции (базисные пункты); $v_t$ — объём транзакции (акции); $a_t$ — тип действия или заявки (например, подача заявки, снятие); $s_t$ — сторона инициирующей заявки (покупка или продажа). Распределения этих признаков показаны на рисунке 1.

4.2. Ключевые технические сложности

Моделирование этого потока данных сопряжено с трудностями, присущими высокочастотным рынкам: разнородность и сдвиг распределений между разнообразными активами и периодами; разреженность и нерегулярность асинхронного потока событий; частичная наблюдаемость истинного состояния рынка по данным о транзакциях; и высокоразмерное мультимодальное пространство признаков, сочетающее непрерывные и категориальные значения.

5. Данные и конструирование признаков

Наша методология рассчитана на обработку сырых разнородных транзакционных данных в большом масштабе и их преобразование в стандартизованный формат, пригодный для генеративной foundation-модели. Конвейер состоит из курирования данных, надёжного конструирования признаков и новой схемы токенизации.

5.1. Источники данных и масштаб

Модель предобучена на закрытом наборе данных, построенном из миллиардов сырых потиковых транзакций по акциям США за 368 торговых дней с февраля 2024 по сентябрь 2025 года, охватывающих всю широту американского рынка акций. Это более 19 миллиардов токенов по 1,9 млн пар «дата — актив». Мы применяем временну́ю отсечку, резервируя период с января 2025 года по всем активам под тестовую выборку, что даёт обучающую выборку в 10,7 млрд токенов и тестовую в 8,7 млрд. Токенизатор калиброван на первых 30 днях обучающих данных — феврале 2024 года. Для оценки обобщения вне распределения дополнительно отложен один месяц данных по регионам Азиатско-Тихоокеанского региона — январь 2025 года для Японии и Китая.

5.2. Оценка средней цены

Надёжная оценка истинной средней цены $p^{\text{mid}}_t$ критична для нормировки ценовых признаков. В нашей постановке с частичной информацией средняя цена не наблюдается — мы видим лишь зашумлённые цены исполнения $p^{\text{exec}}_t$. Опираясь на классическую средневзвешенную по объёму цену, мы вводим экспоненциально взвешенную VWAP (EW-VWAP) — оценку, учитывающую время и совместно принимающую во внимание объём сделки и её свежесть:

$$\hat{p}^{\text{EW-VWAP}}_t = \frac{\operatorname{EMA}\left(p^{\text{exec}}_t \cdot v_t\right)}{\operatorname{EMA}(v_t)}$$

Коэффициент сглаживания $\alpha$ определяется периодом полураспада по времени, благодаря чему оценка придаёт больший вес более крупным и более свежим сделкам, давая устойчивый и представительный ценовой ориентир. В отличие от наивных скользящих средних, EW-VWAP сопоставима между активами с сильно различающимися профилями ликвидности (приложение A.3, рисунок 8).

5.3. Построение масштабно-инвариантных признаков

Статистические свойства торговых данных широко варьируются по секторам, профилям ликвидности и номинальным ценам. В сырых долларах, акциях и секундах ценовые глубины, объёмы и межсобытийные интервалы для актива вроде AAPL могут сильно отличаться от таковых для копеечной акции. Поэтому представления сделок должны быть спроектированы так, чтобы обеспечить однородность между активами. Сириньяно и Конт показали, что формирование цены следует универсальным принципам: универсальные модели, обученные на всех активах, превосходят специфичные для актива, даже на отложенных бумагах. Опираясь на это, мы явно конструируем масштабно-инвариантные признаки, распространяя универсальность с контекста стакана на разнородные потоки событий разных площадок и рыночных структур.

• Межсобытийный интервал $\Delta t_t$: время по настенным часам с предыдущего события, $w_t - w_{t-1}$, в секундах.
• Логарифмически преобразованный объём $v_t$: чтобы сжать широкий динамический диапазон размеров заявок, следующих тяжелохвостым степенным законам, применяется логарифмирование $v_t = \log(1 + V_t)$, где $V_t$ — сырой объём в акциях.
• Нормированная ценовая глубина $d_t$: глубина лимитной заявки с ценой $p^{\text{order}}_t$ относительно средней цены, $$d_t = \frac{p^{\text{order}}_t - \hat{p}^{\text{mid}}_t}{\hat{p}^{\text{mid}}_t}$$ что нормирует сырое $\delta p_t$ из кортежа события. Это представление сопоставимо между активами с разной ценой — в отличие от прежних работ, использующих глубины в тиках.
• Относительный ценовой уровень к открытию $\Delta p_t$: чтобы уловить внутридневное движение рынка, текущая средняя цена котируется относительно цены открытия дня $p_0$: $$\Delta p_t = \frac{\hat{p}^{\text{mid}}_t - p_0}{p_0}$$

Хотя ценовые признаки вычисляются как безразмерные отношения, для наглядности мы говорим о них в базисных пунктах: отношение 0,01 соответствует 100 базисным пунктам. Рисунок 7 (приложение A) демонстрирует распределенческую стационарность относительных признаков по сравнению с тиковыми, а рисунок 12 (приложение D.3) — их последующую временну́ю устойчивость.

5.4. Последовательности уровня рынка и уровня участника

В прикладных задачах TradeFM может моделировать поведение как всего рынка (например, для генерации синтетических данных), так и отдельных участников (например, для агентного моделирования). Для этого обучающие данные включают последовательности, агрегированные на обоих уровнях, в соотношении примерно 1,6 : 1 по токенам в пользу рыночного уровня. Модель получает бинарный индикатор $I_{MP}$, различающий эти два контекста.

6. Токенизация

Стандартные архитектуры трансформеров, как они применяются в обработке естественного языка, работают на одномерных последовательностях, где каждый элемент — единственный токен из дискретного словаря. Наши данные о торговых событиях суть последовательность многопризнаковых кортежей, каждый из которых сочетает непрерывные и категориальные значения. Основная задача токенизации — отобразить этот поток событий в одномерную дискретную последовательность.

6.1. Стратегия разбиения и обработка выбросов

Мы дискретизируем каждый непрерывный признак, разбивая его распределение на фиксированное число корзин. Для ценовых признаков, имеющих симметричные, но остро пиковые распределения, применяется разбиение равной частоты (по квантилям). Это обеспечивает более высокое разрешение корзин в плотной центральной области распределения, при этом улавливая и более редкие значения в хвостах. Для логарифмически преобразованных признаков — объёма и межсобытийного интервала — применяется разбиение равной ширины. Равные по ширине корзины в логарифмическом пространстве создают корзины, фактически логарифмические в исходном пространстве признака, что даёт способ представить величины, охватывающие несколько порядков.

Рисунок 2 — смотреть в оригинале (PDF)

Такой гибридный подход обеспечивает относительно равномерное распределение токенов, не давая модели тратить ёмкость на редкие токены или почти пустые корзины. Перед разбиением исключаются выбросы выше 99-го процентиля по каждому признаку, а для ценовой глубины и ценового уровня дополнительно — ниже 1-го процентиля. Для этих выходящих за диапазон значений зарезервированы специальные корзины, чтобы модель не расходовала избыточную ёмкость на крайне редкие события. Токенизатор калибруется на первых 30 днях данных; откалиброванные границы показаны на рисунке 2.

6.2. Композиция многопризнакового токена

Хотя вход модели на каждом шаге многопризнаковый, декодер обучается предсказывать единственный одномерный токен, представляющий основное торговое событие. Поэтому мы объединяем дискретные индексы корзин признаков сделки $(i_{\Delta t},\ i_{\delta p},\ i_v,\ i_a,\ i_s)$ в единое составное целое число $i_{\text{trade}}$.

Это делается трактовкой индексов признаков как цифр в системе счисления со смешанным основанием. Индекс корзины каждого признака — «цифра», а число возможных значений последующих признаков служит «основанием» в соответствующей позиции. Число корзин: $n_{\delta p} = 16$ для ценовой глубины, $n_v = 16$ для объёма, $n_{\Delta t} = 16$ для межсобытийного интервала, $n_s = 2$ (покупка, продажа) для стороны и $n_a = 2$ (подача либо снятие заявки) для типа действия. Составной токен вычисляется как

$$\begin{aligned} i_{\text{trade}} = &\left(i_a \times n_s \times n_{\delta p} \times n_v \times n_{\Delta t}\right) + \left(i_s \times n_{\delta p} \times n_v \times n_{\Delta t}\right) + \\ &\left(i_{\delta p} \times n_v \times n_{\Delta t}\right) + \left(i_v \times n_{\Delta t}\right) + i_{\Delta t} \end{aligned} \tag{1}$$

Это даёт словарь размера 16 384 для предсказываемых торговых токенов. Вход модели на каждом шаге — кортеж, содержащий этот токен вместе с несколькими непредсказываемыми признаками, служащими для обусловливания. Эти контекстные признаки подаются отдельными входами и не входят в расчёт $i_{\text{trade}}$:

• $i_l$ — индекс корзины ликвидности ($n_l = 3$), получаемый разбиением активов на низкую, среднюю и высокую ликвидность по среднему дневному объёму;
• $i_{\Delta p_t}$ — индекс корзины изменения ценового уровня ($n_{\Delta p} = 32$);
• $I_{MP}$ — бинарный индикатор последовательности уровня рынка или уровня участника.

Итоговый вход имеет вид $[i_l,\ I_{MP},\ i_{\Delta p_t},\ i_{\text{trade}}]$. Такая формулировка позволяет обусловливать модель более широким рыночным контекстом, сосредоточив её предсказательную силу на следующем торговом событии.

7. Архитектура TradeFM

TradeFM — декодирующий трансформер, обученный с нуля в собственной конфигурации. Архитектура основана на семействе Llama и включает улучшения, в том числе групповое внимание по запросам (GQA) и вращательное позиционное кодирование (RoPE). Размер модели — 524 млн параметров, выбранный исходя из законов масштабирования Chinchilla для нашего объёма данных (детали гиперпараметров в приложении B.2). Модель обучается на трёх ускорителях Nvidia A100; подробности настройки обучения — в приложении B.3.

7.1. Табличное вложение входа

Для обработки многопризнаковых входных токенов применяется табличный подход к вложениям. Каждый признак входного кортежа $[i_l,\ I_{MP},\ i_{\Delta p_t},\ i_{\text{trade}}]$ сначала проецируется в собственное пространство вложений через отдельную таблицу. Полученные векторы конкатенируются и пропускаются через линейный проекционный слой, создавая единое представление в скрытой размерности модели.

8. Симулятор рынка

Чтобы оценить реалистичность генеративной модели, нужна среда, способная симулировать рыночное исполнение последовательности предсказанных сделок. Мы строим лёгкий детерминированный симулятор под нашу постановку. Он выполняет две критические функции: даёт динамические, зависящие от состояния ценовые признаки, требуемые модели во время генеративных развёрток, и позволяет проверить, воспроизводит ли порождённый поток сделок известные стилизованные факты доходностей.

Рисунок 3 — смотреть в оригинале (PDF)

8.1. Детерминированная конструкция

Симулятор воспроизводит основную механику современной электронной биржи. Он поддерживает лимитный стакан по активу, внутренние часы и оценку средней цены. Механизм сопоставления заявок использует приоритет «цена — время»: входящие заявки сопоставляются с заявкой по лучшей цене на противоположной стороне стакана, а при равенстве цен выбирается поданная раньше. Прежде чем использовать симулятор для проверки крупной торговой модели, мы валидируем реалистичность самого симулятора через стилизованные факты (приложение D.2).

8.2. Замкнутая развёртка

Симулятор образует замкнутую систему, где модель и среда взаимодействуют динамически. Этот процесс, называемый развёрткой, показан на рисунке 3 и протекает так:

1. Предсказание. По истории рыночных событий TradeFM предсказывает следующий токен события $i_{\text{trade}}$. Для декодирования используется мультиномиальное сэмплирование со штрафом за повторение 1,2.
2. Исполнение. Предсказанное событие (заявка или снятие) передаётся симулятору, который исполняет его против стакана по правилам приоритета «цена — время».
3. Обновление состояния. Симулятор обновляет внутреннее состояние, включая стакан и среднюю цену.
4. Обратная связь. Состояние рынка используется для формирования контекстных признаков следующего шага, которые дописываются в историю и подаются обратно в TradeFM.

Этот рекурсивный цикл позволяет порождать длинные динамические последовательности рыночной активности. Существенно, что он даёт возможность изучать эффекты второго порядка — например, ценовое воздействие, поскольку собственные предсказания модели влияют на состояние рынка, обусловливающее её будущие предсказания.

9. Эксперименты

Оценка генеративных моделей финансовых рынков представляет особую трудность из-за нестационарности данных. Вместо опоры на перплексию следующего токена мы оцениваем TradeFM по способности воспроизводить инвариантные стилизованные факты рыночного поведения. Модель, порождающая синтетические данные с этими свойствами, выучила инвариантную во времени структуру рынка, а не просто запомнила исторические паттерны. Мы проводим три эксперимента: (1) воспроизведение стилизованных фактов, (2) распределенческая достоверность порождённого потока заявок и (3) обобщение вне распределения и управляемость.

Базовые модели. Мы сравниваем с откалиброванным агентом нулевого интеллекта (ZI) и составным процессом Хоукса, моделирующим приходы сделок через самовозбуждающуюся динамику с подогнанными распределениями объёма и цены. Обе базовые модели взаимодействуют с тем же симулятором и той же цепочкой оценки. Мы выбрали именно их, поскольку они работают с потоками событий на уровне сделок, что соответствует нашей постановке с частичной наблюдаемостью. Нейросетевые генеративные модели, оцениваемые в LOB-Bench, требуют на входе полный лимитный стакан, что исключает прямое сравнение.

9.1. Эксперимент 1: воспроизведение стилизованных фактов

Для проверки реалистичности порождённых траекторий мы оцениваем их способность воспроизводить ключевые стилизованные факты логарифмических доходностей. Мы генерируем 10 развёрток по 1024 события для 9 активов из 3 уровней ликвидности, для каждого из 9 отложенных месяцев, при контексте из 1024 реальных исторических событий. Для ориентира: 1024 события соответствуют примерно 2–5 минутам рыночного времени для высоколиквидных активов (например, AAPL), 15–60 минутам для среднеликвидных и 1–4 часам для низколиквидных. Мы вычисляем автокорреляции по лагам $\tau$ и оцениваем эксцесс по интервалам доходности $\Delta t_r$.

Рисунок 4 — смотреть в оригинале (PDF)

Результаты. Симуляции успешно воспроизводят целевые стилизованные факты, обнаруживая тесное соответствие реальным рыночным данным:

• Отсутствие автокорреляции. Автокорреляция симулированных логарифмических доходностей (левая панель) быстро спадает до статистически незначимых уровней с ростом лага $\tau$, что согласуется с гипотезой эффективного рынка. Базовая модель ZI, напротив, демонстрирует ложную автокорреляцию.
• Долгосрочная зависимость. Автокорреляция абсолютных доходностей (центральная панель) затухает медленно, что указывает: модель уловила долгую память кластеризации волатильности.
• Тяжёлые хвосты. Эксцесс симулированных доходностей (справа) высок на коротких масштабах $\Delta t_r$, подтверждая наличие тяжёлых хвостов. TradeFM наиболее точно воспроизводит лептокуртичность доходностей и её затухание по масштабам.
• Агрегационная гауссовость. С ростом $\Delta t_r$ эксцесс TradeFM корректно приближается к нормальному, улавливая возврат к нормальности на более длинных горизонтах.

9.2. Эксперимент 2: количественная достоверность

Стилизованные факты подтверждают, что модель улавливает эмерджентную рыночную динамику, но не оценивают, насколько хорошо порождённый поток заявок согласуется с реальностью. Мы проводим количественную оценку распределенческой достоверности, следуя каркасам недавних бенчмарков генеративных моделей потока заявок. Как и в бенчмарке, перед вычислением расстояния Вассерштейна распределения нормируются по среднему и дисперсии, чтобы метрика была сопоставима между величинами.

По тем же развёрткам мы вычисляем статистику Колмогорова — Смирнова и расстояние Вассерштейна между реальными и порождёнными распределениями ключевых микроструктурных величин: объёма заявок, межсобытийных интервалов, спредов и дисбаланса стакана. TradeFM достигает меньших расстояний, чем базовые подходы, по большинству величин. Заметное исключение — спреды, где составной Хоукс достигает меньшего расстояния К—С. Мы объясняем это тем, что процесс Хоукса явно моделирует динамику межсобытийных интервалов, напрямую управляющую формированием спреда, тогда как у TradeFM спред возникает косвенно, из детерминированной логики сопоставления заявок в симуляторе. Это позволяет предположить, что гибридные подходы, сочетающие выученный поток заявок с явным моделированием спреда, могут дать дальнейшие улучшения.

Замкнутая оценка связывает качество модели с достоверностью симулятора. Две линии свидетельств частично их разделяют: контрольная модель ZI через тот же симулятор не воспроизводит стилизованные факты, а таблица 3 оценивает поток заявок непосредственно, до взаимодействия с симулятором. Полное разделение остаётся задачей будущей работы.

9.3. Эксперимент 3: обобщение и управляемость

Чтобы подтвердить утверждение, что TradeFM выучивает универсальную грамматику микроструктуры, обобщающуюся за пределы активов и периодов обучения, мы проводим обширные оценки вне распределения.

Временна́я и географическая устойчивость. Финансовые рынки нестационарны, режимы сменяются во времени. Мы оцениваем работу модели на отложенном периоде с января по сентябрь 2025 года — периоде повышенной волатильности, отличном от обучающего 2024 года. Метрики расстояния остаются стабильными на этом девятимесячном горизонте (приложение D.3, рисунок 14).

Рисунок 5 — смотреть в оригинале (PDF)

Помимо временно́го обобщения мы оцениваем перенос на новую географию без дообучения, применяя TradeFM (обученную исключительно на акциях США) к отложенным данным Китая и Японии. Несмотря на существенные микроструктурные различия — механизм пакетного аукциона Itayose в Японии против непрерывной торговли в США, дневные ценовые лимиты ±10% в Китае против их отсутствия в США, более широкие спреды на азиатских рынках (3–10 базисных пунктов против 1–2) — наблюдается умеренное ухудшение перплексии при значительном перекрытии распределений США и АТР. Это межрыночное обобщение показывает, что масштабно-инвариантные представления потока заявок улавливают универсальные принципы рыночной динамики.

Управляемость. Наконец, мы проверяем, что модель уважает обусловливающие токены и что её выход надёжно управляется индикаторными признаками ($I_{MP}$ и $i_l$). Мы генерируем 256 траекторий без контекста по 512 токенов каждая, для каждого сочетания индикаторов «рынок — участник» и ликвидности, после чего анализируем статистические свойства сырых порождённых заявок, вычисляя стандартное отклонение объёмов и межсобытийных интервалов для каждого условия.

Рисунок 6 — смотреть в оригинале (PDF)

Модуляция индикаторных токенов оказывает значительное и интуитивно понятное влияние на статистические свойства порождённых заявок, причём проявляются две тенденции:

• Дисперсия и объёма, и межсобытийного интервала стабильно выше при генерации уровня рынка, чем уровня участника, — что согласуется с интуицией: совокупное поведение всего рынка по своей природе изменчивее поведения одного участника.
• Модель улавливает линейные зависимости между ликвидностью и дисперсией межсобытийных интервалов и объёмов.

10. Заключение

Мы показали, что сложную эмерджентную динамику финансовых рынков можно выучить непосредственно из сырого разнородного потока заявок. Наша сквозная методология, сочетающая масштабно-инвариантные представления признаков с универсальной схемой токенизации, позволяет одному генеративному трансформеру обобщаться на тысячи разнообразных активов без калибровки под конкретный актив. Высокая достоверность порождённых данных — подтверждённая как на уровне эмерджентной ценовой динамики (рисунок 4), так и на гранулярном уровне отдельных заявок (рисунок 15, приложение D.4) — вместе с географическим обобщением без дообучения позволяет предположить, что масштабно-инвариантные представления сделок улавливают фундаментальную переносимую структуру микроструктуры рынка.

Замкнутый симулятор открывает несколько направлений дальнейшей работы: генерация синтетических данных с сохранением конфиденциальности для неликвидных активов, стресс-тестирование в контрфактических сценариях и обучение торговых агентов через взаимодействие с симулятором (предварительные исследования в приложениях D.4, D.5, D.6). Подтверждение полезности TradeFM для этих прикладных задач остаётся ключевым приоритетом.

Отказ от ответственности

Настоящая работа подготовлена в информационных целях группой исследований искусственного интеллекта JPMorgan Chase & Co. и её аффилированных лиц и не является продуктом исследовательского департамента JP Morgan. JP Morgan не даёт никаких заверений и гарантий и снимает с себя всякую ответственность за полноту, точность или надёжность содержащейся здесь информации. Настоящий документ не предназначен в качестве инвестиционного исследования или инвестиционного совета, рекомендации, оферты или предложения купить либо продать какую-либо ценную бумагу, финансовый инструмент, продукт или услугу, а также для использования каким-либо образом при оценке целесообразности участия в какой-либо сделке.

Приложение A

A.1. Foundation-модели для структурированных данных

Рисунок 7 — смотреть в оригинале (PDF)

Работа вдохновлена успехом foundation-моделей за пределами обработки естественного языка — в областях со структурированными последовательными данными. Эта парадигма успешно перенесена за счёт трактовки предметных последовательностей как своего рода «языка». В геномике, например, модели трактуют последовательности ДНК или белков как предложения, чтобы выучить фундаментальные биологические паттерны. Для прогноза временных рядов общего назначения крупные предобученные модели показали сильные результаты без дообучения на невиданных рядах. Схожим образом для табличных данных трансформеры, предобученные на разнообразной коллекции таблиц, способны делать выводы на новых, меньших таблицах без дообучения под задачу. В финансах, представляя поток заявок как структурированный язык рыночных событий, наш подход встраивается в эту проверенную парадигму.

A.2. Трансформер как естественный выбор

Архитектура трансформера уникально приспособлена к перечисленным трудностям — её основные компоненты естественно отображаются на фундаментальные свойства данных о потоке заявок:

• Самовнимание. Механизм внимания предназначен улавливать сложные дальние зависимости внутри последовательности, что делает его идеальным инструментом для моделирования долгой памяти и запутанных нелинейных взаимодействий, присущих потоку заявок.
• Каркас «последовательность в последовательность». Будучи авторегрессионной последовательностной моделью, трансформер естественно справляется с асинхронной событийной природой данных, где время между событиями само является выучиваемым признаком.
• Приспособление к многопризнаковым последовательностям. Трансформеры отлично работают с одномерным текстом, тогда как наши торговые события суть многопризнаковые кортежи. Ключевая задача — эффективно дискретизировать и токенизировать эти смешанные признаки в обрабатываемую последовательность, что и мотивирует нашу схему токенизации и вложения.

A.3. Оценка средней цены

Надёжная оценка истинной средней цены критична для нормировки ценовых признаков. Специализированные источники рыночных данных для этого существуют, но часто дороги; имея доступ к сырым транзакционным данным, мы стремимся оценить эту величину напрямую. В нашей постановке мы наблюдаем преимущественно цены исполнения совершённых сделок, поток которых есть зашумлённая версия истинной средней цены.

Наивный подход вроде простого скользящего среднего цен исполнения недостаточен. Окно фиксированной ширины по числу сделок несопоставимо между активами разной ликвидности: окно в 50 сделок может занимать менее секунды для высоколиквидного актива и несколько часов для неликвидного. Окно по времени (например, 2 секунды) уместнее, но простое среднее всё равно не учитывает объём: среднее, дающее равный вес сделке на 1000 акций по 10,00 доллара и сделке на 1 акцию по 9,00, давало бы обманчивую оценку.

Общепринятое решение — средневзвешенная по объёму цена:

$$\hat{p}^{\text{VWAP}}_t = \frac{\sum_{i=0}^{W} v_{t-i}\, p^{\text{exec}}_{t-i}}{\sum_{i=0}^{W} v_{t-i}} \tag{2}$$

Чтобы сделать оценку отзывчивее к свежей информации, мы вводим экспоненциально взвешенную VWAP. Она вычисляется поддержанием двух отдельных экспоненциальных скользящих средних: для взвешенной по объёму цены и для самого объёма. Для каждой входящей сделки обновляются числитель $N_t$ и знаменатель $D_t$:

$$N_t = \alpha\left(p^{\text{exec}}_t \cdot v_t\right) + (1-\alpha)N_{t-1}, \qquad D_t = \alpha v_t + (1-\alpha)D_{t-1}$$

$$\hat{p}^{\text{EW-VWAP}}_t = \frac{N_t}{D_t} \tag{3}$$

Коэффициент сглаживания $\alpha$ задаётся периодом полураспада по времени, благодаря чему оценка последовательно во времени придаёт больший вес более крупным и свежим сделкам. Это даёт устойчивый и представительный ценовой ориентир, отражающий цену, по которой прошла основная масса недавней активности.

Рисунок 8 — смотреть в оригинале (PDF)

A.4. Пример токенизации

Для воображаемой последовательности из таблицы 4 признаки на шаге $t = 43$ таковы:

• $\Delta t_t = w_t - w_{t-1} = 09{:}45{:}38 - 09{:}45{:}30 = 8$ с;
• $\delta p_t = \dfrac{182{,}50 - 182{,}48}{182{,}48} = \dfrac{0{,}02}{182{,}48} = 0{,}011\% = +1{,}1$ базисного пункта;
• $v_t = 750$ акций; $a_t$ — подача заявки; $s_t$ — продажа.

По откалиброванным корзинам эти признаки дискретизируются в индексы: $i_{\Delta t_t} = 11$, $i_{\delta p_t} = 7$, $i_{v_t} = 7$, $i_{a_t} = 0$, $i_{s_t} = 1$. Подстановка в формулу (1) даёт $i_{\text{trade}} = 6011$.

При цене открытия $p_0 = 179{,}50$ доллара изменение ценового уровня составляет

$$\Delta p_t = \frac{182{,}48 - 179{,}50}{179{,}50} = 1{,}66\% = +166 \text{ б.п.}$$

что при дискретизации даёт $i_{\Delta p_t} = 19$. Исходя из среднего дневного объёма актива в 53 млн, попадающего в корзину высокой ликвидности, индикатор $i_l = 2$. Если последовательность рыночного уровня, то $I_{MP} = 0$. Итоговый вход модели: $[i_l,\ I_{MP},\ i_{\Delta p_t},\ i_{\text{trade}}] = [2,\ 0,\ 19,\ 6011]$.

Приложение B. Руководство по воспроизводимости

B.1. Костяк модели

TradeFM — декодирующий трансформер, обученный с нуля. Архитектура основана на семействе Llama и включает современные улучшения эффективности:

• Групповое внимание по запросам (GQA) — уравновешивает качество многоголового внимания и сниженную пропускную способность памяти многозапросного, обеспечивая более быстрый вывод и бо́льшие батчи.
• Вращательные позиционные вложения (RoPE) — кодируют относительную позиционную информацию поворотом векторов запросов и ключей, что улучшает обобщение на длинных последовательностях.

B.2. Гиперпараметры и масштабирование

Размер модели задан законами масштабирования Chinchilla, предписывающими оптимальный по вычислениям баланс между размером модели и числом уникальных обучающих токенов — примерно 20 токенов на параметр. При 10,7 млрд уникальных токенов это подразумевает целевой размер около 525 млн параметров. Отметим, что четырёхэпоховое расписание означает, что модель видит около 42,8 млрд токенов суммарно, превышая это соотношение за счёт повторных данных; это следует рекомендациям для обучения в условиях ограниченности данных. Итоговые гиперпараметры:

• длина контекста — 1024 токена;
• скрытых слоёв — 32;
• размерность вложения — 1024;
• промежуточный размер MLP — 4096;
• голов внимания — 32;
• голов «ключ — значение» (GQA) — 8 голов, 4 группы;
• всего параметров — 524,4 млн.

Отношение 1 : 4 между размерностью вложения и промежуточным размером MLP выбрано согласно принятым практикам для трансформеров.

B.3. Конфигурация обучения

Модель обучается на инстансе AWS с тремя Nvidia A100 по 80 ГБ памяти каждый, целиком в половинной точности fp16. Чтобы достичь эффективного размера батча 4032, используется батч 24 на устройство и накопление градиента на протяжении 56 шагов. Для дальнейшей оптимизации памяти и ускорения применяется библиотека Accelerate. Обучение ведётся оптимизатором AdamW с линейным расписанием скорости обучения, значением $5\times10^{-5}$ и 500 шагами разогрева, всего 4 эпохи.

Рисунок 9 — смотреть в оригинале (PDF)

B.4. Псевдокод токенизатора

B.5. Псевдокод симулятора рынка

B.6. Базовая модель нулевого интеллекта

Агент нулевого интеллекта — каноническая нулевая модель, проверяющая, выучивает ли модель сложную условную динамику сверх базовых структурных свойств рынка. Для честного сравнения наш агент порождает заявки стохастически, сэмплируя из распределений, откалиброванных по маргиналям ключевых признаков на выборке из 450 миллионов сделок обучающих данных.

Конкретно: сторона и тип действия сэмплируются из эмпирических категориальных распределений; межсобытийный интервал — из подогнанного экспоненциального распределения; объём заявки — из подогнанного экспоненциального; ценовая глубина — из гауссовской смеси. Полученные заявки пропускаются через тот же симулятор и ту же цепочку оценки, что и TradeFM. Вычисляется 2048 развёрток по 1024 события с расчётом тех же стилизованных фактов.

B.7. Базовая модель на составном процессе Хоукса

Процессы Хоукса широко применяются к рыночным данным за способность надёжно моделировать межсобытийные интервалы самовозбуждающихся событий. Мы принимаем составную модель Хоукса, сочетающую процесс Хоукса для интервалов с эмпирическими распределениями для прочих признаков события — объёма и ценовой глубины. Используются те же 450 миллионов сделок, что и для агента нулевого интеллекта, с разделением по действию и стороне.

Затем подгоняется процесс Хоукса с ядром в виде суммы экспонент, четырёхмерный — по одному измерению на каждое сочетание действия и стороны (покупка-снятие, покупка-подача, продажа-снятие, продажа-подача). Для каждого сочетания калибруются гауссовская смесь для ценовых глубин и экспоненциальное распределение для объёма.

Приложение C. Анализ масштабирования

Рисунок 10 — смотреть в оригинале (PDF)

Чтобы обосновать заявку на статус foundation-модели, мы провели анализ масштабирования, обучив модели трёх размеров: примерно 125, 250 и 500 млн параметров. Модель на 500 млн — наша крупнейшая и служит основной целью оценки во всей работе. Графики законов масштабирования демонстрируют ожидаемые степенные зависимости между вычислениями, размером набора данных и тестовой потерей. Эти графики включают повторные данные, поскольку обучение идёт четыре эпохи. Мы проверяем это, вычисляя границу минимальной потери по вычислениям и размеру данных и подгоняя степенные законы:

$$L(C) \propto C^{-\alpha_C},\ \ \alpha_C \approx 0{,}18; \qquad L(D) \propto D^{-\alpha_D},\ \ \alpha_D \approx 0{,}19$$

Хотя 500 млн — немного по меркам универсальных языковых моделей, для области финансовой микроструктуры это много и сопоставимо по масштабу с другими предметными моделями вроде MaRS (около 1 млрд). Стандартные передовые модели этой области обычно имеют менее 10 млн параметров: DeepLOB — 60 тысяч, LOBS5 — 6,3 млн. TradeFM представляет более чем пятидесятикратный рост ёмкости по сравнению с существующими предметными базовыми моделями.

Приложение D. Расширенные результаты

D.1. Географическое обобщение без дообучения

Мы оцениваем модель, обученную исключительно на акциях США, на отложенном наборе активов рынков Азиатско-Тихоокеанского региона — Китая и Японии. Рисунок 5 показывает распределение перплексии за один месяц данных, отложенный для всех географий, со значительным перекрытием между США и АТР. Минимальное ухудшение перплексии на невиданных рынках подтверждает способность TradeFM к обобщению.

D.2. Валидация симулятора

Чтобы оценить симулятор, мы прогоняем через него последовательности реальных заявок и сравниваем статистические свойства полученных симулированных исполнений с реальными из исторических данных. Мы сосредоточены на двух метриках: функции распределения объёмов исполнения и функции распределения числа лотов — количества отдельных исполнений, требуемых для завершения одной заявки. Наблюдается тесное соответствие реальных и симулированных распределений на активах разной ликвидности, что подтверждает высокую достоверность среды. Корреляции между симулированными и реальными величинами составляют 0,91 для объёмов и 0,98 для числа лотов.

Рисунок 11 — смотреть в оригинале (PDF)

D.3. Временно́й дрейф

Поскольку финансовые рынки динамичны, а режимы постоянно меняются, мы исследуем склонность качества модели дрейфовать во времени. Основной вклад нашего токенизатора — стандартизация представлений рыночных признаков как по режиму ликвидности, так и по времени.

Рисунок 12 — смотреть в оригинале (PDF)

На рисунке 12 демонстрируется универсальность этих признаков: показаны распределения относительного ценового уровня, относительной ценовой глубины, межсобытийного интервала и объёма как в месяце калибровки токенизатора (февраль 2024), так и годом позже (февраль 2025). Признаки остаются стационарными на этом промежутке даже при изменении волатильности, уровня цен и прочих рыночных условий.

Рисунок 13 — смотреть в оригинале (PDF)

Рисунок 14 — смотреть в оригинале (PDF)

Рисунок 14 расширяет агрегированные результаты таблицы 3 на все интересующие величины. Метрики варьируются в некотором диапазоне, но разброс мал, и наш метод в большинстве случаев достигает более высокой достоверности, чем базовые модели.

D.4. Генерация синтетических данных

TradeFM может служить движком генерации высокодостоверных синтетических финансовых данных с сохранением конфиденциальности. Реалистичность порождённых данных подтверждается не только на уровне эмерджентной ценовой динамики (рисунок 4), но и на гранулярном уровне отдельных заявок: распределения симулированных объёмов и межсобытийных интервалов тесно соответствуют степенному и экспоненциальному распределениям, наблюдаемым в реальных данных.

Рисунок 15 — смотреть в оригинале (PDF)

Такая генерация ценна для:

• тестирования торговых стратегий — синтетические данные позволяют надёжно проверять алгоритмы на широком круге правдоподобных рыночных сценариев, снижая риск переобучения на единственной исторической траектории;
• восполнения разреженных наборов — для неликвидных активов, где исторических данных мало, модель может породить дополнительные данные для более устойчивого анализа и обучения;
• обмена данными с сохранением конфиденциальности — модель может порождать реалистичные наборы для академического или публичного использования, не раскрывая чувствительную закрытую информацию о транзакциях.

D.5. Симуляция рынка и стресс-тестирование

Связка TradeFM и симулятора работает как среда высокой достоверности для сложных анализов «что если» и стресс-тестирования, позволяя изучать системный риск и устойчивость рынка в управляемых условиях. Способность порождать правдоподобные многошаговые прогнозы будущих рыночных траекторий — прямое следствие замкнутой симуляции.

Рисунок 16 — смотреть в оригинале (PDF)

Такие системы полезны также регуляторам и риск-менеджерам, которые могут симулировать отклик рынка на экстремальные или контрфактические сценарии — например, вбрасывая крупные аномальные заявки в исторический контекст и наблюдая получившуюся ценовую траекторию. Рисунок 17 демонстрирует эту возможность: для образцового актива искусственно вбрасываются заявки на покупку или продажу с десятикратной по отношению к реальному контексту частотой, а прогнозы средней цены усредняются по 10 развёрткам. При вбросе искусственных заявок на продажу средняя цена падает, при вбросе заявок на покупку — растёт, что иллюстрирует реалистичное поведение.

Рисунок 17 — смотреть в оригинале (PDF)

D.6. Многоагентное моделирование и дообучение с подкреплением

Наша система даёт интерактивную среду высокой достоверности для обучения и оценки обучаемых агентов. Предобученная TradeFM может служить реалистичным «фоновым» рынком, порождая правдоподобный и отзывчивый встречный поток заявок. Это создаёт динамический полигон для:

• обучения с подкреплением для оптимального исполнения — агенты могут выучивать оптимальные стратегии исполнения крупных заявок, взаимодействуя с симулированным рынком и минимизируя издержки вроде ценового воздействия и спреда;
• многоагентных систем — симулятор можно населить множеством разнородных обучаемых агентов, чтобы изучать эмерджентное коллективное поведение и возможные неустойчивости, возникающие из их взаимодействий. Обусловливание модели на уровне участника даёт естественный механизм инициализации и дообучения разнообразных политик агентов в такой системе.

Литература

• Bacry, E., Mastromatteo, I., Muzy, J.-F., Hawkes processes in finance, Market Microstructure and Liquidity 1(01) (2015) 1550005.
• Badaro, G., Saeed, M., Papotti, P., Transformers for tabular data representation: a survey of models and applications, TACL 11 (2023) 227–249.
• Berkowitz, S. A., Logue, D. E., Noser Jr., E. A., The total cost of transactions on the NYSE, The Journal of Finance 43(1) (1988) 97–112.
• Berti, L., Kasneci, G., TLOB: a novel transformer model with dual attention for stock price trend prediction with limit order book data, arXiv:2502.15757 (2025).
• Bouchaud, J.-P., The endogenous dynamics of markets: price impact and feedback loops, arXiv:1009.2928 (2010).
• Byrd, D., Hybinette, M., Balch, T. H., ABIDES: towards high-fidelity multi-agent market simulation, ACM SIGSIM PADS (2020) 11–22.
• Cont, R., Empirical properties of asset returns: stylized facts and statistical issues, Quantitative Finance 1(2) (2001) 223–236.
• Dwarakanath, K., Vyetrenko, S., Tavallali, P., Balch, T., ABIDES-Economist: agent-based simulator of economic systems with learning agents, arXiv:2402.09563 (2024).
• Farmer, J. D., Patelli, P., Zovko, I. I., The predictive power of zero intelligence in financial markets, PNAS 102(6) (2005) 2254–2259.
• Garza, A., Challu, C., Mergenthaler-Canseco, M., TimeGPT-1, arXiv:2310.03589 (2023).
• Gode, D. K., Sunder, S., Allocative efficiency of markets with zero-intelligence traders, Journal of Political Economy 101(1) (1993) 119–137.
• Hasbrouck, J., Empirical Market Microstructure, Oxford University Press, 2007.
• Hoffmann, J. и соавторы, Training compute-optimal large language models, NeurIPS 35 (2022) 30016–30030.
• Hollmann, N. и соавторы, Accurate predictions on small data with a tabular foundation model, Nature 637(8045) (2025) 319–326.
• Jain, K., Firoozye, N., Kochems, J., Treleaven, P., Limit order book dynamics and order size modelling using compound Hawkes process, Finance Research Letters 69 (2024) 106157.
• Ji, Y., Zhou, Z., Liu, H., Davuluri, R. V., DNABERT, Bioinformatics 37(15) (2021) 2112–2120.
• Kaplan, J. и соавторы, Scaling laws for neural language models, arXiv:2001.08361 (2020).
• Kawawa-Beaudan, M. и соавторы, Ensemble methods for sequence classification with hidden Markov models, arXiv:2409.07619 (2024).
• Li, J. и соавторы, MarS: a financial market simulation engine powered by generative foundation model, ICLR (2025).
• Muennighoff, N. и соавторы, Scaling data-constrained language models, NeurIPS 36 (2023).
• Nagy, P. и соавторы, Generative AI for end-to-end limit order book modelling, ACM ICAIF (2023) 91–99.
• Nagy, P. и соавторы, LOB-Bench: benchmarking generative AI for finance, ICML (2025).
• Nasdaq Listing Center, Equity trading rules (2024).
• Pasca, L., A critical review of the main approaches on financial market dynamics modelling, Journal of Heterodox Economics 2(2) (2015) 151–167.
• Petty, J. и соавторы, The impact of depth on compositional generalization in transformer language models, NAACL (2024) 7239–7252.
• Potluru, V. K. и соавторы, Synthetic data applications in finance, arXiv:2401.00081 (2024).
• Rajbhandari, S., Rasley, J., Ruwase, O., He, Y., ZeRO: memory optimizations toward training trillion parameter models, SC20 (2020) 1–16.
• Raman, N., Ganesh, S., Veloso, M., Scalable representation learning for multimodal tabular transactions, arXiv:2410.07851 (2024).
• Ratliff-Crain, E. и соавторы, Revisiting Cont's stylized facts for modern stock markets, Quantitative Finance 25(9) (2025) 1343–1373.
• Sirignano, J., Cont, R., Universal features of price formation in financial markets: perspectives from deep learning, в сб. Machine Learning and AI in Finance, Routledge (2021) 5–15.
• Touvron, H. и соавторы, LLaMA: open and efficient foundation language models, arXiv:2302.13971 (2023).
• Vaswani, A. и соавторы, Attention is all you need, NeurIPS 30 (2017).
• Vyetrenko, S. и соавторы, Get real: realism metrics for robust limit order book market simulations, ACM ICAIF (2020) 1–8.
• Wen, Q. и соавторы, Transformers in time series: a survey, IJCAI (2023) 6778–6786.
• Wiese, M., Knobloch, R., Korn, R., Kretschmer, P., Quant GANs: deep generation of financial time series, Quantitative Finance 20(9) (2020) 1419–1440.
• Xiao, Y. и соавторы, LiT: limit order book transformer, Frontiers in Artificial Intelligence 8 (2025) 1616485.
• Zhang, Z., Zohren, S., Roberts, S., DeepLOB: deep convolutional neural networks for limit order books, IEEE Transactions on Signal Processing 67(11) (2019) 3001–3012.

Оригинал статьи: Kawawa-Beaudan, M., Sood, S., Papasotiriou, K., Borrajo, D., Veloso, M., «TradeFM: A Generative Foundation Model for Trade-flow and Market Microstructure», arXiv:2602.23784