Степенная и двустепенная вариация при стохастической волатильности и скачках

Как читать этот разбор. Главная идея работы объясняется на одном примере из десяти доходностей, без теории: она в разделе «Метод в одну строку». Формулы ниже разобраны по значкам и на числах; доказательства теорем мы не пересказываем, они в работе и в отдельных статьях авторов. Если нужна только практическая часть, читайте разделы 2, 4, 7 и 8. Всё, что авторы допускают и чего не проверяли, собрано в разделе «Что в работе шатко».

1. Как устроена задача

Есть внутридневные доходности, например по пять минут, и нужно понять, насколько волатилен был день. Стандартный ответ, реализованная дисперсия: сложить квадраты всех доходностей за день. Теория давно известна: при учащении замеров эта сумма сходится к квадратичной вариации цены за день.

Что означает каждый значок. $y_{j,i}$ («игрек жи-и»): $j$-я внутридневная доходность дня $i$ (разность логарифмов цены). $M$ («эм»): сколько замеров в дне; у авторов $M = 288$ это пятиминутки за круглые сутки. Фигурные скобки с индексом $[2]$ просто обозначение «сумма вторых степеней».

Счёт по шагам. Каждую пятиминутную доходность возвести в квадрат, всё сложить.

Проблема в том, что квадратичная вариация состоит из двух частей разной природы. Если цена движется непрерывно со своей мгновенной волатильностью $\sigma(t)$ и вдобавок изредка прыгает (новость, неожиданная статистика), то

Что это такое. Квадратичная вариация дня равна интегрированной дисперсии непрерывной части плюс сумма квадратов скачков, случившихся за день.

Что означает каждый значок. $\sigma(u)$ («сигма от у»): мгновенная волатильность в момент $u$, ненаблюдаемая. $\int \sigma^2(u)\,du$: интегрированная дисперсия, сколько дисперсии непрерывная часть набрала за день. $c_j$: размер $j$-го скачка. $h$: длина периода, у авторов это день.

Зачем это нужно. Реализованная дисперсия видит только сумму. Авторы подчёркивают: "realized variance cannot be informative about the separate contributions the diffusion or jump parts of m* make to QV" (раздел 1.1). Чтобы разделить, нужна либо жёсткая параметрическая модель, либо другая статистика. Работа идёт вторым путём.

Почему разделять стоит, видно на рынке: день, когда цена спокойно стояла, кроме одной пятиминутки после неожиданной новости, и день, когда цена весь день ходила широко, дают похожую реализованную дисперсию. Для оценки риска и прогноза эти дни разные.

2. Метод в одну строку

Вместо суммы квадратов складывать произведения модулей соседних доходностей и умножить на $\pi/2$. Получится оценка дисперсии без скачков; разность с реализованной дисперсией даёт вклад скачков.

Что это такое. Bipower variation в главном частном случае (обе степени равны единице), с поправочным множителем. В работе множитель записан как $\mu_1^{-2}$, где $\mu_1 = \sqrt{2/\pi} \approx 0.7979$, так что $\mu_1^{-2} = \pi/2 \approx 1.5708$.

Что означает каждый значок. $\lvert y_{j,i}\rvert$: модуль $j$-й доходности, без знака. $\lvert y_{j+1,i}\rvert$: модуль следующей. Сумма идёт до $M-1$, потому что пар соседей на одну меньше, чем доходностей. Стрелка с буквой $p$ читается «сходится по вероятности»: при учащении замеров левая часть сколь угодно близко подходит к правой.

Почему скачок гаснет. Скачок попадает в одну доходность. В сумме квадратов он возводится в квадрат. В сумме произведений он умножается на соседнюю доходность, обычную и маленькую, а при учащении замеров соседи становятся всё меньше. В пределе вклад редких скачков уходит в ноль, а непрерывная часть остаётся.

Пример на числах (наш пример, в работе его нет). День из десяти доходностей: девять по 0.1 %, одна в середине дня 3 %.

• Реализованная дисперсия: $9 \times 0.001^2 + 0.03^2 = 0.000009 + 0.0009 = 0.000909$. Скачок даёт 99 % суммы, волатильность дня $\sqrt{0.000909} \approx 3.0\,\%$.
• Пар соседей девять. В семи обе доходности обычные: $7 \times 0.001 \times 0.001 = 7 \times 10^{-6}$. В двух участвует скачок: $2 \times 0.03 \times 0.001 = 6 \times 10^{-5}$. Сумма $6.7 \times 10^{-5}$.
• Умножить на $\pi/2$: $1.5708 \times 6.7 \times 10^{-5} \approx 1.05 \times 10^{-4}$, волатильность дня около 1.03 %.
• Разность $0.000909 - 0.000105 \approx 0.000804$: оценка вклада скачка. Настоящий квадрат скачка $0.0009$; недобор потому, что в десяти замерах скачок ещё заметно «протекает» в произведения с соседями. При учащении замеров эта протечка уменьшается.

Что это такое. Оценка вклада скачков в дневную вариацию: реализованная дисперсия минус bipower variation.

Зачем это нужно. Авторы формулируют вклад работы так: "This seems to be the first method that can separate quadratic variation into its continuous and jump components." (аннотация). В выводах осторожнее: "To our knowledge this is the first radical alternative to the commonly used realized variance estimator of this quantity." (раздел 6).

3. Формально: степенная и двустепенная вариация

Работа начинает с обобщения реализованной дисперсии на произвольную степень, реализованной степенной вариации:

Что это такое. Сумма модулей доходностей в степени $r$ с нормировкой.

Что означает каждый значок. $r$: показатель степени. При $r = 2$ получается реализованная дисперсия, при $r = 1$ сумма модулей («реализованная абсолютная вариация»). $(h/M)^{1-r/2}$: нормировка на частоту замеров. При $r = 2$ показатель равен нулю и множитель исчезает, при $r < 2$ он с учащением замеров уходит в ноль, при $r > 2$ в бесконечность.

Пример на числах (наш счёт по формуле работы). $h = 1$ день, $M = 288$, $r = 1$: множитель $(1/288)^{0.5} \approx 0.059$. Сумму модулей пятиминутных доходностей нужно умножить на 0.059, чтобы она не росла от того, что замеров стало больше.

Главное нововведение, реализованная bipower variation:

Что нового. В каждом слагаемом два соседних модуля, каждый в своей степени: $r$ («эр») у текущей доходности, $s$ («эс») у следующей. Слово bipower и значит «две степени». При $s = 0$ это снова степенная вариация.

Главный случай $r = s = 1$. Показатель нормировки $1 - (1+1)/2 = 0$, множитель исчезает, остаётся сумма произведений соседних модулей, формула (3) работы. Это и есть та одна строка, которую реализуют на практике.

Что к чему сходится, задают поправочные числа $\mu_r$:

Что это такое. Среднее значение модуля стандартной нормальной величины в степени $r$.

Что означает каждый значок. $E$: среднее (математическое ожидание). $u \sim N(0,1)$: величина распределена нормально со средним 0 и стандартным отклонением 1. $\Gamma$ («гамма»): гамма-функция, обобщение факториала.

Ключевые числа. $\mu_1 = \sqrt{2/\pi} \approx 0.7979$: средний модуль нормальной величины меньше её стандартного отклонения, поэтому сумму произведений модулей приходится делить на $\mu_1^2$, то есть умножать на $\pi/2$. $\mu_2 = 1$, поэтому у реализованной дисперсии поправки нет.

Зачем это нужно. Без поправки bipower variation систематически занижала бы дисперсию примерно на треть ($1 - 2/\pi \approx 0.36$, наш счёт).

Граница устойчивости. Теорема 4 для степенной вариации: при $r < 2$ предел не зависит от редких скачков, при $r = 2$ входят обе части, при $r > 2$ предел определяют скачки и он бесконечен. Теорема 5 переносит это на bipower variation: предел не меняется от скачков, пока "the maximum of the powers is less than two" (введение). Авторы прямо называют это главным вкладом работы. При максимуме ровно 2 предел смешивает скачки и волатильность, при большем уходит в бесконечность.

Как это понимать на пальцах. Степень меньше двух не даёт крупному значению доминировать, а нормировка при учащении замеров «гасит» конечное число крупных слагаемых. Квадрат же устроен так, что вклад скачка в сумму квадратов не зависит от частоты замеров, и он остаётся в пределе.

Важно, при каких допущениях это доказано. Цена должна быть процессом со стохастической волатильностью (интеграл $\int \sigma\,dw$ по броуновскому движению) плюс конечное число скачков на любом отрезке времени. Для теорем 1 и 4 дополнительно нужно, чтобы волатильность и снос были независимы от броуновского движения цены, то есть не было эффекта рычага. Общий результат для bipower variation (раздел 1.4) авторы формулируют как ожидаемый и откладывают доказательство: "We will discuss a proof of this general result elsewhere.". Доказан частный случай $r = s$ без сноса (теорема 2); после первой версии статьи, по словам авторов, условие на снос ослаблено в отдельной работе. Зато про скачки допущения мягкие: теорема 4 держится для любого процесса скачков с конечным числом скачков на отрезке, скачки могут зависеть друг от друга и от волатильности (раздел 2.2).

4. Проверка на симуляциях

Модель симуляции (раздел 3.1): дисперсия следует процессу квадратного корня (модель Хестона) со средней дневной дисперсией $\xi = \nu/a$ при $\nu = 0.1$ и $a = 0.2$, то есть 0.5 (наш счёт по параметрам работы), $\lambda = 0.01$, снос нулевой, эффекта рычага нет по построению. На 50 дней случайно разбросаны 10 скачков, каждый нормальный с дисперсией, равной дисперсии 64 % обычного торгового дня. Авторы называют их "large but quite rare jumps". Частоты замеров $M = 12$, $72$ и $288$, то есть каждые 2 часа, 20 минут и 5 минут.

Как его читать. Строки соответствуют $M = 12$, $72$ и $288$. Слева траектория цены (точками, чтобы были видны разрывы) и ступенчатая линия, которая поднимается на каждом скачке. Справа крестики: реализованная дисперсия по дням; линия: истинная квадратичная вариация (интегрированная дисперсия плюс квадраты скачков).

Что нужно увидеть. С ростом $M$ крестики ложатся на линию плотнее. Но и при $M = 288$ разброс заметный: авторы пишут, что реализованная дисперсия "is quite an inaccurate estimator" (раздел 3.1), хотя и точнее с ростом $M$.

Как его читать. Слева крестики: оценка интегрированной дисперсии $\frac{\pi}{2}\sum\lvert y_j\rvert \lvert y_{j+1}\rvert$; линия: истинная интегрированная дисперсия без скачков. Справа: оценка вклада скачков (реализованная дисперсия минус bipower variation) против истинного.

Что нужно увидеть. При $M = 12$ слева есть крестик около 1.35 на десятый день: оценку испортил крупный скачок, соседи которого при двухчасовых замерах не маленькие. Справа при $M = 12$ много отрицательных оценок скачков. При $M = 72$ и особенно $M = 288$ пики справа совпадают с настоящими скачками. По словам авторов, для малого $M$ оценка скачков "very inaccurate, but for moderate and large M the estimator works rather well" (раздел 3.1).

Затем авторы повторяют опыт на 5 000 днях со скачком в среднем раз в 20 дней и смотрят на распределение ошибок (таблица 1). Смещения почти нет ни у одной оценки. При $M = 288$ 95 % ошибок реализованной дисперсии лежат в пределах от −0.056 до 0.059, оценки через bipower variation от −0.066 до 0.064, оценки вклада скачков от −0.033 до 0.037. При $M = 12$ те же интервалы от −0.294 до 0.262, от −0.338 до 0.299 и от −0.179 до 0.168. Авторы отмечают: "Interestingly, the 95% interval is larger for this error than for the corresponding RV case." (раздел 3.1). То есть bipower variation оценивает свою цель чуть менее точно, чем реализованная дисперсия свою.

Без скачков (таблица 2) реализованная дисперсия тоже немного точнее: при $M = 288$ интервал от −0.055 до 0.056 против от −0.061 до 0.064. Авторы: результаты "indicate the RV is slightly preferable in terms of accuracy" (раздел 3.2). Это цена устойчивости.

Отрицательные оценки скачков. Сумма квадратов скачков не может быть меньше нуля, а разность двух оценок может. Авторы предлагают обрезать её снизу нулём:

Что это такое. Оценка вклада скачков, которая не бывает отрицательной. Соответственно непрерывная часть оценивается как меньшее из двух чисел: реализованной дисперсии и bipower variation.

Счёт по шагам. Посчитать разность. Если она отрицательная, записать ноль.

Что это даёт по таблице 3 работы. При $M = 288$ ошибка смещается к −0.003 в среднем, но её правый хвост сжимается до 0.008 против 0.037 без обрезки. Иначе говоря, обрезанная оценка редко сильно преувеличивает скачки. Цена названа авторами: "Of course, this estimator has the disadvantage of being biased." (раздел 3.3).

5. Эмпирика: курс марки к доллару

Данные: пятиминутный ряд курса доллара к немецкой марке от Olsen and Associates, построенный по котировкам бид и аск с экрана Reuters, с 1 декабря 1986 по 30 ноября 1996 года, выходные исключены. Все расчёты при $M = 288$.

Как его читать. (a) Реализованная дисперсия по дням, около 2 500 дней. (b) Bipower variation по тем же дням. (c) Их разность, оценка вклада скачков. (d) Автокорреляция трёх рядов на лагах до 100 дней: тонкая линия реализованная дисперсия, квадратики bipower variation, толстая линия вклад скачков.

Что нужно увидеть. Ряды (a) и (b) похожи: по словам авторов, оценка интегрированной дисперсии составляет основную часть реализованной. Ряд скачков (c) в основном около нуля с редкими выбросами, особенно в начале выборки, и есть отрицательные значения. Его автокорреляция (d) около нуля: скачки слабо зависят от прошлых скачков. Автокорреляция bipower variation немного выше, чем у реализованной дисперсии.

Практический вывод. Если для прогноза волатильности важна её инерция, очищенный от скачков ряд держит инерцию чуть лучше. Авторы называют это повышение "quite modest". Прогнозов по этим рядам в работе нет; авторы ссылаются на более позднюю работу Andersen, Bollerslev и Diebold (2003), где такие модели строились.

Средний вклад скачков в дневную квадратичную вариацию 0.0310 при средней реализованной дисперсии 0.528. Авторы делают вывод, что "the size of the jump component is quite modest for the dataset" (раздел 4); в долях это около 6 % (наш счёт).

Как его читать. Верхняя строка: 15 января 1988 года, когда вышла неожиданная статистика торгового баланса США. Слева цена по пятиминуткам точками, справа по дням крестики реализованной дисперсии и линия оценки интегрированной дисперсии. Нижняя строка: 19 августа 1991 года, день путча против Горбачёва.

Что нужно увидеть. В 1988 году цена за одну пятиминутку прыгнула почти на 2 %. Реализованная дисперсия этого дня около 4.8, оценка интегрированной дисперсии около 1.2: статистика приписала основную часть дня скачку. В 1991 году цена выросла на три единицы логарифма за час серией положительных доходностей. Реализованная дисперсия и оценка интегрированной дисперсии обе высокие, и авторы пишут: "the statistics have not flagged up a jump in the price, even though prices were moving rapidly in one direction" (раздел 4).

Практический вывод. Метод находит одиночный разрыв, но не находит быстрое движение, растянутое на много соседних замеров: там соседи у каждой большой доходности тоже большие. Для рынка, где движения на новостях идут каскадом за несколько минут, это существенная граница метода.

6. Расширения

Устойчивая ковариация. Через тождество $[y+x] = [y] + [x] + 2[y,x]$ ковариацию двух цен можно получить из трёх дисперсий: суммы, первой и второй цены. Если каждую оценить через bipower variation, ковариация тоже станет устойчивой к скачкам (раздел 5.1). Авторы обещают разобрать это отдельно.

Многостепенная вариация. Можно перемножать больше соседей. Трёхстепенная вариация с показателями 2/3 и четырёхстепенная с показателями 1/2 тоже оценивают интегрированную дисперсию (рисунки 6–8 работы); по словам авторов, ответы получаются не очень разными. У четырёхстепенной в одном периоде оценка скачков сильно отрицательная, и обрезка нулём снова помогает.

Бесконечно много мелких скачков. Для процессов Леви с бесконечным числом скачков на отрезке (нормальный гамма-процесс, нормальный обратный гауссовский процесс) вопрос остаётся открытым: "Here we explore this problem, without giving a complete solution." (раздел 5.3). Авторы считают, что результаты переносятся на случай конечной вариации, и ссылаются на более позднюю работу Woerner (2003).

Тест на скачки. Это самая практичная часть раздела 5. Из совместного предельного распределения двух оценок (выведено в отдельной работе авторов) следует, что без скачков их разность, нормированная на корень из интегрированной квартичности, асимптотически нормальна с дисперсией 0.6091. Асимптотическая корреляция двух оценок около 0.875, и "there is relatively little additional information in the realized bipower variation compared to the realized variance" (раздел 5.4): оптимальная комбинация двух оценок без скачков даёт реализованной дисперсии вес около единицы, а bipower variation около нуля.

Авторы рекомендуют логарифмическую форму теста (формула 26 работы). В обозначениях одного дня, где отношение шага замеров к длине периода $\delta/t = 1/M$:

Что это такое. Статистика теста «в этот день скачков не было». Если скачков нет, $z$ приблизительно стандартная нормальная величина; если были, реализованная дисперсия заметно больше bipower variation, и $z$ большое положительное.

Что означает каждый значок. RV: реализованная дисперсия дня. BP: сумма произведений соседних модулей, BPV: она же с множителем $\pi/2$. QPV: сумма произведений четырёх соседних модулей. В числителе разность логарифмов RV и BPV. В знаменателе 0.6091: асимптотическая дисперсия разности, константа из работы. Дробь с четырьмя соседними модулями оценивает, насколько неравномерно распределилась волатильность внутри дня; $\max$ не даёт этой оценке упасть ниже $1/M$, значения для постоянной волатильности.

Счёт по шагам. Посчитать сумму квадратов и сумму произведений соседних модулей с множителем $\pi/2$, взять логарифмы, вычесть. Посчитать сумму произведений четырёх соседних модулей, разделить на квадрат суммы произведений двух соседних, сравнить с $1/M$ и взять большее. Умножить на 0.6091, извлечь корень, разделить на него разность. Сравнить с односторонним критическим значением: 1.64 для уровня 5 %, 2.32 для 1 %.

Что получилось у авторов (таблица 4). На курсе марки к доллару гипотеза «скачков нет» отвергается в 21.5 % дней на уровне 5 %, в 11.9 % на уровне 1 %, в 6.0 % на уровне 0.1 % и в 3.83 % на уровне 0.01 %.

Зачем это нужно. Ежедневный флаг «сегодня был скачок» с понятным уровнем значимости. Авторы ссылаются на независимые симуляции других исследователей, где преобразованные (логарифмические) версии теста "are reasonably well behaved in empirically reasonable sample sizes" (раздел 5.4).

7. Что в работе шатко

Оговорки самих авторов

Устойчивость частичная и местами только теоретическая. В аннотации обе вариации названы "somewhat robust to rare jumps", а разделение рисков работает "in theory" (раздел 2.3). Общая теорема для bipower variation сформулирована как ожидаемая, доказаны частные случаи.

Допущение о независимости не проверено. Про требование, чтобы волатильность и снос не зависели от броуновского движения цены, авторы пишут: "It is thus far unclear to us how substantial is the impact of relaxing the independence condition" (раздел 1.3). В симуляции эффект рычага исключён по построению: "We rule out leverage" (раздел 3.1). На рынке акций, где волатильность растёт при падении цены, это допущение заведомо нарушается; насколько это портит оценку, работа не говорит.

Скачков конечное число. Для процессов с бесконечным числом мелких скачков решения нет (раздел 5.3).

Без скачков проигрыш в точности. Таблица 2 и асимптотика раздела 5.4 показывают, что bipower variation немного хуже реализованной дисперсии, когда скачков нет.

Оценка скачков бывает отрицательной, обрезка вносит смещение. Раздел 3.3.

Серия больших доходностей подряд не распознаётся как скачок. День путча 19 августа 1991 года (раздел 4 и рисунок 5).

Что видно при чтении

Микроструктурный шум в работе не обсуждается. Слово noise в тексте статьи не встречается. Все результаты асимптотические по учащению замеров, но на реальных данных при слишком частых замерах цена прыгает между бидом и аском, и обе оценки раздуваются. Данные Olsen сами построены по котировкам бид и аск и предварительно обработаны (ссылка на приложение другой работы авторов). Выбор $M = 288$ авторы называют типичным для таких методов, но не обосновывают по шуму. Это наше замечание.

Эмпирика на одном ряду. Один валютный курс, один период 1986–1996, один размер шага. Перенос на акции, фьючерсы или криптовалюты с их ночными разрывами, сессиями и каскадами ликвидаций в работе не проверен.

21.5 % дней со скачком на уровне 5 % трудно интерпретировать без проверки размера теста. Это заметно больше 5 %, но насколько тест держит номинальный уровень на конечных выборках, в этой работе не показано; авторы ссылаются на чужие симуляции. Это наше замечание.

8. Что из этого следует на практике

Есть одна строка кода для дисперсии, нечувствительной к одиночным разрывам. $\frac{\pi}{2}\sum\lvert y_j\rvert \lvert y_{j+1}\rvert$ по внутридневным доходностям. Там, где волатильность используется для размера позиции, одиночная свеча-выброс перестаёт раздувать оценку и резать позицию на следующий день.

Появляется отдельный ряд «скачки дня». Обрезанная нулём разность реализованной дисперсии и bipower variation. По работе этот ряд почти не автокоррелирован, то есть скачки плохо предсказываются по прошлым скачкам, в отличие от самой волатильности.

Нужны частые данные. На симуляции при двухчасовых замерах оценка скачков очень неточна, при 20-минутных и 5-минутных работает. На дневных барах метод неприменим.

Тест на скачки даёт ежедневный флаг с уровнем значимости. Формула 26 считается по тем же суммам плюс одна сумма четырёх соседей.

Не ждать от метода поимки каскадов. Быстрое однонаправленное движение на много замеров подряд метод отнесёт к непрерывной части. Если для задачи важны именно такие дни, нужен другой признак.

Без скачков реализованная дисперсия лучше. Если на рынке разрывы редки и мелки, выигрыша не будет, будет небольшая потеря точности. Авторы предлагают компромисс: брать меньшее из двух чисел.

9. Тестируемые идеи