Як читати цей розбір. Головну ідею роботи пояснено на одному прикладі з десяти дохідностей, без теорії: вона в розділі «Метод в один рядок». Формули нижче розібрано за значками і на числах; доведень теорем ми не переказуємо, вони в роботі та в окремих статтях авторів. Якщо потрібна лише практична частина, читайте розділи 2, 4, 7 і 8. Усе, що автори припускають і чого не перевіряли, зібрано в розділі «Що в роботі хитке».
1. Як влаштована задача
Є внутрішньоденні дохідності, наприклад п'ятихвилинні, і треба зрозуміти, наскільки волатильним був день. Стандартна відповідь, реалізована дисперсія: скласти квадрати всіх дохідностей за день. Теорія давно відома: за частішання замірів ця сума збігається до квадратичної варіації ціни за день.
Що означає кожен значок. («ігрек жі-і»): -та внутрішньоденна дохідність дня (різниця логарифмів ціни). («ем»): скільки замірів у дні; в авторів це п'ятихвилинки за цілу добу. Фігурні дужки з індексом просто позначення «сума других степенів».
Рахунок за кроками. Кожну п'ятихвилинну дохідність піднести до квадрата, усе скласти.
Проблема в тому, що квадратична варіація складається з двох частин різної природи. Якщо ціна рухається неперервно зі своєю миттєвою волатильністю і до того ж зрідка стрибає (новина, несподівана статистика), то
Що це таке. Квадратична варіація дня дорівнює інтегрованій дисперсії неперервної частини плюс сума квадратів стрибків, що сталися за день.
Що означає кожен значок. («сигма від у»): миттєва волатильність у момент , неспостережувана. : інтегрована дисперсія, скільки дисперсії неперервна частина набрала за день. : розмір -го стрибка. : довжина періоду, в авторів це день.
Навіщо це потрібно. Реалізована дисперсія бачить лише суму. Автори наголошують:
"realized variance cannot be informative about the separate contributions the diffusion or jump parts of m* make to QV"(розділ 1.1). Щоб розділити, потрібна або жорстка параметрична модель, або інша статистика. Робота йде другим шляхом.
Чому розділяти варто, видно на ринку: день, коли ціна спокійно стояла, крім однієї п'ятихвилинки після несподіваної новини, і день, коли ціна весь день ходила широко, дають схожу реалізовану дисперсію. Для оцінки ризику і прогнозу ці дні різні.
2. Метод в один рядок
Замість суми квадратів складати добутки модулів сусідніх дохідностей і помножити на . Вийде оцінка дисперсії без стрибків; різниця з реалізованою дисперсією дає внесок стрибків.
Що це таке. Bipower variation (двостепенева варіація) в головному окремому випадку (обидва степені дорівнюють одиниці), з поправковим множником. У роботі множник записано як , де , тож .
Що означає кожен значок. : модуль -ї дохідності, без знака. : модуль наступної. Сума йде до , бо пар сусідів на одну менше, ніж дохідностей. Стрілка з літерою читається «збігається за ймовірністю»: за частішання замірів ліва частина як завгодно близько підходить до правої.
Чому стрибок згасає. Стрибок потрапляє в одну дохідність. У сумі квадратів він підноситься до квадрата. У сумі добутків він множиться на сусідню дохідність, звичайну і малу, а за частішання замірів сусіди стають дедалі меншими. У границі внесок рідкісних стрибків іде в нуль, а неперервна частина залишається.
Приклад на числах (наш приклад, у роботі його немає). День із десяти дохідностей: дев'ять по 0.1 %, одна посеред дня 3 %.
- Реалізована дисперсія: . Стрибок дає 99 % суми, волатильність дня .
- Пар сусідів дев'ять. У семи обидві дохідності звичайні: . У двох бере участь стрибок: . Сума .
- Помножити на : , волатильність дня близько 1.03 %.
- Різниця : оцінка внеску стрибка. Справжній квадрат стрибка ; недобір через те, що в десяти замірах стрибок ще помітно «протікає» в добутки із сусідами. За частішання замірів це протікання зменшується.
Що це таке. Оцінка внеску стрибків у денну варіацію: реалізована дисперсія мінус bipower variation.
Навіщо це потрібно. Автори формулюють внесок роботи так:
"This seems to be the first method that can separate quadratic variation into its continuous and jump components."(анотація). У висновках обережніше:"To our knowledge this is the first radical alternative to the commonly used realized variance estimator of this quantity."(розділ 6).
3. Формально: степенева і двостепенева варіація
Робота починає з узагальнення реалізованої дисперсії на довільний степінь, реалізованої степеневої варіації:
Що це таке. Сума модулів дохідностей у степені з нормуванням.
Що означає кожен значок. : показник степеня. За виходить реалізована дисперсія, за сума модулів («реалізована абсолютна варіація»). : нормування на частоту замірів. За показник дорівнює нулю і множник зникає, за він із частішанням замірів іде в нуль, за у нескінченність.
Приклад на числах (наш розрахунок за формулою роботи). день, , : множник . Суму модулів п'ятихвилинних дохідностей треба помножити на 0.059, щоб вона не зростала від того, що замірів стало більше.
Головне нововведення, реалізована bipower variation:
Що нового. У кожному доданку два сусідні модулі, кожен у своєму степені: («ер») у поточної дохідності, («ес») у наступної. Слово bipower і означає «два степені». За це знову степенева варіація.
Головний випадок . Показник нормування , множник зникає, залишається сума добутків сусідніх модулів, формула (3) роботи. Це і є той один рядок, який реалізують на практиці.
Що до чого збігається, задають поправкові числа :
Що це таке. Середнє значення модуля стандартної нормальної величини в степені .
Що означає кожен значок. : середнє (математичне сподівання). : величина розподілена нормально із середнім 0 і стандартним відхиленням 1. («гамма»): гамма-функція, узагальнення факторіала.
Ключові числа. : середній модуль нормальної величини менший за її стандартне відхилення, тому суму добутків модулів доводиться ділити на , тобто множити на . , тому в реалізованої дисперсії поправки немає.
Навіщо це потрібно. Без поправки bipower variation систематично занижувала б дисперсію приблизно на третину (, наш розрахунок).
Межа стійкості. Теорема 4 для степеневої варіації: за границя не залежить від рідкісних стрибків, за входять обидві частини, за границю визначають стрибки і вона нескінченна. Теорема 5 переносить це на bipower variation: границя не змінюється від стрибків, поки "the maximum of the powers is less than two" (вступ). Автори прямо називають це головним внеском роботи. За максимуму рівно 2 границя змішує стрибки і волатильність, за більшого йде в нескінченність.
Як це зрозуміти на пальцях. Степінь менший за два не дає великому значенню домінувати, а нормування за частішання замірів «гасить» скінченну кількість великих доданків. Квадрат же влаштований так, що внесок стрибка в суму квадратів не залежить від частоти замірів, і він залишається в границі.
Важливо, за яких припущень це доведено. Ціна має бути процесом зі стохастичною волатильністю (інтеграл за броунівським рухом) плюс скінченна кількість стрибків на будь-якому відрізку часу. Для теорем 1 і 4 додатково потрібно, щоб волатильність і дрейф були незалежні від броунівського руху ціни, тобто не було ефекту важеля. Загальний результат для bipower variation (розділ 1.4) автори формулюють як очікуваний і відкладають доведення: "We will discuss a proof of this general result elsewhere.". Доведено окремий випадок без дрейфу (теорема 2); після першої версії статті, за словами авторів, умову на дрейф послаблено в окремій роботі. Зате щодо стрибків припущення м'які: теорема 4 тримається для будь-якого процесу стрибків зі скінченною кількістю стрибків на відрізку, стрибки можуть залежати один від одного і від волатильності (розділ 2.2).
4. Перевірка на симуляціях
Модель симуляції (розділ 3.1): дисперсія йде за процесом квадратного кореня (модель Гестона) із середньою денною дисперсією за і , тобто 0.5 (наш розрахунок за параметрами роботи), , дрейф нульовий, ефекту важеля немає за побудовою. На 50 днів випадково розкидано 10 стрибків, кожен нормальний з дисперсією, що дорівнює дисперсії 64 % звичайного торгового дня. Автори називають їх "large but quite rare jumps". Частоти замірів , і , тобто кожні 2 години, 20 хвилин і 5 хвилин.

Як його читати. Рядки відповідають , і . Ліворуч траєкторія ціни (точками, щоб було видно розриви) і східчаста лінія, яка піднімається на кожному стрибку. Праворуч хрестики: реалізована дисперсія за днями; лінія: справжня квадратична варіація (інтегрована дисперсія плюс квадрати стрибків).
Що треба побачити. Зі зростанням хрестики лягають на лінію щільніше. Але й за розкид помітний: автори пишуть, що реалізована дисперсія
"is quite an inaccurate estimator"(розділ 3.1), хоча й точніша зі зростанням .

Як його читати. Ліворуч хрестики: оцінка інтегрованої дисперсії ; лінія: справжня інтегрована дисперсія без стрибків. Праворуч: оцінка внеску стрибків (реалізована дисперсія мінус bipower variation) проти справжнього.
Що треба побачити. За ліворуч є хрестик близько 1.35 на десятий день: оцінку зіпсував великий стрибок, сусіди якого за двогодинних замірів не малі. Праворуч за багато від'ємних оцінок стрибків. За і особливо піки праворуч збігаються зі справжніми стрибками. За словами авторів, для малого оцінка стрибків
"very inaccurate, but for moderate and large M the estimator works rather well"(розділ 3.1).
Далі автори повторюють дослід на 5 000 днях зі стрибком у середньому раз на 20 днів і дивляться на розподіл помилок (таблиця 1). Зміщення майже немає в жодної оцінки. За 95 % помилок реалізованої дисперсії лежать у межах від −0.056 до 0.059, оцінки через bipower variation від −0.066 до 0.064, оцінки внеску стрибків від −0.033 до 0.037. За ті самі інтервали від −0.294 до 0.262, від −0.338 до 0.299 і від −0.179 до 0.168. Автори зазначають: "Interestingly, the 95% interval is larger for this error than for the corresponding RV case." (розділ 3.1). Тобто bipower variation оцінює свою ціль трохи менш точно, ніж реалізована дисперсія свою.
Без стрибків (таблиця 2) реалізована дисперсія теж трохи точніша: за інтервал від −0.055 до 0.056 проти від −0.061 до 0.064. Автори: результати "indicate the RV is slightly preferable in terms of accuracy" (розділ 3.2). Це ціна стійкості.
Від'ємні оцінки стрибків. Сума квадратів стрибків не може бути меншою за нуль, а різниця двох оцінок може. Автори пропонують обрізати її знизу нулем:
Що це таке. Оцінка внеску стрибків, яка не буває від'ємною. Відповідно неперервна частина оцінюється як менше з двох чисел: реалізованої дисперсії і bipower variation.
Рахунок за кроками. Порахувати різницю. Якщо вона від'ємна, записати нуль.
Що це дає за таблицею 3 роботи. За помилка зміщується до −0.003 у середньому, але її правий хвіст стискається до 0.008 проти 0.037 без обрізання. Інакше кажучи, обрізана оцінка рідко сильно перебільшує стрибки. Ціну назвали автори:
"Of course, this estimator has the disadvantage of being biased."(розділ 3.3).
5. Емпірика: курс марки до долара
Дані: п'ятихвилинний ряд курсу долара до німецької марки від Olsen and Associates, побудований за котируваннями бід і аск з екрана Reuters, з 1 грудня 1986 до 30 листопада 1996 року, вихідні виключено. Усі розрахунки за .

Як його читати. (a) Реалізована дисперсія за днями, близько 2 500 днів. (b) Bipower variation за тими самими днями. (c) Їхня різниця, оцінка внеску стрибків. (d) Автокореляція трьох рядів на лагах до 100 днів: тонка лінія реалізована дисперсія, квадратики bipower variation, товста лінія внесок стрибків.
Що треба побачити. Ряди (a) і (b) схожі: за словами авторів, оцінка інтегрованої дисперсії становить основну частину реалізованої. Ряд стрибків (c) переважно біля нуля з рідкісними викидами, особливо на початку вибірки, і є від'ємні значення. Його автокореляція (d) біля нуля: стрибки слабко залежать від минулих стрибків. Автокореляція bipower variation трохи вища, ніж у реалізованої дисперсії.
Практичний висновок. Якщо для прогнозу волатильності важлива її інерція, очищений від стрибків ряд тримає інерцію трохи краще. Автори називають це підвищення
"quite modest". Прогнозів за цими рядами в роботі немає; автори посилаються на пізнішу роботу Andersen, Bollerslev і Diebold (2003), де такі моделі будувалися.
Середній внесок стрибків у денну квадратичну варіацію 0.0310 за середньої реалізованої дисперсії 0.528. Автори роблять висновок, що "the size of the jump component is quite modest for the dataset" (розділ 4); у частках це близько 6 % (наш розрахунок).

Як його читати. Верхній рядок: 15 січня 1988 року, коли вийшла несподівана статистика торговельного балансу США. Ліворуч ціна за п'ятихвилинками точками, праворуч за днями хрестики реалізованої дисперсії і лінія оцінки інтегрованої дисперсії. Нижній рядок: 19 серпня 1991 року, день путчу проти Горбачова.
Що треба побачити. У 1988 році ціна за одну п'ятихвилинку стрибнула майже на 2 %. Реалізована дисперсія цього дня близько 4.8, оцінка інтегрованої дисперсії близько 1.2: статистика приписала основну частину дня стрибку. У 1991 році ціна зросла на три одиниці логарифма за годину серією додатних дохідностей. Реалізована дисперсія і оцінка інтегрованої дисперсії обидві високі, і автори пишуть:
"the statistics have not flagged up a jump in the price, even though prices were moving rapidly in one direction"(розділ 4).Практичний висновок. Метод знаходить поодинокий розрив, але не знаходить швидкий рух, розтягнутий на багато сусідніх замірів: там сусіди в кожної великої дохідності теж великі. Для ринку, де рухи на новинах ідуть каскадом за кілька хвилин, це суттєва межа методу.
6. Розширення
Стійка коваріація. Через тотожність коваріацію двох цін можна отримати з трьох дисперсій: суми, першої і другої ціни. Якщо кожну оцінити через bipower variation, коваріація теж стане стійкою до стрибків (розділ 5.1). Автори обіцяють розібрати це окремо.
Багатостепенева варіація. Можна перемножувати більше сусідів. Тристепенева варіація з показниками 2/3 і чотиристепенева з показниками 1/2 теж оцінюють інтегровану дисперсію (рисунки 6–8 роботи); за словами авторів, відповіді виходять не дуже різні. У чотиристепеневої в одному періоді оцінка стрибків сильно від'ємна, і обрізання нулем знову допомагає.
Нескінченно багато дрібних стрибків. Для процесів Леві з нескінченною кількістю стрибків на відрізку (нормальний гамма-процес, нормальний обернений гауссівський процес) питання залишається відкритим: "Here we explore this problem, without giving a complete solution." (розділ 5.3). Автори вважають, що результати переносяться на випадок скінченної варіації, і посилаються на пізнішу роботу Woerner (2003).
Тест на стрибки. Це найпрактичніша частина розділу 5. Зі спільного граничного розподілу двох оцінок (виведеного в окремій роботі авторів) випливає, що без стрибків їхня різниця, нормована на корінь з інтегрованої квартичності, асимптотично нормальна з дисперсією 0.6091. Асимптотична кореляція двох оцінок близько 0.875, і "there is relatively little additional information in the realized bipower variation compared to the realized variance" (розділ 5.4): оптимальна комбінація двох оцінок без стрибків дає реалізованій дисперсії вагу близько одиниці, а bipower variation близько нуля.
Автори рекомендують логарифмічну форму тесту (формула 26 роботи). У позначеннях одного дня, де відношення кроку замірів до довжини періоду :
Що це таке. Статистика тесту «цього дня стрибків не було». Якщо стрибків немає, приблизно стандартна нормальна величина; якщо були, реалізована дисперсія помітно більша за bipower variation, і велике додатне.
Що означає кожен значок. RV: реалізована дисперсія дня. BP: сума добутків сусідніх модулів, BPV: вона ж із множником . QPV: сума добутків чотирьох сусідніх модулів. У чисельнику різниця логарифмів RV і BPV. У знаменнику 0.6091: асимптотична дисперсія різниці, стала з роботи. Дріб із чотирма сусідніми модулями оцінює, наскільки нерівномірно розподілилася волатильність усередині дня; не дає цій оцінці впасти нижче , значення для сталої волатильності.
Рахунок за кроками. Порахувати суму квадратів і суму добутків сусідніх модулів із множником , взяти логарифми, відняти. Порахувати суму добутків чотирьох сусідніх модулів, поділити на квадрат суми добутків двох сусідніх, порівняти з і взяти більше. Помножити на 0.6091, добути корінь, поділити на нього різницю. Порівняти з одностороннім критичним значенням: 1.64 для рівня 5 %, 2.32 для 1 %.
Що вийшло в авторів (таблиця 4). На курсі марки до долара гіпотеза «стрибків немає» відкидається в 21.5 % днів на рівні 5 %, в 11.9 % на рівні 1 %, у 6.0 % на рівні 0.1 % і в 3.83 % на рівні 0.01 %.
Навіщо це потрібно. Щоденний прапорець «сьогодні був стрибок» зі зрозумілим рівнем значущості. Автори посилаються на незалежні симуляції інших дослідників, де перетворені (логарифмічні) версії тесту
"are reasonably well behaved in empirically reasonable sample sizes"(розділ 5.4).
7. Що в роботі хитке
Застереження самих авторів
Стійкість часткова і місцями лише теоретична. В анотації обидві варіації названо "somewhat robust to rare jumps", а розділення ризиків працює "in theory" (розділ 2.3). Загальну теорему для bipower variation сформульовано як очікувану, доведено окремі випадки.
Припущення про незалежність не перевірене. Про вимогу, щоб волатильність і дрейф не залежали від броунівського руху ціни, автори пишуть: "It is thus far unclear to us how substantial is the impact of relaxing the independence condition" (розділ 1.3). У симуляції ефект важеля виключено за побудовою: "We rule out leverage" (розділ 3.1). На ринку акцій, де волатильність зростає при падінні ціни, це припущення свідомо порушується; наскільки це псує оцінку, робота не каже.
Стрибків скінченна кількість. Для процесів із нескінченною кількістю дрібних стрибків розв'язку немає (розділ 5.3).
Без стрибків програш у точності. Таблиця 2 і асимптотика розділу 5.4 показують, що bipower variation трохи гірша за реалізовану дисперсію, коли стрибків немає.
Оцінка стрибків буває від'ємною, обрізання вносить зміщення. Розділ 3.3.
Серія великих дохідностей поспіль не розпізнається як стрибок. День путчу 19 серпня 1991 року (розділ 4 і рисунок 5).
Що видно під час читання
Мікроструктурний шум у роботі не обговорюється. Слово noise у тексті статті не трапляється. Усі результати асимптотичні за частішанням замірів, але на реальних даних за надто частих замірів ціна стрибає між бідом і аском, і обидві оцінки роздуваються. Дані Olsen самі побудовано за котируваннями бід і аск і попередньо оброблено (посилання на додаток іншої роботи авторів). Вибір автори називають типовим для таких методів, але не обґрунтовують щодо шуму. Це наше зауваження.
Емпірика на одному ряді. Один валютний курс, один період 1986–1996, один розмір кроку. Перенесення на акції, ф'ючерси або криптовалюти з їхніми нічними розривами, сесіями і каскадами ліквідацій у роботі не перевірено.
21.5 % днів зі стрибком на рівні 5 % важко інтерпретувати без перевірки розміру тесту. Це помітно більше за 5 %, але наскільки тест тримає номінальний рівень на скінченних вибірках, у цій роботі не показано; автори посилаються на чужі симуляції. Це наше зауваження.
8. Що з цього випливає на практиці
Є один рядок коду для дисперсії, нечутливої до поодиноких розривів. за внутрішньоденними дохідностями. Там, де волатильність використовується для розміру позиції, поодинока свічка-викид перестає роздувати оцінку і різати позицію наступного дня.
З'являється окремий ряд «стрибки дня». Обрізана нулем різниця реалізованої дисперсії і bipower variation. За роботою цей ряд майже не автокорельований, тобто стрибки погано передбачаються за минулими стрибками, на відміну від самої волатильності.
Потрібні часті дані. На симуляції за двогодинних замірів оцінка стрибків дуже неточна, за 20-хвилинних і 5-хвилинних працює. На денних барах метод незастосовний.
Тест на стрибки дає щоденний прапорець із рівнем значущості. Формула 26 рахується за тими самими сумами плюс одна сума чотирьох сусідів.
Не чекати від методу виловлювання каскадів. Швидкий односпрямований рух на багато замірів поспіль метод віднесе до неперервної частини. Якщо для задачі важливі саме такі дні, потрібна інша ознака.
Без стрибків реалізована дисперсія краща. Якщо на ринку розриви рідкісні й дрібні, виграшу не буде, буде невелика втрата точності. Автори пропонують компроміс: брати менше з двох чисел.
9. Тестовані ідеї
| № | Ідея | Тип | Де рахувати |
|---|---|---|---|
| 1 | Рахувати щодня поруч реалізовану дисперсію і за 5-хвилинними дохідностями і порівняти їх у дні з поодинокими екстремальними свічками | діагностика | Python |
| 2 | Будувати ряд внеску стрибків як і перевірити його автокореляцію проти автокореляції BPV, як на рисунку 4 роботи | діагностика | Python |
| 3 | Прогнозувати дисперсію наступного дня за BPV і за RV і порівняти помилку прогнозу; у роботі прогнозів немає, є лише трохи вища автокореляція BPV | метрика приймання | Python |
| 4 | Порахувати обидві оцінки за M = 12, 48, 72, 144, 288, 576 на своїх даних і знайти, де оцінка виходить на плато і де починає зростати від мікроструктурного шуму | діагностика | Python |
| 5 | Рахувати логарифмічну статистику тесту на стрибки (формула 26) щодня і порівняти частку відмов на рівнях 5 % і 1 % з 21.5 % і 11.9 % в авторів | діагностика | Python |
| 6 | Відібрати дні з найбільшою реалізованою дисперсією і вручну перевірити, які з них тест пропустив через серію односпрямованих дохідностей, як 19 серпня 1991 | аудит | Python |
| 7 | В оцінці волатильності для розміру позиції замінити RV на і порівняти стабільність розміру позиції і результат | зміна конструкції | бектестер |
| 8 | Порівняти bipower variation із тристепеневою (показники 2/3) на днях, де два великі заміри йдуть поспіль | діагностика | Python |
| 9 | Оцінювати коваріацію пари інструментів через тотожність з bipower variation замість квадратів і порівняти зі звичайною коваріацією в дні новин | діагностика | Python |