Як читати цей розбір. Формул у роботі немає, тому основний обсяг тут це перевірка заяв і видобування того небагатого, що застосовне. Якщо потрібен лише корисний залишок, починайте одразу з третього розділу.
1. Як до цієї роботи ставитися
Питання про незалежність тут не прискіпливість, а перше, що визначає вагу всіх цифр. Робота порівнює трейдерів, які торгують вручну, з трейдерами, які користуються ІІ-інструментами. Випускає її AIProp, проп-фірма, чий продукт і є ІІ-асистована торгівля. Дані внутрішні й не можуть бути перевірені ніким ззовні. Розділу про конфлікт інтересів у роботі немає: дисклеймер у кінці каже лише про те, що це не інвестиційна порада.
Для порівняння, у бар'єрній моделі Villahermosa автор, куди менш зацікавлений, наводить абзац про те, що сам торгував такі рахунки й продає роздробі індикатори. Тут зацікавленість пряма й комерційна, а розкриття немає.
При цьому робота робить кілька речей, за які її слід похвалити, і вони рідкісні в маркетингових матеріалах. Дизайн чесно названо нерандомізованим спостережним. Усюди написано «пов'язано з», а не «спричиняє», і це обумовлено окремою врізкою на першій сторінці. Розділ обмежень перелічує п'ять пунктів, включно із самовідбором когорт і тим, що ІІ-когорта об'єднує три різнорідні підтипи. Рекомендовані наступні кроки (зіставлені когорти, аналіз до і після на 47 тих, хто перейшов, проспективний рандомізований розподіл) це рівно те, що слід було б зробити.
Підсумок: як доказ користі ІІ робота не годиться. Як каталог операціональних визначень поведінкових подій, обчислюваних із журналу угод, вона корисна, і саме заради цього її варто тримати.
2. Що заявлено
Двадцятичотиримісячне спостережне дослідження 1 000 проп-трейдерів. Ключові цифри:
| Метрика | Вручну (n = 490) | З ІІ (n = 510) | Різниця |
|---|---|---|---|
| Середній Шарп | 0.62 (SD 0.41) | 0.89 (SD 0.35) | +0.27 (+44 %) |
| Середня максимальна просадка | 7.8 % (SD 2.9 %) | 4.3 % (SD 1.8 %) | −3.5 в.п. (−45 %) |
| Відношення часу утримання збитку до прибутку | 4.1× (ДІ 3.8–4.4) | 1.7× (ДІ 1.6–1.8) | −2.4× (−59 %) |
| Частка порушень правил | 18.4 % (90/490; ДІ 15.1–22.1) | 12.2 % (62/510; ДІ 9.5–15.4) | −6.2 в.п. (p < 0.01) |
| Емоційні виходи | 61.7 % виходів | 37.2 % виходів | −24.5 в.п. (p < 0.001) |
| Profit factor | 1.21 (SD 0.38) | 1.58 (SD 0.29) | +0.37 (+31 %) |
| Індекс дотримання ризику | 61.4 % | 88.9 % | +27.5 в.п. (+45 %) |
Що таке коефіцієнт Шарпа. Дохідність, поділена на її ж розмах коливань. Відповідає на питання «скільки прибутку отримано на одиницю трясіння». Вище означає краще, близько 1 для роздрібного трейдера вважається хорошим. У роботі не вказано, за який період він рахується і як приводиться до року, що робить порівняння з чужими числами неможливим.
Що таке profit factor. Сума всіх виграшів, поділена на суму всіх програшів. Одиниця це беззбитковість. Значення 1.21 означає, що на кожен втрачений долар зароблено долар і двадцять один цент.
Що таке відсотковий пункт. Різниця двох відсотків. Перехід з 18.4 % на 12.2 % це 6.2 відсоткового пункту, але 34 відсотки відносного зниження. Плутати ці дві речі звичайний спосіб перебільшити результат, і тут робота якраз акуратна: пише і те, і те.
Що таке довірчий інтервал. Діапазон, у якому із заданою впевненістю (зазвичай 95 %) лежить істинне значення. Якщо інтервали двох груп перекриваються, різницю між ними не встановлено.
Як його читати. Дві пари горизонтальних смуг. Ліворуч середня максимальна просадка (вісь від 0 до 10 %), праворуч частка порушень правил (вісь від 0 до 25 %). Одна смуга в кожній парі це ручна когорта, друга ІІ.
Що треба побачити. Рівно ті самі чотири числа, що в таблиці вище: 7.8 % проти 4.3 % і 18.4 % проти 12.2 %. Рисунок не додає жодного нового факту, він оформлювальний. Смуги приблизно пропорційні значенням, шкалу не обрізано, підтасовки в самій графіці немає.
Практичний висновок. Зверніть увагу, чого на рисунку немає: довірчих інтервалів. У таблиці вони є, і для частки порушень це 15.1–22.1 % проти 9.5–15.4 %. На рисунку ж дві смуги виглядають як два точні числа.
Сім викривлень і як вони вимірюються
Це найкорисніша частина роботи. Кожне поведінкове викривлення зведено до правила, яке рахується з журналу угод автоматично.
| Викривлення | Суть | Як вимірюється | Вага в індексі |
|---|---|---|---|
| Ефект диспозиції | продавати прибуток рано, тримати збиток довго | відношення часу утримання збиткових до прибуткових за сесію; бал = max(0, відношення − 1.0) × 10, стеля 100 | 22 % |
| Несприйняття збитку | рухати стоп, тримати понад допустиме | частка угод, де стоп зсунуто далі від входу після відкриття | 20 % |
| Надмірна впевненість | перебір угод, перебір розміру | відхилення частоти угод від базового рівня за 30 днів плюс коефіцієнт варіації розміру позиції | 18 % |
| Якоріння | фіксація на ціні входу й круглих числах | частка угод із заявленою ціллю, закритих вручну на іншому рівні без запису про зміну тези | 14 % |
| Ментальний облік | вважати прибуток сесії грошима казино | збільшення розміру позиції після прибутку сесії вище за 1.5 середніх денних | 12 % |
| Стадність | входи навздогін | частка входів після руху в 1.5 середньоденного діапазону без плану | 8 % |
| Нещодавність і відігравання | імпульсивне відігравання збитку | частка входів протягом 30 хвилин після вибивання стопа, рівним або більшим розміром | 6 % |
Ваги відкалібровано логістичною регресією на результаті «подія порушення» за навчальним набором 2022–2023, 3 400 рахунків. Сума ваг дорівнює рівно 100 %, перевірено.
Три додаткові метрики:
- Discipline Score, 0–100 це частка угод, що пройшли всі п'ять перевірок відповідності плану. Середній бал 51.3 вручну проти 73.8 з ІІ.
- Індекс дотримання ризику це частка угод у межах заявленого ризику на угоду. 61.4 % проти 88.9 %, кореляція з результатом рахунку 0.74 (p < 0.001).
- Емоційний вихід це будь-який вихід, де стоп було зсунуто, або вихід не був запланований, або вхід настав протягом 30 хвилин після вибивання стопа.
Склад вибірки
| Когорта | N | Частка | Стадія рахунку |
|---|---|---|---|
| Вручну, без ІІ та радників | 490 | 49.0 % | 277 оцінка / 213 фондованих |
| ІІ-асистована дискреційна | 183 | 18.3 % | 101 / 82 |
| Радник за правилами | 198 | 19.8 % | 112 / 86 |
| Гібрид: ІІ плюс контроль людини | 129 | 12.9 % | 68 / 61 |
| Разом | 1 000 | 100 % | 558 / 442, близько 128 000 угод |
Усі суми перераховано, і вони сходяться: підкогорти ІІ дають 510, стадії дають 558 і 442.
3. Що не сходиться
3.1 Одну з семи відносних змін пораховано неправильно
Перерахунок усіх семи заголовкових відсотків:
| Метрика | Було і стало | Перерахунок | Заявлено |
|---|---|---|---|
| Просадка | 7.8 → 4.3 | 44.9 % | 45 % ✓ |
| Емоційні виходи | 61.7 → 37.2 | 39.7 % | 41 % ✗ |
| Шарп | 0.62 → 0.89 | 43.5 % | 44 % ✓ |
| Порушення | 18.4 → 12.2 | 33.7 % | 34 % ✓ |
| Індекс дотримання ризику | 61.4 → 88.9 | 44.8 % | 45 % ✓ |
| Profit factor | 1.21 → 1.58 | 30.6 % | 31 % ✓ |
| Час утримання | 4.1 → 1.7 | 58.5 % | 59 % ✓ |
Шість із семи округлено коректно. Сьоме, зниження емоційних виходів, дає 39.7 %, а заявлено 41 %. У резюме роботи стоїть "Emotionally-driven exits: 37.2% (AI) vs. 61.7% (manual) — 41% reduction", у висновках "AI-assisted trading associated with 41% fewer emotionally-driven exits". Цифру тиражовано тричі: в анотації, у резюме й у розділі висновків. Помилка невелика за модулем, але вона єдина в наборі, де всі інші акуратні, і зміщена у вигідний бік.
3.2 Хі-квадрат не відповідає жодному із заявлених розмірів вибірки
У висновках стоїть дослівно: "37.2% vs. 61.7% (−24.5 pp; chi-square = 142.3; p < 0.001)".
Що таке хі-квадрат. Міра розбіжності між спостережуваними частотами й тими, яких очікували б за відсутності зв'язку. Зростає з розміром вибірки: та сама різниця у відсотках на великій вибірці дає велике значення, на малій мале. Тому за значенням хі-квадрат можна відновити, скільки спостережень було.
Перерахунок за різних одиниць спостереження:
| Одиниця спостереження | n на групу | Хі-квадрат |
|---|---|---|
| Трейдери | 490 / 510 | 60.0 |
| Угоди (близько 128 000 навпіл) | 64 000 / 64 000 | 7 684 |
| Що відповідає заявленому | ≈ 1 186 / 1 186 | 142.4 |
Заявлене значення 142.3 не відповідає ні числу трейдерів, ні числу угод. Воно відповідає вибірці близько 1 186 спостережень на групу, тобто приблизно 2 370 виходам сумарно, і така величина в роботі не фігурує ніде. Знаменник головного тесту значущості не названий і не відновлюється з тексту.
Це не дрібниця: емоційні виходи заявлено як частку виходів, а не трейдерів, і за 128 000 угод виходів має бути на два порядки більше. Або тест проведено на підвибірці, про яку не сказано, або значення пораховано не за тими даними, що описані.
3.3 Одне й те саме число 73 % позначає два різні твердження
У таблиці семи викривлень, рядок про відігравання, колонка ключової статистики:
"73% of manual breaches had revenge trade as trigger"
У розділі висновків:
"Behavioral failures — not strategy — drive 73% of breaches. In the manual cohort, 73% of breach events (66/90) were preceded by a BBI-tagged behavioral event (loss aversion stop-removal, revenge entry, or mental accounting oversize) in the same session."
Це два різні твердження. У першому 73 % приписано одному викривленню з семи. У другому об'єднанню трьох. Обидва бути правдивими не можуть. Перевірка на суперечність: у тій самій таблиці несприйняттю збитку приписано "Drives 34.2% of manual breaches". Якщо відігравання відповідає за 73 %, а несприйняття збитку за 34.2 %, сума вже 107 % при тому, що це два доданки з трьох. Частка 66/90 = 73.3 % підтверджує, що арифметика висновків стосується об'єднання, а рядок таблиці хибний.
3.4 Порівняння з Одіном зіставляє різні величини
Перший висновок роботи дослівно: "Disposition effect 2.7× more severe than academic benchmarks. Manual cohort loser/winner hold ratio of 4.1× (95% CI 3.8–4.4×) vs. Odean (1998) benchmark of ~1.5×." Відношення 4.1/1.5 = 2.73, арифметика правильна.
Неправильне саме зіставлення. В Одіна міра диспозиції це відношення частки реалізованих прибутків до частки реалізованих збитків: з усіх паперових прибутків яку частину трейдер зафіксував, і те саме для збитків. Тут же вимірюється відношення часу утримання збиткових позицій до прибуткових. Це різні величини з різними одиницями й різними розподілами, і в них немає причини збігатися навіть за однакової поведінки. Порівнювати їх і оголошувати різницю в 2.7 раза це підміна.
Далі з цього виводиться грошова оцінка: "For \$50K–\$100K accounts, the implied annual performance cost is \$2,200–\$4,400 (Odean: 4.4% return drag)". Тобто береться коефіцієнт Одіна 4.4 % і застосовується до розмірів рахунків. Але якщо диспозиція тут у 2.7 раза сильніша, ніж в Одіна, то й втрата не має дорівнювати його ж 4.4 %. Або ефект сильніший і втрата більша, або втрата та сама й ефект не сильніший.
3.5 Дві з трьох ІІ-підкогорт статистично не відрізняються від ручної
| Підкогорта | Частка порушень (95 % ДІ) | Шарп | Індекс ризику |
|---|---|---|---|
| Вручну (еталон) | 18.4 % (15.1–22.1) | 0.62 | 61.4 % |
| ІІ-асистована дискреційна | 15.1 % (10.4–21.1) | 0.81 | 79.2 % |
| Радник за правилами | 13.6 % (9.5–18.8) | 0.91 | 91.3 % |
| Гібрид ІІ та людини | 8.5 % (4.8–14.4) | 0.97 | 94.1 % |
Інтервал дискреційної підкогорти (10.4–21.1) перекривається з ручним (15.1–22.1) на протязі шести пунктів. Інтервал радника за правилами (9.5–18.8) перекривається на трьох із половиною. Різницю не встановлено для жодної з цих двох груп. Не перекривається лише гібрид, і то із зазором у сім десятих пункту.
Робота наводить цю таблицю й жодним словом не коментує перекриття. Заголовкова цифра «на 34 % менше порушень» отримана об'єднанням трьох підкогорт, з яких дві окремо невідрізненні від еталона.
3.6 Радник за правилами це не ІІ
198 трейдерів із 510 в ІІ-когорті, тобто 38.8 %, віднесено до категорії детермінованого радника, який виконує записані правила. Це автоматизація, а не штучний інтелект, і технології тут різні настільки, наскільки взагалі буває. Робота сама ж пояснює механізм: "Improvement was largest in Rule-Based EA and Hybrid sub-cohorts where execution rules make emotional patterns structurally impossible."
Ось це і є справжній висновок, який дані підтримують: виграш дає усунення ручного втручання, а не інтелект інструмента. Позначити результат як досягнення ІІ це рішення маркетингове.
3.7 Просадки усічені самими правилами
Середня максимальна просадка 7.8 % і 4.3 % за 24 місяці це величини підозріло малі для роздрібних трейдерів. Пояснення просте: на проп-рахунку просадка обмежена правилами фірми, зазвичай близько 10 %, і за її досягнення рахунок помирає. Тобто спостережуваний розподіл просадок цензуровано згори, і різниця між когортами вимірюється не на повному розподілі, а на тому, що вціліло.
Сюди ж критерії включення: активний рахунок, щонайменше 20 завершених угод, щонайменше 5 активних днів. Трейдер, який розорився за три дні, у вибірку не потрапляє. Це зміщення працює, що цікаво, проти висновку роботи: швидше розоряються зазвичай ручні, і їхній відсів поліпшує ручну когорту. Але сам факт, що два різні відбори діють одночасно в різні боки, означає, що величину ефекту з цих даних видобути не можна взагалі.
3.8 Самовідбір, названий, але не усунутий
Розподіл за когортами самовідібраний: люди самі вирішували, чи користуватися ІІ. Робота це визнає в обмеженнях і правильно пише всюди «пов'язано з». Але заголовкові цифри при цьому подаються як ефект інструмента, включно з рекомендацією впровадити ІІ-огорожі. Трейдер, який обрав ІІ-інструмент, з великою ймовірністю й без нього був би дисциплінованішим, а кореляція індексу ризику з результатом (0.74) з тим самим успіхом читається як «дисципліновані люди і дисципліновані, і заробляють».
3.9 Число без джерела
У таблиці викривлень, рядок про надмірну впевненість, колонка ключової статистики: «зачіпає близько 70 % роздрібних трейдерів». Це твердження про зовнішню популяцію, а не про вибірку роботи, і посилання при ньому немає. У списку літератури шість позицій, і жодна не підписана під цим числом; остання з них указана без автора, назви журналу та ідентифікатора, тобто не є посиланням у перевірному сенсі.
4. Що звідси варто забрати
Попри все перелічене, одна річ у роботі зроблена добре й застосовна прямо: сім поведінкових викривлень переведено в правила, які рахуються з журналу угод без опитування трейдера. Жодне з них не вимагає знати, що людина відчувала; усі спираються на позначки часу, ціни й розміри.
Корисно це в конкретному місці. Портфель систематичних стратегій не зазнає ефекту диспозиції: у нього немає механізму тримати збиток довше за прибуток. Але в людини, яка сидить над цим портфелем, механізм є, і виявляється він у ручному втручанні: зняти стоп, закрити раніше, додати розмір після хорошого дня, перезапустити зупинену стратегію після серії збитків. Ці втручання лишають рівно ті сліди, які тут описані.
Три метрики, які має сенс рахувати за власним журналом:
Частка угод, де стоп було зсунуто після відкриття. Для повністю автоматичної системи це нуль за визначенням. Будь-яке ненульове значення точно міра ручного втручання, і вона рахується одним рядком за логом.
Індекс дотримання ризику: частка угод усередині заявленого ризику на угоду. Для систематичного портфеля це перевірка того, що розмір позиції відповідає розрахунковому. Розбіжність указує або на ручну правку, або на дефект у сайзингу.
Частка входів протягом 30 хвилин після вибивання стопа рівним або більшим розміром. Для автомата це властивість стратегії, а не емоції, але метрика все одно корисна: вона показує, скільки разів система перезаходить одразу після збитку, і чи варто обмежувати такі перезаходи.
Окремо варто відзначити тезу, яку робота формулює як головну і яка, на відміну від відсотків, витримує перевірку логікою: правила проп-фірм відсіюють поведінку, а не навичку. Це та сама думка, до якої незалежно приходить робота Youngblood з протилежного боку, показавши, що фіксований розмір позиції робить кілька правил недійсними. Два джерела, різні методи, один висновок.
5. Тестовані ідеї
| № | Ідея | Тип | Де рахувати |
|---|---|---|---|
| 1 | Рахувати за власним журналом частку угод, де стоп зсунуто після відкриття: для автоматичного портфеля норма це нуль, будь-яке відхилення вимірює ручне втручання | метрика приймання | Python |
| 2 | Індекс дотримання ризику: частка угод, чий фактичний ризик потрапив у заявлений коридор. Розбіжність указує на дефект сайзингу або на правку руками | метрика приймання | бектестер |
| 3 | Частка входів протягом 30 хвилин після вибивання стопа рівним або більшим розміром; перевірити, чи поліпшує заборона на такі перезаходи результат портфеля | зміна конструкції | бектестер |
| 4 | Відношення медіанного часу утримання збиткових угод до прибуткових за кожною стратегією: для симетричних виходів очікується близько 1, сильне відхилення ознака асиметрії правил виходу | діагностика | Python |
| 5 | Коефіцієнт варіації розміру позиції за стратегією: у коректно працюючого сайзингу він визначається лише волатильністю, і сплески вказують на помилку | аудит | бектестер |
| 6 | Перевірити, чи цензуровано розподіл просадок правилами рахунку, перш ніж порівнювати середні просадки між будь-якими групами | аудит | Python |
| 7 | Під час порівняння підгруп завжди дивитися на перекриття довірчих інтервалів, а не лише на точкові оцінки: у цій роботі дві підкогорти з трьох невідрізненні від еталона | метрика приймання | будь-яка |