У своїй багаторічній практиці (мій профіль) я мав змогу спостерігати, як змінювалися підходи до побудови математичних моделей. Метод групового урахування аргументів (МГУА або GMDH), використаний мною в університеті для отримання PhD, був спрямований на автоматизацію створення прогнозних моделей на основі обмежених даних. Завдяки своїй структурованості, простоті інтерпретації та здатності будувати моделі високої точності, МГУА став революційним для того часу. І хоча я вже кодив на С++ моделі МГУА вимушений був реалізовувати на мові FORTRAN. До речі супер-мова для великих розрахунків, чи вам відомий тільки Pascal?)
Зі зростанням обчислювальної потужності та кількості доступних даних з’явилися нові виклики. Відкриття в області глибокого навчання та розвиток нейронних мереж дали поштовх новій епосі аналізу даних.
Від МГУА до глибокого навчання
МГУА був і залишається потужним інструментом для автоматизованого пошуку моделей. Його ключові особливості, такі як еволюційний підхід до побудови моделі та поступове ускладнення структури, багато в чому передбачили методи сучасного машинного навчання.
Наприклад:
1. Ітеративне покращення моделі. У МГУА моделі створюються поступово, шляхом збільшення числа змінних чи ступеня поліномів. У нейронних мережах це можна порівняти з поступовим налаштуванням ваг шляхом ітеративного градієнтного спуску.
2. Скорочення перенавчання. В МГУА ми вводили механізм контролю складності, щоб уникнути перенавчання (наприклад, через крос-валідацію). У нейронних мережах подібні завдання вирішуються методами регуляризації (L1, L2, Dropout тощо).
3. Оптимальний вибір змінних. Якщо в МГУА автоматичний відбір змінних базувався на аналізі їх впливу на модель, у нейронних мережах це вирішується за рахунок оптимізації ваг, які фактично визначають "корисність" кожної ознаки.
Проте в сучасному світі, де дані стають усе складнішими й багатовимірними, можливості МГУА виявилися обмеженими. Тут на сцену вийшли нейронні мережі.
