Building the ensembles of credit scoring models


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License

The article is devoted to solving the actual problem of increasing the efficiency of assessing the credit risks of individual borrowers by finding the optimal combination of the results of calculations of specific scoring models. The principles of the formation of an ensemble of models are given and the existing approaches to the construction of ensemble structures are analyzed. In the process of experimental research has been applied one of the modifications of the boosting algorithm and implemented the author's algorithm for constructing an ensemble of models based on the specialization of experts. The radial-basis function neural networks were used as specific expert models. As a result of a comparative analysis of the efficiency of the used ensemble technologies it was confirmed that the algorithm for constructing an ensemble based on the specialization of experts proposed by the authors is the most adapted for the task of assessing credit risk.

view full abstract hide full abstract
    • Figure 1. Вигляд поверхні Pk при 0 ≤ p1, p2 ≤ 0.3; p3 = 0.3
    • Figure 2. Вигляд поверхні Pk при 0 ≤ p1, p2 ≤ 0.5; p3 = 0.5
    • Figure 3. Вигляд поверхні Pk при 0.5 ≤ p1, p2 ≤ 1; p3 = 0.7
    • Figure 4. Вигляд залежності ймовірності точної класифікації комітетом моделей Pk від точної класифікації окремим експертом p
    • Figure 5. Схема алгоритму бустінгу для навчальної вибірки з N значень
    • Figure 6. Схематичне зображення процесу побудови ансамблю моделей на основі спеціалізації експертів
    • Tables 1. Значення ймовірності коректної класифікації комітетом моделей для випадку фіксованої ймовірності коректної класифікації одного з експертів p3 = 0.3
    • Tables 2. Значення ймовірності коректної класифікації комітетом моделей для випадку ймовірності коректної класифікації третього експерта p3 = 0.5
    • Tables 3. Алгоритми формування ансамблів моделей та їх основні характеристики
    • Tables 4. Межі зміни точності класифікації ансамблем та його окремими моделями залежно від умов навчання
    • Tables 5. Розрахунки ефективності нейромереж при виборі параметрів базової моделі для навчальної вибірки 500 спостережень
    • Tables 6. Параметри нейромереж та показники ефективності базових моделей першого експерта для трьох варіантів навчальної вибірки
    • Tables 7. Зміни ефективності базових моделей для другого та третього експертів при трьох варіантах навчальної вибірки
    • Tables 8. Порівняння ефективності першого, другого, третього експертів та комітету моделей при трьох варіантах навчальної та тестової вибірок
    • Tables 9. Показники ефективності нейромереж різної архітектури для вибору окремих моделей-експертів при формуванні ансамблю
    • Tables 10. Показники точності logit-регресій
    • Tables 11. Показники точності класифікації ансамблями моделей, сформованими за різними алгоритмами