Набор продвинутых методов для разбиения данных на обучающий и тестовый наборы
Кросс-валидация
Перекрёстная проверка
K-folds
1/k часть всех данных отводим под тестовый набор. Потом обучаем модель и находим ошибку. Потом берём следующую порцию данных и получаем следующую ошибку. Повторяем k раз, выбирая каждый раз следующий набор данных. После k итераций получилось, что мы обучали и тестировали модель на всём наборе данных. Усредняем ошибки по всем итерациям, получаем среднюю ошибку
Минусы кросс-валидации
Время обучение модели увеличилось в K раз, возможна утечка данных
Обычно K=10, сколько итераций?
10
Максимальное K равно
Количеству строк данных
Чем лучше holdout?
Он откладывает в сторону часть данных
В holdout, когда мы проверили работу на тестовых данных, можем ли мы продолжать?
