Chaos and Correlation

Natalia писал(а):Фурье анализ и все прочее - под Вашим руководством!

Это лучше Дима умеет.

Я понял, почему Вы использовали Abs. Но другие модели тоже отражают силу влияния, только по-другому. Хотя, возможно, это сложнее понять, как именно они это отражают. Но я думаю, что возможно они это отражают даже лучше, чем Abs, особенно Inf3. Поэтому и предлагаю их сравнить.

Я сейчас посчитаю 10 моделей и их достоверность на большой базе данных, которую Вы прислали, и скажу какая из них самая достоверная. На 100 наблюдениях получается Inf3.

Да, я посылала достаточно большую выборку, чтобы можно было какие-то выводы делать. Хорошо, жду, Евгений Вениаминович.
Я все получила, имею в виду почту, спасибо, буду разбираться.

Как это ни странно самой достоверной моделью по критерию L2 на этой задаче оказалась Abs, а по F-критерию Ван Ризбергена Inf5. Получены все выходные формы. Их тоже интересно смотреть. Полный расчет почти на 100000 примеров обучающей выборки шел чуть меньше 3 часов. Это фантастика. Спасибо Диме!

Eugene Lutsenko писал(а):Как это ни странно самой достоверной моделью по критерию L2 на этой задаче оказалась Abs, а по F-критерию Ван Ризбергена Inf5. Получены все выходные формы. Их тоже интересно смотреть. Полный расчет почти на 100000 примеров обучающей выборки шел чуть меньше 3 часов. Это фантастика. Спасибо Диме!

Евгений Вениаминович, я рада, что Вы сами просчитали все Модели и пришли к этим выводам. У Вас на это ушло 3 часа, а я вникала очень долго, рассматривая все модели, пока не пришла к выводу, что для моей задачи - нет лучше модели, чем Abs, потому что только на ней стала получать положительные результаты в прогнозировании.

Расчет идет действительно очень быстро, Дима - молодец!.

Дмитрий Бандык писал(а):Фурье анализ это запросто, если не делать в виде полноценной программы с интерфейсом пользователя а просто добавить в виде процедуры в уже существующий из модулей. Но в любом случае это точно не сейчас- в ближайший месяц я плотно занят другими задачами.

Я помню, что делала анализ Фурье в моделях по ЗМТ несколько лет назад, в начале нашей совместной работы, и где-то эти наработки у меня должны были сохраниться.

Вишенка на торте: прогноз на 2019 год по Приморью.
Выборка небольшая, всего 913 строк, что уже отмечается на графике автоматически.



Евгений Вениаминович, графики работают, можно будет делать прогноз на несколько лет.

Да, можно и попробовать! Но при 100 наблюдениях в обучающей выборки наиболее достоверными были модели Inf3 и Inf4 (по разным критериям). Так что достоверность модели зависит от объема выборки (и наверное вообще от региона, и т.д.)

А от решаемой задачи это не может зависеть, Евгений Вениаминович?

Когда разрабатывались темы движения полюса и Эль-Ниньо, я брала модели Inf7 и еще какую-то как самые информативные. Там тоже огромные выборки, но данные такого рода, что можно выделять тренды. а в настоящей задаче - нет.

Я решал много разных задач в разных областях и наиболее достоверными бывали разные модели, но чаще всего Inf3. Abs тоже иногда бывает наилучшей. От чего это зависит трудно сказать. Ясно, что от данных, от того, какие данные. Но и в самих моделях тоже можно задавать разное число интервалов, разный тип интервалов (равные или адаптивные). И вообще говоря в разных задачах разные модели могут получаться наиболее достоверными. Интересно все же наложить графики для одних условий в разных моделях. По-моему они очень похожие

На ловца и зверь бежит!
https://www.kaggle.com/c/LANL-Earthquak ... aunch-lanl