Методы прогнозирования

Можно считать, что прогнозирование является чуть ли не основной целью и задачей большого числа специалистов, занимающихся анализом данных. Современные методы статистического прогнозирования позволяют с высокой точностью прогнозировать практически все возможные показатели.

Автоматизируйте решение задачи прогнозирования с помощью системы Sales-Forecast. Смотреть видео

При анализе временных рядов можно выделить две основные цели:

определение природы временного ряда
прогнозирование (предсказание будущих значений временного ряда по настоящим и прошлым значениям)

Однако надо помнить, что не существует универсальных методов прогнозирования на все случаи жизни. Выбор метода прогнозирования и его эффективность зависят от многих условий, и в частности от требуемой длины или времени прогнозирования.

По времени прогнозирования различают краткосрочный, среднесрочный и долгосрочный прогноз.

Краткосрочный прогноз характеризует собой прогноз «на завтра», то есть прогноз на несколько шагов вперед. Для него применяют практически все известные методы: экспоненциальное сглаживание, АРПСС (ARIMA) и нейронные сети.

Среднесрочный прогноз – это обычно прогноз на один или на половину сезонного цикла. Для него используют АРПСС и экспоненциальное сглаживание, которые позволяют отслеживать качество прогноза в зависимости от срока прогноза.

А при построении долгосрочного прогноза стандартные статистические методы прогнозирования практически не используют, и требуется использование комплексных подходов. Например, использование нейронных сетей или регрессионных моделей.

Для построения прогноза, важно правильно понимать термины, используемые при построении моделей и хорошо ими оперировать. Это и выделение тренда, циклической составляющей ряда, трендциклической, сезонной составляющей и шумовой компоненты; и исследование автокорреляционной и частной автокорреляционной функции для нахождения сезонности; и построение периодограммы, и вычисление сезонного лага (например, при помощи спектрального анализа Фурье).

После построения любой модели важно проверять, насколько адекватно она построена. Для этого можно, во-первых, провести визуальный анализ со сдвигом прогноза на несколько шагов назад. А во-вторых, воспользоваться анализом остатков – стандартным методом проверки адекватности любой построенной статистической модели.

Для наглядного представления применимости моделей в зависимости от интересующей длительности прогноза удобно пользоваться следующей таблицей:

Программа STATISTICA является комплексным аналитическим инструментом, предназначенным для построения точных прогнозов в любых областях, используя различные методы прогнозирования, а справка системы своевременно напомнит необходимую терминологию.

STATISTICA - полностью на русском языке!

При решении задач прогнозирования могут применяться процедуры и модули следующих продуктов STATISTICA:

STATISTICA Base

Продукт необходим для расчета описательных статистик, построения графиков, сравнения нескольких групп (например, рядов продаж за несколько лет) и оценки правомерности использования "старых" данных при построении прогнозов, оценки изменчивости ряда, "чистки данных" (нахождения и обработки выбросов), расчета корреляций, выявления зависимостей между временными рядами и т.д.

В этом блоке реализован один из наиболее часто используемых методов прогнозирования - построение классической линейной модели многомерной регрессии, описывающей зависимость между переменной, которую необходимо прогнозировать, и влияющими на нее факторами.

Например, может быть смоделирована зависимость объемов продаж от таких факторов как цены на продукцию, расходы на проведение рекламных и маркетинговых акций, сезонность в распределении продаж, цены конкурентов и др. При известных значениях факторов на основе объясняющей модели легко могут быть спрогнозированы объемы продаж.

Таким образом, анализ зависимостей между переменными не ограничивается проведением корреляционного анализа, а включает также построение на основе исходных данных численной зависимости, которая может быть использована для прогнозирования значений независимых переменных при известных значениях факторов. Кроме этого проводится оценка статистической значимости как самой модели, так и предикторов, входящих в ее состав.

Например, зная запланированные на следующий месяц объемы скидок, уровни цен, затраты на проведение рекламных акций и т.д., можно получить предполагаемый уровень продаж и его доверительный интервал, подставив соответствующие значения в уравнение зависимости.

STATISTICA Advanced

Продукт содержит все возможности STATISTICA Base и расширяет их углубленными методами анализа.

Модуль STATISTICA Advanced Linear/Non-Linear Models (Линейные и Нелинейные Модели)

Позволяет перейти от построения простейших линейных регрессионных моделей к более общим и сложным нелинейным моделям, которые обеспечивают более точное моделирование рынка. Например, в модель могут входить не только сами факторы, но и их различные функциональные преобразования. Для построения подобных моделей доступны модули Общие линейные и нелинейные модели, Общие регрессионные модели, Нелинейное оценивание и др.

Кроме этого, при построении нелинейных моделей появляется возможность нахождения оптимальных значений факторов, при которых будут достигаться наиболее желательные значения зависимой переменной (например, максимальные объемы продаж). Для этого используются специальные оптимизационные алгоритмы и графические методы, например, инструмент Профили желательности.

Модуль Временные ряды и прогнозирование, также входящий в блок Линейные и Нелинейные Модели STATISTICA, широко используется для построения прогнозов временных рядов без привлечения сопутствующих факторов, т.е. для прогнозирования поведения ряда на основе его собственной истории. Модуль включает наиболее эффективные и популярные методы и анализа временных рядов, такие как экспоненциальное сглаживание, модель авторегрессии и скользящего среднего, сезонная декомпозиция, спектральный анализ Фурье и другие. Для каждого из методов имеется большое число настроек, что позволяет наилучшим образом адаптировать его под исследуемый временной ряд.

При исследовании временных рядов часто очень эффективными оказываются графические и описательные методы и анализа, большинство из которых для удобства интегрированы в модуль Временные ряды и прогнозирование. Модуль также содержит полный набор средств для проведения всевозможных преобразований временных рядов, таких как взятие разности различных порядков (исследование изменчивости ряда), сглаживание ряда (обнаружение тенденций в поведении ряда), выделение тренда (выделение детерминированной систематической составляющей ряда), вычисление автокорреляционных и кросскорреляционных функций, а также построение их графиков (коррелограмм).

Процедура Анализ распределенных лагов, представленная в модуле, позволяет исследовать запаздывающие влияния сопутствующих факторов на изучаемый временной ряд. Например, при анализе зависимости между фактором рекламных акций и объемом продаж логично предположить, что реклама может подействовать не моментально, а через некоторое время. Как раз при решении подобных задач может быть применена эта процедура, она позволит выявить наличие зависимости и определить, через какое время следует ожидать "отдачи" от рекламы.

Модуль STATISTICA Multivariate Exploratory Techniques (Многомерные разведочные технологии анализа)

Предоставляет широкий выбор разведочных технологий анализа различных типов данных в сочетании с богатыми интерактивными средствами визуализации.

Модули этого блока могут быть использованы при решении задач, связанных с сегментацией исходных объектов в данных, снижением размерности данных, задач классификации и др. Применение многомерных статистических методов анализа позволяет снизить трудоемкость решения задачи прогнозирования.

Модуль Кластерный анализ позволяет разбить исходную, вообще говоря, неоднородную совокупность объектов на максимально однородные группы, или кластеры. Например, в крупных торговых сетях ассортимент продаваемых товаров насчитывает тысячи единиц. Анализ и прогнозирование каждого временного ряда по отдельности не представляются возможными в связи с высокой трудоемкостью такого подхода. Мы можем разбить все множество временных рядов на однородные кластеры, которые будут содержать ряды, обладающие сходной динамикой, после чего анализировать уже не отдельные ряды, а целые кластеры. Таким образом, значительно (иногда в десятки раз) снижается размерность задачи, а следовательно и трудоемкость прогнозирования продаж.

Кроме этого, можно кластеризовать временные ряды исходя из абсолютных значений оборота по каждому из товаров, и выделить товары, продажи которых приносят наибольшую прибыль. Как показывает опыт, часто около 20% ассортимента обеспечивают 80% оборота (так называемый принцип Парето).

STATISTICA Automated Neural Networks

Единственный в мире программный продукт для нейросетевых исследований, полностью переведенный на русский язык. Поддержка различных типов анализов: регрессия, классификация, временные ряды (прогнозирование), временные ряды (классификация), кластерный анализ, визуализация данных.

Продукт содержит мощное собрание встроенных интеллектуальных возможностей, которые позволяют решить реальные задачи, не имея практически никакого опыта работы с нейронными сетями. В то же время, опытный пользователь нейронных сетей может полностью управлять почти всеми аспектами нейросетевой структуры и обучения.

STATISTICA Data Miner

Продукт содержит наиболее полный набор методов Data Mining на рынке программного обеспечения, в удобном пользовательском интерфейсе позволяет исследовать большие массивы информации и выявлять в них скрытые правила и закономерности (продукт также содержит все возможности STATISTICA Advanced, STATISTICA Automated Neural Networks).

Кроме того, StatSoft Russia ведет разработку готовых отраслевых решений, позволяющих автоматизировать процесс построения прогнозов (в том числе для сотен рядов), а также учесть всю специфику задач Заказчика.