SlideShare una empresa de Scribd logo
1 de 19
Descargar para leer sin conexión
Predictive Analytics
Лебедюк Эдуард
Модели, описывающие зависимости между данными с историческими и
текущими значениями для прогноза значений данных будущих
периодов
Особенности:
– Соединяет инструменты статистики, машинного обучения, data mining
– Основано на вероятностных моделях
– Дополняет BI
Прогнозная аналитика
Прогнозные модели
Построение прогнозных моделей
•Анализ
–Специальные навыки
–Специальные инструменты
•Данные
–Исследовательская работа
–Большие объёмы данных
–«Очистка» данных
•В ретроспективе:
–На основе ранее накопленных данных
•В прогнозировании:
–На поступающих данных
Применение прогнозных моделей
•Predictive Modeling Markup Language 4.1
–XML расширение описания прогнозных
моделей
–Полная поддержка некорректных и
отсутствующих значений
–Разделение производителей моделей и
пользователей
–Поддерживается основными
производителями программного
обеспечения для статистического анализа,
PMML
more info: www.dmg.org
сбор
данных
подготовка
для анализа анализ
использование
полученных
данных
Что нужно сделать для построения модели
построение
модели
применение
модели
•Исследовательский стиль моделирования
–«Есть ли в наших данных зависимости, достаточные
для построения прогноза?"
–Не забывайте о сохранении структуры данных.
–Экспортируйте построенные модели в PMML.
•Анализ текстов
–Используйте iKnow
Построение прогнозных моделей
• Встроенная поддержка PMML
– Скопируйте PMML в класс, наследующийся от
%DeepSee.PMML.Definition
– Необходимый код создаётся автоматически при компиляции
– Или создайте из веб-интерфейса
• Возможности использования
– Бизнес-правила Ensemble
– Интеграция в DeepSee (Plug-in или Listing)
– CSP страница для тестирования
Применение прогнозной модели
•Наивный байесовский классификатор
•Нейронные сети
•Регрессионные модели
•Общие регрессионные модели
•Деревья решений
•Метод опорных векторов
•Кластерный анализ
•Модели основанные на правилах
Поддерживаемые типы моделей
•Статистический метод исследования влияния
одной или нескольких независимых
переменных X1, X2,…, Xn на зависимую
переменную Y.
•Независимые переменные иначе называют
регрессорами или предикторами, а
зависимые переменные — критериальными.
•Терминология зависимых и независимых
переменных отражает лишь математическую
зависимость переменных, а не причинно-
следственные отношения.
Регрессионные модели
Методология развивающая регрессионные модели для случая
не нормального распределения критериальной переменной.
Общие регрессионные модели
Состоят из элементов типа «листья» и «ветки». На ребрах («ветках»)
дерева решения записаны атрибуты, от которых зависит целевая
функция, в «листьях» записаны значения целевой функции, а в
остальных узлах — атрибуты, по которым различаются случаи. Чтобы
классифицировать новый случай, надо спуститься по дереву до листа и
выдать соответствующее значение.
Деревья
• Простой вероятностный классификатор, основанный на применении
Теоремы Байеса со строгими (наивными) предположениями о
независимости.
• Достоинством наивного байесовского классификатора является малое
количество данных для обучения, необходимых для оценки
параметров, требуемых для классификации.
Наивный байесовский классификатор
• Набор схожих алгоритмов вида «обучение с учителем», использующихся для задач
классификации и регрессионного анализа
• Принадлежит к семейству линейных классификаторов (построение линейной
разделяющей поверхности)
• Основная идея— перевод исходных векторов в пространство более высокой
размерности и поиск разделяющей гиперплоскости с максимальным зазором в этом
пространстве.
Метод опорных векторов
• Многомерная статистическая процедура, выполняющая сбор данных,
содержащих информацию о выборке объектов, и затем
упорядочивающая объекты в сравнительно однородные группы.
• Задача кластеризации относится к статистической обработке, а также к
классу задач обучения без учителя.
Кластерный анализ
Представляют собой систему соединённых и взаимодействующих между собой
простых процессоров (искусственных нейронов).
Каждый нейрон сети имеет дело только с сигналами, которые он периодически
получает, и сигналами, которые он периодически посылает другим
процессорам.
Будучи соединёнными в достаточно большую сеть с управляемым
взаимодействием, такие локально простые процессоры вместе способны
выполнять довольно сложные задачи.
Нейронные сети
Rattle Knime RapidMiner
PMML
Workflow, meta
workflow
Выполнение в RAM
Подключение к БД
Наивный
байесовский
классификатор
Регрессионные
модели
Общие
регрессионные
модели
Деревья
Метод опорных
векторов
Нейронные сети
Программное обеспечение для PMML
Конец

Más contenido relacionado

Destacado

La semana de mayo de 1810
La semana de mayo de 1810La semana de mayo de 1810
La semana de mayo de 1810laureanobruni
 
Prof Nabahani-Letter of Recommendation
Prof Nabahani-Letter of RecommendationProf Nabahani-Letter of Recommendation
Prof Nabahani-Letter of RecommendationLora Connor
 
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmart
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmartIndoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmart
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmartlottexselxqbod
 
Schoollloop training latest
Schoollloop training latestSchoollloop training latest
Schoollloop training latestmarcelo leal
 
TALLER TRABAJADO EN CLASE♥
TALLER TRABAJADO EN CLASE♥TALLER TRABAJADO EN CLASE♥
TALLER TRABAJADO EN CLASE♥yekaortiz
 
La Adivina
La AdivinaLa Adivina
La AdivinaSole
 
Bogona. evolucio y retos de la educ. virtual
Bogona. evolucio y retos de la educ. virtualBogona. evolucio y retos de la educ. virtual
Bogona. evolucio y retos de la educ. virtualEducacion
 
Constitución mexicana
Constitución mexicanaConstitución mexicana
Constitución mexicanaGeera Bahena
 
Revolución del 1ro diciembre 1828, fusilamiento de Dorrego
Revolución del 1ro diciembre 1828, fusilamiento de DorregoRevolución del 1ro diciembre 1828, fusilamiento de Dorrego
Revolución del 1ro diciembre 1828, fusilamiento de DorregoMartin Alberto Belaustegui
 
7 sfaturi pentru fotojurnalisti
7 sfaturi pentru fotojurnalisti7 sfaturi pentru fotojurnalisti
7 sfaturi pentru fotojurnalistiAleGliga
 

Destacado (12)

La semana de mayo de 1810
La semana de mayo de 1810La semana de mayo de 1810
La semana de mayo de 1810
 
Prof Nabahani-Letter of Recommendation
Prof Nabahani-Letter of RecommendationProf Nabahani-Letter of Recommendation
Prof Nabahani-Letter of Recommendation
 
Albañilería
AlbañileríaAlbañilería
Albañilería
 
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmart
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmartIndoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmart
Indoor Tanning Eye Safety - Eye M.D.-approved information from EyeSmart
 
Schoollloop training latest
Schoollloop training latestSchoollloop training latest
Schoollloop training latest
 
TALLER TRABAJADO EN CLASE♥
TALLER TRABAJADO EN CLASE♥TALLER TRABAJADO EN CLASE♥
TALLER TRABAJADO EN CLASE♥
 
La Adivina
La AdivinaLa Adivina
La Adivina
 
Navegando13 mayo.2012
Navegando13 mayo.2012Navegando13 mayo.2012
Navegando13 mayo.2012
 
Bogona. evolucio y retos de la educ. virtual
Bogona. evolucio y retos de la educ. virtualBogona. evolucio y retos de la educ. virtual
Bogona. evolucio y retos de la educ. virtual
 
Constitución mexicana
Constitución mexicanaConstitución mexicana
Constitución mexicana
 
Revolución del 1ro diciembre 1828, fusilamiento de Dorrego
Revolución del 1ro diciembre 1828, fusilamiento de DorregoRevolución del 1ro diciembre 1828, fusilamiento de Dorrego
Revolución del 1ro diciembre 1828, fusilamiento de Dorrego
 
7 sfaturi pentru fotojurnalisti
7 sfaturi pentru fotojurnalisti7 sfaturi pentru fotojurnalisti
7 sfaturi pentru fotojurnalisti
 

Similar a Predicitive Analytics в InterSystems Caché

Управление знаниями в семантической вики
Управление знаниями в семантической викиУправление знаниями в семантической вики
Управление знаниями в семантической викиYury Katkov
 
Классификаторы
КлассификаторыКлассификаторы
КлассификаторыAnatoly Kazakov
 
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)Ontico
 
Data Mining - lecture 1 - 2014
Data Mining - lecture 1 - 2014Data Mining - lecture 1 - 2014
Data Mining - lecture 1 - 2014Andrii Gakhov
 
Поиск на своем сайте, обзор open source решений
Поиск на своем сайте, обзор open source решенийПоиск на своем сайте, обзор open source решений
Поиск на своем сайте, обзор open source решенийaragozin
 
раздел 2 модели и типы данных
раздел 2  модели и типы данныхраздел 2  модели и типы данных
раздел 2 модели и типы данныхtatianabtt
 
32 - Базы данных. Пространственные индексы
32 - Базы данных. Пространственные индексы32 - Базы данных. Пространственные индексы
32 - Базы данных. Пространственные индексыRoman Brovko
 
Web весна 2012 лекция 6
Web весна 2012 лекция 6Web весна 2012 лекция 6
Web весна 2012 лекция 6Technopark
 
Бизнес и системный анализ весна 2013 лекция 5
Бизнес и системный анализ весна 2013 лекция 5Бизнес и системный анализ весна 2013 лекция 5
Бизнес и системный анализ весна 2013 лекция 5Technopark
 
CV2011 Lecture 10. Image retrieval
CV2011 Lecture 10.  Image retrievalCV2011 Lecture 10.  Image retrieval
CV2011 Lecture 10. Image retrievalAnton Konushin
 
2014-2015_Алгор-структ_Раб-прогр_Мансуров
2014-2015_Алгор-структ_Раб-прогр_Мансуров2014-2015_Алгор-структ_Раб-прогр_Мансуров
2014-2015_Алгор-структ_Раб-прогр_Мансуров????? ????????
 
39 - Базы данных. NoSQL базы данных
39 - Базы данных. NoSQL базы данных39 - Базы данных. NoSQL базы данных
39 - Базы данных. NoSQL базы данныхRoman Brovko
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAINL Conferences
 
11 - Web-технологии. Работа с СУБД
11 - Web-технологии. Работа с СУБД11 - Web-технологии. Работа с СУБД
11 - Web-технологии. Работа с СУБДRoman Brovko
 
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Mark Shaphir
 

Similar a Predicitive Analytics в InterSystems Caché (20)

Савостин. Системы и методы научного поиска и мониторинга
Савостин. Системы и методы научного поиска и мониторингаСавостин. Системы и методы научного поиска и мониторинга
Савостин. Системы и методы научного поиска и мониторинга
 
Управление знаниями в семантической вики
Управление знаниями в семантической викиУправление знаниями в семантической вики
Управление знаниями в семантической вики
 
Классификаторы
КлассификаторыКлассификаторы
Классификаторы
 
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)
Поиск на своем сайте, обзор Open source решений (Алексей Рагозин)
 
Data Mining - lecture 1 - 2014
Data Mining - lecture 1 - 2014Data Mining - lecture 1 - 2014
Data Mining - lecture 1 - 2014
 
Поиск на своем сайте, обзор open source решений
Поиск на своем сайте, обзор open source решенийПоиск на своем сайте, обзор open source решений
Поиск на своем сайте, обзор open source решений
 
раздел 2 модели и типы данных
раздел 2  модели и типы данныхраздел 2  модели и типы данных
раздел 2 модели и типы данных
 
Экспертная система по конструированию и моделированию швейных изделий
Экспертная система по конструированию и моделированию швейных изделийЭкспертная система по конструированию и моделированию швейных изделий
Экспертная система по конструированию и моделированию швейных изделий
 
32 - Базы данных. Пространственные индексы
32 - Базы данных. Пространственные индексы32 - Базы данных. Пространственные индексы
32 - Базы данных. Пространственные индексы
 
Web весна 2012 лекция 6
Web весна 2012 лекция 6Web весна 2012 лекция 6
Web весна 2012 лекция 6
 
лекция № 7
лекция № 7лекция № 7
лекция № 7
 
Бизнес и системный анализ весна 2013 лекция 5
Бизнес и системный анализ весна 2013 лекция 5Бизнес и системный анализ весна 2013 лекция 5
Бизнес и системный анализ весна 2013 лекция 5
 
Рассуждения на основе прецедентов
Рассуждения на основе прецедентовРассуждения на основе прецедентов
Рассуждения на основе прецедентов
 
CV2011 Lecture 10. Image retrieval
CV2011 Lecture 10.  Image retrievalCV2011 Lecture 10.  Image retrieval
CV2011 Lecture 10. Image retrieval
 
2014-2015_Алгор-структ_Раб-прогр_Мансуров
2014-2015_Алгор-структ_Раб-прогр_Мансуров2014-2015_Алгор-структ_Раб-прогр_Мансуров
2014-2015_Алгор-структ_Раб-прогр_Мансуров
 
39 - Базы данных. NoSQL базы данных
39 - Базы данных. NoSQL базы данных39 - Базы данных. NoSQL базы данных
39 - Базы данных. NoSQL базы данных
 
Ainl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическаяAinl 2013 bogatyrev_математическая и лингвистическая
Ainl 2013 bogatyrev_математическая и лингвистическая
 
Автоматическое формирование базы знаний для задачи анализа мнений
Автоматическое формирование базы знаний для задачи анализа мненийАвтоматическое формирование базы знаний для задачи анализа мнений
Автоматическое формирование базы знаний для задачи анализа мнений
 
11 - Web-технологии. Работа с СУБД
11 - Web-технологии. Работа с СУБД11 - Web-технологии. Работа с СУБД
11 - Web-технологии. Работа с СУБД
 
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
Марк Шафир - Программа курса "Современные методы анализа данных" (НИУ ВШЭ)
 

Predicitive Analytics в InterSystems Caché

  • 2. Модели, описывающие зависимости между данными с историческими и текущими значениями для прогноза значений данных будущих периодов Особенности: – Соединяет инструменты статистики, машинного обучения, data mining – Основано на вероятностных моделях – Дополняет BI Прогнозная аналитика
  • 4. Построение прогнозных моделей •Анализ –Специальные навыки –Специальные инструменты •Данные –Исследовательская работа –Большие объёмы данных –«Очистка» данных
  • 5. •В ретроспективе: –На основе ранее накопленных данных •В прогнозировании: –На поступающих данных Применение прогнозных моделей
  • 6. •Predictive Modeling Markup Language 4.1 –XML расширение описания прогнозных моделей –Полная поддержка некорректных и отсутствующих значений –Разделение производителей моделей и пользователей –Поддерживается основными производителями программного обеспечения для статистического анализа, PMML more info: www.dmg.org
  • 7. сбор данных подготовка для анализа анализ использование полученных данных Что нужно сделать для построения модели построение модели применение модели
  • 8. •Исследовательский стиль моделирования –«Есть ли в наших данных зависимости, достаточные для построения прогноза?" –Не забывайте о сохранении структуры данных. –Экспортируйте построенные модели в PMML. •Анализ текстов –Используйте iKnow Построение прогнозных моделей
  • 9. • Встроенная поддержка PMML – Скопируйте PMML в класс, наследующийся от %DeepSee.PMML.Definition – Необходимый код создаётся автоматически при компиляции – Или создайте из веб-интерфейса • Возможности использования – Бизнес-правила Ensemble – Интеграция в DeepSee (Plug-in или Listing) – CSP страница для тестирования Применение прогнозной модели
  • 10. •Наивный байесовский классификатор •Нейронные сети •Регрессионные модели •Общие регрессионные модели •Деревья решений •Метод опорных векторов •Кластерный анализ •Модели основанные на правилах Поддерживаемые типы моделей
  • 11. •Статистический метод исследования влияния одной или нескольких независимых переменных X1, X2,…, Xn на зависимую переменную Y. •Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными. •Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно- следственные отношения. Регрессионные модели
  • 12. Методология развивающая регрессионные модели для случая не нормального распределения критериальной переменной. Общие регрессионные модели
  • 13. Состоят из элементов типа «листья» и «ветки». На ребрах («ветках») дерева решения записаны атрибуты, от которых зависит целевая функция, в «листьях» записаны значения целевой функции, а в остальных узлах — атрибуты, по которым различаются случаи. Чтобы классифицировать новый случай, надо спуститься по дереву до листа и выдать соответствующее значение. Деревья
  • 14. • Простой вероятностный классификатор, основанный на применении Теоремы Байеса со строгими (наивными) предположениями о независимости. • Достоинством наивного байесовского классификатора является малое количество данных для обучения, необходимых для оценки параметров, требуемых для классификации. Наивный байесовский классификатор
  • 15. • Набор схожих алгоритмов вида «обучение с учителем», использующихся для задач классификации и регрессионного анализа • Принадлежит к семейству линейных классификаторов (построение линейной разделяющей поверхности) • Основная идея— перевод исходных векторов в пространство более высокой размерности и поиск разделяющей гиперплоскости с максимальным зазором в этом пространстве. Метод опорных векторов
  • 16. • Многомерная статистическая процедура, выполняющая сбор данных, содержащих информацию о выборке объектов, и затем упорядочивающая объекты в сравнительно однородные группы. • Задача кластеризации относится к статистической обработке, а также к классу задач обучения без учителя. Кластерный анализ
  • 17. Представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Каждый нейрон сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. Будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие локально простые процессоры вместе способны выполнять довольно сложные задачи. Нейронные сети
  • 18. Rattle Knime RapidMiner PMML Workflow, meta workflow Выполнение в RAM Подключение к БД Наивный байесовский классификатор Регрессионные модели Общие регрессионные модели Деревья Метод опорных векторов Нейронные сети Программное обеспечение для PMML