Что такое Data Science

Поговорим о том, что такое Data Science, почему она так важна для бизнеса и стоит ли самому становиться специалистом в этой области. Кратко об одной из самых востребованных профессий в мире. 

Определение Data Science

Data Science (наука о данных, даталогия) – это набор дисциплин, технологий и методик для анализа огромного объема информации, генерируемой бизнесом и нон-профит-организациями. Такое явление, как Data Science, включает в себя подготовку ко сбору данных, их обработку и презентацию добытой информации нужным людям в нужном ключе. Например, руководству для принятия решений по развитию какого-либо продукта или инвесторам для демонстрации показателей вашей компании.

Применение методик Data Science подразумевает использование программных алгоритмов, продвинутых аналитических инструментов, искусственного интеллекта и других современных технологий. Это комплексная процедура, требующая специальных навыков. В связи с чем появилась целое направление в области аналитики и отдельная профессия – дата-сайентист. 

От качества сбора данных, точности проведенного анализа, объективной полезности полученных значений и их корректной визуализации во многом зависит судьба как отдельных проектов, так и целых компаний. Поэтому дата-сайентисты так важны и пользуются большим спросом на IT-рынке.

Что делают специалисты в области Data Science?

На плечи Data Science-специалиста ложится весь спектр задач, касающихся сбора и обработки информации, от выбора источников данных до их корректной репрезентации. 

Специалист в этой области должен:

• Применять математические структуры, знания в области статистики и уникальные для обработки данных алгоритмы, чтобы управлять гигантскими объемами информации, поступающей из разных источников. 

• Использовать широкий ассортимент инструментов и техник: от сортировки строк в SQL-базах данных до интеграции данных в сторонние программные продукты. 

• Использовать искусственные интеллект и machine-learing модели, чтобы доставать из полученной информации крупицы наиболее критически важных данных.

• Самому создавать приложения и утилиты для обработки информации. 

• Визуализировать и подавать полученные данные так, чтобы другие члены команды, руководство и инвесторы получили ответы на все задаваемые вопросы в рамках своих компетенций. 

• Объяснять вышестоящим коллегам, как можно задействовать полученную информацию для улучшения существующих продуктов, повышения прибыли компании или эффективности разработок. 

Такой набор навыков в одном сотруднике встречается довольно редко, отсюда и высокие зарплаты у дата-сайентистов вкупе с высоким спросом на специалистов из этой области. 

Как устроена наука Data Science

Стандартный рабочий день для Data Science-специалиста обычно включает в себя один из этапов сбора или обработки данных. Весь рабочий процесс состоит из 5 стадий:

1. Сбор информации. Включает в себя процессы по сбору структурированных и неструктурированных данных из всех релевантных источников. Используются все подручные инструменты – от ручного ввода и скрапинга веб-страниц до сбора показателей из проприетарных систем. 

2. Хранение информации. Поиск методов и средств для сохранения полученных данных в таком виде, в котором их впоследствии можно будет обработать, используя заранее предусмотренные для этого механизмы. Дата-сайентист так же должен удалить дубликаты, отфильтровать лишнее и т.п. 

3. Предобработка. На этом этапе специалист должен проанализировать связи между разными кусками добытых данных, проследить паттерны и соответствие полученной информации.

4. Обработка. В этот момент специалист подключает все свои «волшебные» инструменты: искусственный интеллект, модели машинного обучения, аналитические алгоритмы и т.п. 

5. Коммуникация. По итогу специалист должен оформить найденные данные в виде таблиц, графиков, списков или в любой другой форме, предпочтительной для демонстрации разным категориям потребителей этой самой информации. 

Инструменты Data Science

Специалисты в области Data Science хоть и не являются разработчиками, но должны уметь программировать и создавать приложения. В противном случае у них попросту не будет достаточного количества инструментов для обработки данных. Поэтому придется изучить хотя бы один из двух наиболее востребованных в Data Science языков программирования. 

• R. Это язык с открытым исходным кодом и программное окружение для создания статистических вычислений. R предлагает большое количество библиотек и инструментов для фильтрации и предобработки данных. Также с помощью него можно визуализировать данные и тренировать модели машинного обучения для корректного взаимодействия с полученной информацией. 

• Python. Объектно-ориентированный язык программирования общего назначения. Python настолько универсален, что применяется практически в любых сферах деятельности, включая работу с искусственным интеллектом и обработку числовых значений. 

Также дата-сайентисты задействуют в своей деятельности такие инструменты, как Apache Spark, Tableau, Microsoft PowerBI и десятки других, помогающих взаимодействовать с данными.

Как Data Science связана с облачными решениями

Помимо перечисленных выше инструментов, специалистам в области Data Science необходимо ознакомиться с тем, как функционируют облачные решения. 

Дело в том, что дата-сайентистам приходится работать с колоссальными объемами данных. Взаимодействовать с ними, используя локальные машины, слишком затратно по времени. Стандартным компьютерам попросту не хватает мощности для запуска массивных процессов по анализу данных и их обработке. 

Облачные кластеры позволяют запускать процедуры по обработке и сбору информации в сети, используя масштабные сети компьютеров, связанных между собой. 

Для этого используются сервисы в духе Amazon S3, Microsoft Azure и Google Clouds. Они позволяют корпорациям обрабатывать неограниченный поток данных из различных источников, запуская в облачных кластерах специализированное ПО и ИИ-модели на мощных облачных компьютерах. 

Также облачные решения упрощают работу Data Science-специалистов, так как им не приходится заниматься поддержкой ПО, его обновлением и т.п. 

Примеры использования Data Science

Где же задействуется Data Science и какие паттерны применения уже существуют? Вот, что об этом говорит компания IBM:

• Международные банки используют приложения, которые позволяют при помощи облачных вычислений автоматически выяснить риски кредитования для отдельных клиентов. 

• Data Science задействуется технологическими компаниями по разработке автономных средств передвижения. Дата-сайенс-инструменты позволяют обрабатывать информацию на ходу, помогая ИИ-автомобилям передвигаться самостоятельно. 

• В бизнесе часто задействуются инструменты, разработанные в тесной интеграции с Data Science-продуктами. В частности, это играет важную роль при роботизации бизнес-процессов. 

• Медиакорпорации используют Data Science, чтобы анализировать интересы потребителей. 

• В полиции создаются системы на базе ИИ, которые анализируют преступления и генерируют удобоваримые статистические отчеты. Также создаются системы, позволяющие предугадать, как правильно распределить ресурсы полиции, чтобы сократить количество преступлений. 

• В здравоохранении разрабатываются инструменты на базе аналитических показателей, позволяющие наблюдать за больными дистанционно. 

Стоит ли становиться специалистом в области Data Science?

Это одна из наиболее востребованных профессий на текущий момент. Рынок продолжают расти, повышается количество данных, которые нужно обрабатывать, поэтому спада интереса к аналитикам не произойдет.

Зарплаты дата-сайентистов в России варьируются от 100 000 рублей до 500 000 рублей в зависимости от специфики работы и опыта соискателя. 

Сотни открытых вакансий, внушительные бюджеты. Выглядит, как отличная карьера для всех, кто заинтересован в новом для себя направлении. К тому же обучиться Data Science сейчас можно на профильных курсах таких онлайн-школ, как GeekBrains, Skillbox и Coursera.