Январь 2010 Февраль 2010 Март 2010 Апрель 2010 Май 2010
Июнь 2010
Июль 2010 Август 2010
Сентябрь 2010
Октябрь 2010
Ноябрь 2010
Декабрь 2010
Январь 2011
Февраль 2011 Март 2011 Апрель 2011 Май 2011 Июнь 2011 Июль 2011 Август 2011
Сентябрь 2011
Октябрь 2011 Ноябрь 2011 Декабрь 2011 Январь 2012 Февраль 2012 Март 2012 Апрель 2012 Май 2012 Июнь 2012 Июль 2012 Август 2012 Сентябрь 2012 Октябрь 2012 Ноябрь 2012 Декабрь 2012 Январь 2013 Февраль 2013 Март 2013 Апрель 2013 Май 2013 Июнь 2013 Июль 2013 Август 2013 Сентябрь 2013 Октябрь 2013 Ноябрь 2013 Декабрь 2013 Январь 2014 Февраль 2014
Март 2014
Апрель 2014 Май 2014 Июнь 2014 Июль 2014 Август 2014 Сентябрь 2014 Октябрь 2014 Ноябрь 2014 Декабрь 2014 Январь 2015 Февраль 2015 Март 2015 Апрель 2015 Май 2015 Июнь 2015 Июль 2015 Август 2015 Сентябрь 2015 Октябрь 2015 Ноябрь 2015 Декабрь 2015 Январь 2016 Февраль 2016 Март 2016 Апрель 2016 Май 2016 Июнь 2016 Июль 2016 Август 2016 Сентябрь 2016 Октябрь 2016 Ноябрь 2016 Декабрь 2016 Январь 2017 Февраль 2017 Март 2017 Апрель 2017 Май 2017
Июнь 2017
Июль 2017
Август 2017 Сентябрь 2017 Октябрь 2017 Ноябрь 2017 Декабрь 2017 Январь 2018 Февраль 2018 Март 2018 Апрель 2018 Май 2018 Июнь 2018 Июль 2018 Август 2018 Сентябрь 2018 Октябрь 2018 Ноябрь 2018 Декабрь 2018 Январь 2019
Февраль 2019
Март 2019 Апрель 2019 Май 2019 Июнь 2019 Июль 2019 Август 2019 Сентябрь 2019 Октябрь 2019 Ноябрь 2019 Декабрь 2019 Январь 2020
Февраль 2020
Март 2020 Апрель 2020 Май 2020 Июнь 2020 Июль 2020 Август 2020 Сентябрь 2020 Октябрь 2020 Ноябрь 2020 Декабрь 2020 Январь 2021 Февраль 2021 Март 2021 Апрель 2021 Май 2021 Июнь 2021 Июль 2021 Август 2021 Сентябрь 2021 Октябрь 2021 Ноябрь 2021 Декабрь 2021 Январь 2022 Февраль 2022 Март 2022 Апрель 2022 Май 2022 Июнь 2022 Июль 2022 Август 2022 Сентябрь 2022 Октябрь 2022 Ноябрь 2022 Декабрь 2022 Январь 2023 Февраль 2023 Март 2023 Апрель 2023 Май 2023 Июнь 2023 Июль 2023 Август 2023 Сентябрь 2023 Октябрь 2023 Ноябрь 2023 Декабрь 2023 Январь 2024 Февраль 2024 Март 2024
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29
30
31
Game News |

11 тёмных секретов управления данными

Надежная стратегия управления данными может принести плоды любому предприятию, стремящемуся извлечь прибыль их ценности. Тем не менее, путь к принятию решений на основе данных по-прежнему изобилует проблемами и загадками.

Некоторые называют данные новой нефтью.

Другие называют их новым золотом. Философы и экономисты могут спорить о качестве метафоры, но нет никаких сомнений в том, что организация и анализ данных — это жизненно важная задача для любого предприятия, стремящегося реализовать обещание принятия решений на основе данных.

А для этого ключевое значение имеет надежная стратегия управления данными. Включая управление данными, управление операциями с данными, их хранение, проектирование, аналитику данных, науку о данных и многое другое. Управление данными, если все сделано правильно, может обеспечить конкурентное преимущество предприятиям в любой отрасли.

Хорошая новость заключается в том, что многое в области управления данными — хорошо понятно и основаны на надежных принципах, которые вырабатывались десятилетиями. Благодаря ученым и математикам, компании теперь имеют целый ряд логистических схем для анализа данных и выводов. Ещё важнее то, что у нас существуют статистические модели, которые рисуют полосы погрешностей, очерчивающие границы нашего анализа.

Но несмотря на все то хорошее, что появилось в результате развития data science и близких дисциплин,, иногда мы все еще остаемся в недоумении. Предприятия часто натыкаются на границы этой области. Некоторые из парадоксов связаны с практическими проблемами сбора и организации большого количества данных. Другие — философские, проверяющие нашу способность рассуждать об абстрактных понятиях Кроме того, растет озабоченность по поводу конфиденциальности данных, которые собираются в таком большом количестве.

 

Неструктурированные данные трудно анализировать

Большая часть данных, хранящихся в корпоративных архивах, вообще не имеет структуры. Один из моих друзей мечтает использовать искусственный интеллект для поиска в текстовых записях, сделанных сотрудниками колл-центра его банка. В этих предложениях может содержаться информация, которая поможет улучшить кредитование и услуги банка. Возможно. Но эти заметки были сделаны сотнями разных людей с разными представлениями о том, что нужно записать о том или ином звонке. Более того, у сотрудников разные стили и способности к письму. Некоторые вообще мало пишут. Некоторые записывали слишком много информации о своих звонках. Текст сам по себе не имеет особой структуры, но когда у вас есть куча текста, написанного сотнями или тысячами сотрудников в течение десятков лет, то любая структура может быть еще более слабой.

Даже структурированные данные часто бывают неструктурированными

Хорошие аналитики и администраторы баз данных управляют базами данных, определяя тип и структуру каждого поля. Иногда, во имя еще большей структурированности, они ограничивают значения в данном поле целыми числами в определенных диапазонах или заранее определенными вариантами. Но даже в этом случае люди, заполняющие формы, которые хранятся в базе данных, находят способы добавить ошибки и сбои. Иногда поля остаются пустыми. Другие ставят прочерк или вводят инициалы «н.д.», когда считают, что вопрос не относится к делу. Люди даже пишут свои имена по-разному из года в год, изо дня в день или даже из строки в строку в одной и той же форме. Хорошие разработчики могут отловить некоторые из этих проблем с помощью валидации. Хорошие специалисты по анализу данных также могут уменьшить часть этой неопределенности путем очистки. Но все равно безумно неприятно, что даже в самых структурированных таблицах есть сомнительные записи — и что эти сомнительные записи могут вносить неопределенность и даже ошибки в анализ.

Схемы данных либо слишком строгие, либо слишком свободные

Как бы ни старались команды по работе с данными прописать ограничения схемы, в результате схемы для определения значений в различных полях данных оказываются либо слишком строгими, либо слишком свободными. Если команда по работе с данными добавляет жесткие ограничения, пользователи жалуются, что их ответы не попадают в узкий список допустимых значений. Если схема слишком гибкая, пользователи могут добавлять странные значения с минимальной последовательностью. Настроить схему точно практически невозможно.

Законы о защите данных очень строгие

Законы о конфиденциальности и защите данных очень сильны и становятся только сильнее. Благодаря таким нормативным актам, как GDPR, HIPPA и еще десяткам других, собирать данные может быть очень сложно, и еще опаснее держать их на виду в ожидании взлома хакерами. Во многих случаях проще потратить больше денег на юристов, чем на программистов или специалистов по анализу данных. Из-за этих головных болей некоторые компании просто избавляются от своих данных, как только могут от них избавиться.

Затраты на очистку данных огромны

Многие специалисты по исследованию данных подтвердят, что 90% работы — это просто сбор данных, приведение их в единообразную форму и устранение бесконечных дыр и ошибок. Человек с данными всегда скажет: «Это все в CSV и готово к работе». Но они не упоминают о пустых полях или неправильных характеристиках. Легко потратить в 10 раз больше времени на очистку данных для использования в проекте data science, чем на запуск процедуры в R или Python для проведения статистического анализа.

Пользователи все более подозрительно относятся к вашей практике работы с данными

Конечные пользователи и клиенты все более подозрительно относятся к практике управления данными в компании, а некоторые алгоритмы искусственного интеллекта и их использование только усиливают этот страх, заставляя многих людей испытывать сильное беспокойство по поводу того, что именно происходит с данными, фиксирующими каждый их шаг. Эти страхи подстегивают регулирование и часто втягивают компании и даже благонамеренных специалистов по работе с данными в конфликт с общественностью. Мало того, люди намеренно засоряют сбор данных фальшивыми значениями или неправильными ответами. Иногда половина работы заключается в общении со злонамеренными партнерами и клиентами.

Интеграция внешних данных может как принести плоды, так и привести к катастрофе

Одно дело, когда компания берет на себя ответственность за данные, которые она собирает. Контроль над ними принадлежит ИТ-отделdc и специалистам по анализу данных. Но все более агрессивные компании выясняют, как интегрировать свои собственные данные с данными третьих сторон и огромными морями персональной информации, гуляющей по Интернету. Некоторые инструменты открыто обещают собрать данные о каждом клиенте и создать персонализированное досье на каждого покупателя. Стоит ли удивляться, что люди волнуются и паникуют?

Регуляторы накладывают ограничения на использование данных

Никто не знает, когда умный анализ данных переходит некую черту, но как только это происходит, появляются регуляторы. В одном из недавних примеров из Канады правительство изучало, как некоторые магазины пончиков отслеживали клиентов, которые также совершали покупки в конкурирующих магазинах. В недавнем выпуске новостей сообщалось: «В ходе расследования было установлено, что контракт компании Tim Hortons с американским сторонним поставщиком услуг определения местоположения содержал настолько расплывчатые и разрешительные формулировки, что позволял компании продавать „деидентифицированные“ данные о местоположении в своих собственных целях». И для чего? Чтобы продать больше пончиков? Регулирующие органы все чаще обращают внимание на все, что связано с личной информацией.

Ваша схема работы с данными может того не стоить

Мы представляем, что гениальный алгоритм может сделать все более эффективным и прибыльным. И иногда такой алгоритм действительно возможен, но цена может оказаться слишком высокой. Например, потребители — и даже компании — все чаще ставят под сомнение ценность целевого маркетинга, который исходит от продуманных схем управления данными. Некоторые указывают на то, что мы часто видим рекламу того, что уже купили, потому что рекламные трекеры не поняли, что мы больше не на рынке.  Компаниям нужно быть готовыми к тому, что весь этот гений науки о данных может дать неприемлемый ответ.

В конечном счете, решения, принимаемые на основе данных, часто являются просто суждениями

Цифры могут быть достаточно точными, но зачастую важно то, как человек их интерпретирует. После всего анализа данных и волшебства ИИ, большинство алгоритмов требуют принятия решения о том, превышает или нет то или иное значение пороговое значение. Иногда ученые хотят, чтобы p-значение было меньше 0,05. Иногда полицейский хочет выписывать штрафы машинам, превышающим скорость на 20%. Эти пороговые значения часто являются просто произвольными величинами. Несмотря на всю науку и математику, которые можно применить к данным, во многих процессах, «управляемых данными», больше серой зоны, чем нам хотелось бы верить, что оставляет решения на усмотрение интуиции, несмотря на все ресурсы, которые компания может вложить в управление данными.

Стоимость хранения данных стремительно растет

Да, дисковые накопители становятся все толще, а цена за терабайт продолжает падать, но программисты собирают биты быстрее, чем цены успевают снижаться. Устройства Интернета вещей (IoT) продолжают загружать данные, и пользователи ожидают, что смогут просматривать богатую коллекцию этих байтов вечно. В то же время контролирующие и регулирующие органы требуют все больше и больше данных на случай будущих проверок. Одно дело, если бы кто-то действительно просматривал некоторые из этих битов, но у нас в сутках так много времени. Процент данных, к которым действительно можно получить повторный доступ, становится все меньше и меньше. В то же время цена за хранение расширяющегося объема данных продолжает расти.

Оригинал статьи



Читайте также

Шапки женские на Wildberries — скидки от 398 руб. (на новые оттенки)

So, looks like Putin's ordered the Russian government to 'consider the issue of organising' domestic versions of the Steam Deck, SteamOS, and Steam itself (with a side order of Steam Machines)

NCsoft и ArenaNet официально подтвердили разработку MMORPG Guild Wars 3




Game24.pro — паблик игровых новостей в календарном формате на основе технологичной новостной информационно-поисковой системы с элементами искусственного интеллекта, гео-отбора и возможностью мгновенной публикации авторского контента в режиме Free Public. Game24.pro — ваши Game News сегодня и сейчас в Вашем городе.

Опубликовать свою новость, реплику, комментарий, анонс и т.д. можно мгновенно — здесь.



Персональные новости

Шапки женские вязаные на Wildberries, 2024 — новый цвет от 392 руб. (модель 466)

Эксперты КА «Главный Советник» приняли участие в форуме «Тренды и антитренды корпоративного видео сегодня»

«Радио Зенит» – информационный партнер форума «Мы вместе. Спорт»

Пассажир рейса Москва — Пермь попал в реанимацию