пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ
Слишком длинный поисковый запрос.
По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Big Data (Большие данные) – это термин, обозначающий большое количество информации – структурированной и неструктурированной – наводняющей сферу бизнеса ежедневно. Но обилие этой информации – не самое важное, гораздо важнее то, что организации делают с ней. Большие данные анализируются для принятия решений и построения стратегий развития бизнеса.
История Больших данных
Термин «большие данные» относится к данным, настолько обильным и сложным, чей быстрый прирост сложно или невозможно обрабатывать при помощи традиционных подходов. Получение и хранение большого количества информации долгое время были камнем преткновения аналитиков, поэтому концепт больших данных набрал обороты в ранних 2000-х годах. Тогда Дуглас Б. Лейни сформулировал «правило трёх V», которое сейчас используется повсеместно, а тогда было основой концепта больших данных:
Объем (Volume): Организации получают информацию от множества источников, включая биржу, смарт-девайсы («Интернета Вещей» - IoT), промышленное оборудование, видео, социальные сети и еще ряд ресурсов. В прошлом проблемой было хранение этих данных, но бюджетные хранилища на таких платформах как Hadoop и так называемых «озерах данных» облегчили это бремя.
Скорость прироста (Velocity): С развитием Интернета Вещей, потоки информации наводнили бизнес-поле с беспрецедентной скоростью, и обрабатываться они должны своевременно. RFID-метки, сенсоры и интеллектуальные счетчики позволяют иметь дело с потоками данных в режиме почти реального времени.
Многообразие (Variety): Данные поступают во всех возможных форматах – от структурированных, числовых данных с традиционных баз, до текстовых документов, электронных писем, видео, аудио файлов и биржевых данных.
Нам, представляются релевантными еще два признака, свойственные большим данным:
Переменчивость (Variability): Вдобавок к скорости прироста и многообразию, течение потока данных непредсказуемо – оно меняется часто и значительно. Это непросто, но владельцам бизнеса необходимо знать, что находится в трендах социальных сетей и как обуздывать сезонные и тематические пики выгрузки данных.
Достоверность (Veracity): Достоверность – это качество данных. Из-за вариативности источников процесс связки, подбора, очищения и трансформации данных в системе затруднен. Бизнесам необходимо выстраивать отношения и коррелировать иерархию многочисленных ссылок на данные в единую систему. В противном случае, их данные быстро выйдут из-под контроля.
Почему важны Большие данные?
Важно не количество данных, которыми вы обладаете, а то, что вы с ними делаете. Вы можете взять информацию из любого источника и проанализировать ее, чтобы найти ответы на следующие вопросы:
Как уменьшить цены?
Как сэкономить время?
Как оптимизировать предложения и развивать свой продукт?
Как принимать мудрые решения?
Комбинируя мощные аналитические подходы и большие данные можно достичь выполнения таких бизнес-задач, как:
Определение причин провалов, выявление проблем и дефектов производства в практически реальном времени.
Генерирование купонов на распродажу в соответствии с привычками и особенностями покупателя.
Пересчет всеобщего портфолио рисков за минуты.
Предупреждение мошенничества.
Кому интересны большие данные?
Большие данные представляют собой большой интерес для производителей. Натиск Интернета Вещей и связанных с ним устройств создал мощный всплеск информации, которую организации собирают, структурируют и анализируют. Большие данные – это всегда возможность сделать большие открытия – для любой организации, крупной или нет.
Углубленное изучение требует наличия больших данных, потому что они позволяют отделить скрытые схемы от ответов на интересующие Вас вопросы без «подгонки» данных. Чем глубже вы изучаете, тем выше качество данных, тем лучше результаты.
Мотивированные данными инновации
Сегодня эксабайты больших данных открывают бесчисленные возможности улучить производство. От более точных прогнозов до повышения оперативной эффективности и улучшения впечатления покупателя – всё возможно, если использовать большие данные с умом. Аналитика – двигатель перемен, затрагивающих весь мир. Это ключ к улучшению условий жизни, исцелению болезней, защиты уязвимых слоев населения и сохранению ресурсов.
Как работать с Большими данными?
Прежде, чем большие данные начнут работать на бизнес, необходимо осознать, какой путь - источники, системы, обладателей и пользователей – проходят большие данные. Ниже приведены пять ключевых шагов к тому, чтобы стать Большим Боссом Больших Данных – структурированных, неструктурированных и полуструктурированных.
Шаг 1. Постройте стратегию больших данных
В идеале, стратегия больших данных – это план, выработанный для того, что бы Вы могли видеть все доступные пути для принятия, хранения, обработки, распределения и использования данных внутри компании и за ее пределами. Стратегия больших данных устанавливает планку для успеха бизнеса на фоне обилия информации. Разрабатывая стратегию, важно учесть существование – и будущее развитие – бизнеса, его технологий, целей и инициатив. Это призывает к тому, чтобы с большими данными обращались, как и с любым другим ценным активом, а не как с второсортным приложением.
Шаг 2. Узнайте об источниках данных
Потоки данных поступают из Интернета Вещей и сопряженных с ним устройств, вливающихся в информационные системы из умной одежды, машин, медицинских устройств, промышленного оборудования и прочего. Эту информацию можно анализировать прямо в момент поступления, решая, что из нее нужно оставить, от чего – избавиться, и что подлежит дальнейшему анализу.
Данные социальных сетей поступают из таких источников, как Facebook, YouTube, Instagram, так далее. Эта категория включает в себя огромное количество изображений, видео, голосовых, текстовых и аудио данных, пригодных для маркетинга, распродаж и поддерживающих функций. Эти данные зачастую неструктурированы или полу-структурированы, поэтому их анализ и обработка представляют собой неповторимое испытание.
Публично доступные данные поступают из массивов открытых источников, например, data.gov, которым руководит правительство США, или Всемирная книга фактов ЦРУ и Портал открытых данных ЕС.
Другие источники больших данных – такие, как «озера», облака поставщиков и покупателей.
Шаг 3. Получите доступ к большим данным, обрабатывайте их и храните
Современные компьютерные системы способны обеспечить необходимую для обработки массивов данных скорость, мощность и гибкость. Помимо надежного доступа, компании нуждаются в методиках сбора данных, проверки их качества и обеспечения управления данными, а так же их хранения и подготовки к аналитике. Некоторые данные могут храниться в локальной системе традиционных хранилищ, но существуют так же и доступные, недорогие способы хранения данных в облаках, «озерах» и Hadoop.
Шаг 4. Анализируйте
С помощью высокопроизводительных технологий, таких как грид-вычисления или in-memory аналитика, организации могут использовать все свои большие данные для анализа. Другой подход заключается в предварительном определении актуальности данных. В обоих случаях, аналитика больших данных – это ценный опыт для любой компании. Большие объемы данных все чаще используются в современных аналитических разработках, таких как искусственный интеллект.
Шаг 5. Принимайте умные, мотивированные информацией решения
Хорошо обработанные данные, которым можно доверять, позволят проводить качественный анализ, на основе которого можно принимать надежные решения. Любому бизнесу необходимо использовать большие данные и действовать, основываясь на информации, которую они предоставляют, чтобы оставаться конкурентоспособными. Принимать решения, продиктованные аналитическими результатами, а не интуицией. Преимущества таких решений очевидны. Организации, управляемые данными, работают лучше, являются более развитыми и более прибыльными.
Дальнейшие шаги
Большие данные требуют чуткого управления и поддержки продвинутых аналитических технологий. Чтобы подготовить большие данные, меняющиеся ежесекундно, для аналитической обработки, Вам необходимо получить доступ, оформить профиль, очистить данные и преобразовать их. При наличии большого количества источников, объемов и скорости прироста, подготовка данных может занимать огромное количество времени, и тут не обойтись без профессиональной помощи.
В этой статье мы объясним, как узнать, кто использует тот или иной файл в Linux. Это поможет вам узнать системного пользователя или процесс, который использует открытый файл.
Как узнать, кто использует файл в Linux?
Мы можем использовать команду lsof (которая является аббревиатурой от List Of Opened Files), чтобы узнать, использует ли кто-то файл, и если да, то кто. Он читает память ядра в поиске открытых файлов и перечисляет все открытые файлы. В этом случае открытый файл может быть обычным файлом, каталогом, специальным файлом блока, специальным файлом символов, потоком, сетевым файлом и многими другими, поскольку в Linux все является файлом.
Lsof используется в файловой системе, чтобы определить, кто использует какие-либо файлы в этой файловой системе. Вы можете запустить команду lsof в файловой системе Linux, и выходные данные идентифицируют владельца и информацию о процессах для процессов, использующих файл, как показано в следующих выходных данных.
$ lsof /dev/null
Список всех открытых файлов в Linux
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
systemd 1480 merionet 0r CHR 1,3 0t0 6 /dev/null
sh 1501 merionet 0r CHR 1,3 0t0 6 /dev/null
sh 1501 merionet 1w CHR 1,3 0t0 6 /dev/null
dbus-daem 1530 merionet 0u CHR 1,3 0t0 6 /dev/null
xfce4-ses 1603 merionet 0r CHR 1,3 0t0 6 /dev/null
xfce4-ses 1603 merionet 1w CHR 1,3 0t0 6 /dev/null
at-spi-bu 1604 merionet 0r CHR 1,3 0t0 6 /dev/null
dbus-daem 1609 merionet 0u CHR 1,3 0t0 6 /dev/null
at-spi2-r 1611 merionet 0u CHR 1,3 0t0 6 /dev/null
xfconfd 1615 merionet 0u CHR 1,3 0t0 6 /dev/null
xfwm4 1624 merionet 0r CHR 1,3 0t0 6 /dev/null
xfwm4 1624 merionet 1w CHR 1,3 0t0 6 /dev/null
xfce4-pan 1628 merionet 0r CHR 1,3 0t0 6 /dev/null
xfce4-pan 1628 merionet 1w CHR 1,3 0t0 6 /dev/null
Thunar 1630 merionet 0r CHR 1,3 0t0 6 /dev/null
Thunar 1630 merionet 1w CHR 1,3 0t0 6 /dev/null
xfdesktop 1632 merionet 0r CHR 1,3 0t0 6 /dev/null
xfdesktop 1632 merionet 1w CHR 1,3 0t0 6 /dev/null
....
Чтобы вывести список файлов, открытых для конкретного пользователя, выполните следующую команду: замените merionet вашим именем пользователя.
$ lsof -u merionet
Список файлов, открытых пользователем:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
systemd 1480 merionet cwd DIR 8,3 4096 2 /
systemd 1480 merionet rtd DIR 8,3 4096 2 /
systemd 1480 merionet txt REG 8,3 1595792 3147496 /lib/systemd/systemd
systemd 1480 merionet mem REG 8,3 1700792 3150525 /lib/x86_64-linux-gnu/libm-2.27.so
systemd 1480 merionet mem REG 8,3 121016 3146329 /lib/x86_64-linux-gnu/libudev.so.1.6.9
systemd 1480 merionet mem REG 8,3 84032 3150503 /lib/x86_64-linux-gnu/libgpg-error.so.0.22.0
systemd 1480 merionet mem REG 8,3 43304 3150514 /lib/x86_64-linux-gnu/libjson-c.so.3.0.1
systemd 1480 merionet mem REG 8,3 34872 2497970 /usr/lib/x86_64-linux-gnu/libargon2.so.0
systemd 1480 merionet mem REG 8,3 432640 3150484 /lib/x86_64-linux-gnu/libdevmapper.so.1.02.1
systemd 1480 merionet mem REG 8,3 18680 3150450 /lib/x86_64-linux-gnu/libattr.so.1.1.0
systemd 1480 merionet mem REG 8,3 18712 3150465 /lib/x86_64-linux-gnu/libcap-ng.so.0.0.0
systemd 1480 merionet mem REG 8,3 27112 3150489 /lib/x86_64-linux-gnu/libuuid.so.1.3.0
systemd 1480 merionet mem REG 8,3 14560 3150485 /lib/x86_64-linux-gnu/libdl-2.27.so
...
Еще одно важное использование lsof - выяснение процесса прослушивания определенного порта. Например, определите процесс, прослушивающий порт 80, с помощью следующей команды.
$ sudo lsof -i TCP:80
Процессы, прослушивающие порт:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
httpd 903 root 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 1320 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 1481 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 1482 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 1493 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 1763 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 2027 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 2029 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 2044 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 3199 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
httpd 3201 apache 4u IPv6 20222 0t0 TCP *:http (LISTEN)
Примечание: поскольку lsof читает память ядра при поиске открытых файлов, быстрые изменения в памяти ядра могут привести к непредсказуемым результатам. Это один из основных недостатков использования команды lsof.
Для получения дополнительной информации, смотрите справку lsof:
$ man lsof
На этом все! В этой статье мы объяснили, как узнать, кто использует тот или иной файл в Linux.
Прогрессивное веб-приложение, или PWA - Progressive web application, набирают популярность как более плавные и более усовершенствованные аналоги нативных приложений. Но что же такое PWA и почему их так любят front-end разработчики?
В этой статье мы ответим на эти вопросы, а также расскажем о том, как приступить к обучению разработке PWA.
Что такое прогрессивное веб-приложение?
Прогрессивное веб-приложение – это в некотором роде прикладное программное обеспечение, которое предназначено для работы в стандартных браузерах, таких как Chrome, Safari, Firefox и Edge.
В целом PWA выглядят и работают как «обычное» приложение, которые вы загружаете на свой телефон или планшет. Но вот доступ к ним осуществляется через веб-браузер, поэтому при их разработке используются HTML, CSS и JavaScript, а не более традиционные языки, которые используют для разработки приложений, такие как Swift или Kotlin.
И как уже можно было понять, у веб-приложений на основе браузера есть несколько серьезных недостатков, например, необходимость постоянного Интернет-соединения. PWA позволяют разработчикам справляться с некоторыми из этих недостатков, поскольку сочетают в себе простоту веб-приложений и беспроблемное использование установленного нативного приложения.
Какие ключевые принципы делают веб-приложение прогрессивным?
Представьте, что PWA – это просто подход к созданию приложений, а не какая-то конкретная технология или язык программирования. Ниже приведен список нескольких ключевых принципов, которым следуют при разработке PWA.
Легкость обнаружения
PWA доступны в веб-браузере, и их легко можно найти с помощью поисковой системы. Имейте в виду, что это не то же самое, что и поиск нативного приложения с помощью поисковой системы. Вы не попадаете на страницу для установки приложения, вы попадаете на страницу само приложение.
Некоторые PWA можно найти в магазинах приложений, таких как Google Play Store или Apple App Store, но это не есть определяющий принцип PWA. Вообще, многие разработчики PWA предпочитают не сталкиваться с процессом согласования и условиями контрактов, которые являются неотъемлемой частью процесса добавления приложения такие магазины.
Возможность установки
Для того, чтобы придать PWA «атмосферу нативного приложения», многие разработчики делают возможным добавление PWA на главный экран устройства, чтобы пользователи могли получить к нему быстрый доступ. Но это не совсем то же самое, что и установка нативного приложения, которое занимает место в памяти устройства. Значок PWA больше похож на закладку браузера, которая ведет прямо на сайт PWA в вашем браузере.
Совсем необязательно устанавливать PWA на главный экран. Это больше вопрос удобства – те, кому нравится приложение и кто хочет использовать его постоянно, могут таким образом получать быстрый доступ к нему.
Возможность использования ссылок
Так как PWA находится в сети, то к нему можно получить доступ по уникальной ссылке. Такой подход позволяет легко им делиться, просто обмениваясь сообщениями или через социальные сети, не привлекая магазин приложений и не требуя установки.
Независимость от сети
Именно здесь PWA начинают проявлять себя. Один из самых больших недостатков любого контента на основе браузеров состоит в том, что все перестает работать при отсутствии подключения к Интернету. PWA использует различные инструменты для того, чтобы этого избежать и обеспечить взаимодействие с пользователем на более высоком уровне, когда он находится в метро или когда его устройство находится в режиме полета.
С помощью таких технологий, как Service Workers, Cache API и Web Storage API, PWA могут хранить информацию о приложениях, к которым вы недавно обращались. Таким образом, если вы вернетесь на предыдущую страницу, то вы увидите то, что вы уже загрузили до этого, вместо устрашающей страницы с надписью «В настоящее время вы не в сети». Когда вы снова подключитесь к Интернету, PWA смогут без проблем обновлять содержимое страницы и управлять вашими сетевыми запросами.
Способность взаимодействовать
Способность взаимодействовать – это замысловатый термин для обозначения «поддержки уведомлений и обновлений». Для обновления содержимого страниц в фоновом режиме PWA используют такие инструменты, как Notifications API и Web Push API, поэтому, когда начинаете использовать свое устройство, вы всегда получаете самую актуальную информацию. Также PWA поддерживает звуки уведомлений, значки и баннеры, чтобы вы всегда были в курсе всего.
Гибкий дизайн
PWA отлично подходят для различных устройств, включая телефоны, планшеты и браузеры для настольных компьютеров. Размер пользовательского интерфейса может автоматически меняться, когда вы поворачиваете экран или, когда меняется разрешение.
Безопасность
Вы когда-нибудь искали определенное приложение в магазине лишь для того, чтобы найти несколько приложений, которые выглядят практически идентично? Если вы не готовы проводить такое исследование, то для вас может оказаться непростой задачей определить, какие разработчики приложения настоящие, а какие продвигают приложения-двойники.
PWA помогают прибраться в этом бардаке, так как все приложения привязаны к определенному URL-адресу. Таким образом, для того, чтобы обеспечить безопасный просмотр PWA, можно применить те же правила, что и протокол HTTPS, и оформить официальный URL-адрес компании.
Зачем нужны PWA?
Вы уже познакомились с ключевыми особенностями PWA, но возникает вопрос: разве нативные приложения не имеют аналогичные особенности? Ответ – да, но у PWA есть несколько явных преимуществ, которые делают их такими привлевательными.
Необязательная установка
Несмотря на то, что PWA можно добавить на главный экран вашего устройства, нет необходимости загружать и устанавливать его. Если у вас есть ссылка на PWA, вы можете сразу начать его использовать. Это очень удобно, если вы используете PWA не так часто.
Меньшая потребность в памяти
Поскольку PWA находятся в сети, то они занимают гораздо меньше места в памяти вашего устройства, чем установленные нативные приложения. И хотя многие PWA хранят информацию для того, чтобы обеспечивать оффлайн-доступ, они по-прежнему занимают гораздо меньше места, чем нативные приложения. Например, Starbucks предлагает PWA, которое по объему занимаемой памяти более чем на 99% меньше, чем его нативное приложение для iOS.
Мгновенные обновления
Самое лучше, что можно сказать об обновлениях PWA, — это то, что вам никогда не придется о них беспокоиться. Вам не нужно загружать и устанавливать обновления, так как PWA обновляются при каждом обновлении страницы.
Взаимодействие с большим количеством приложений
Все вышеперечисленные преимущества PWA приводят к тому, что люди с большей долей вероятности будут использовать именно их, а не нативные приложения. Они также, скорее всего, будут проводить в PWA больше времени.
Именно поэтому так много технологических компаний тратят столько же времени, если не больше, на разработку и поддержку PWA, как и на свои нативные приложения.
Как приступить к разработке PWA?
Если вы хотите начать свою карьеру в качестве разработчика, особенно front-end разработчика, то вам стоит изучить языки, которые лежат в основе PWA, а именно:
HTML;
CSS;
JavaScript и библиотеки JavaScript, такие как React.