пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ
По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Партнер данного материала Telegram-канал Админим с Буквой
Тема статьи небольшая, но информация данная необходима для понимания ограничений на дисках в операционной системе Linux. В данной статье рассмотрим:
Установка квоты
Редактирование квоты
Просмотр отчетов по квотам
Квоты – это ограничения, налагаемые системным администратором на использование дискового пространства в операционных системах. Они позволяют гибко управлять ограниченным ресурсом для сервера свободным местом на жестком диске. Квоты можно устанавливать, как на отдельных пользователей, так и на группы пользователей. Для конфигурации и управления квотами используются следующие команды:
quotaon – включение квоты
quotaoff – выключение квоты
edquota – редактирование квоты
repquota - отчет по квотам
У Windows Server, конечно намного богаче инструментарий по работе с квотами. Для этого выделена целый File Server Resource Manager, но в данной статье мы посмотрим, как это работает в Linux системах на примере Ubuntu Server.
У меня есть смонтированый раздел /dev/sdc1 в папку /mnt/hard.
Для того, чтобы работать с квотами, необходимо поставить пакет apt-get install quota.
Для того, чтобы использовать квоты, нам необходимо добавить монтирование данного раздела в файл /etc/fstab. Добавляем следующую строчку:
/dev/sdc1 /mnt/hard auto rw,user,auto,usrquota,grpquota 0 0
Где, раздел, куда монтируем, автоопределение файловой системы, раздел для записи, разрешаем монтирование пользователям, раздел будет монтироваться автоматически при старте системы и включаем пользовательскую квоту и групповую.
Строка будет выглядеть как на картинке. Сохраняем и перезагружаем.
Для начала выключаем все квоты, если они когда-нибудь ставились, для чистоты настройки quotaoff /mnt/hard. Следующая команда quotacheck – которая создаст квоту для пользователей и групп, у нее большой функционал, но мы ее используем именно в таком ключе. Квоту мы можем создать только полностью на примонтированный раздел – это связанно с файловой системой ext4. Существуют и другие файловые системы, в которых мы можем ставить квоты на папки и работать более гибко, например xfs. quotacheck –cug /mnt/hard. В данном случае мы квоту ставим полностью на раздел, который смонтирован в /mnt/hard.
И как видим команда создала 2 файла aquota.group и aquota.user. Это файлы с настройками квот.
Это двоичные файлы и при попытке их посмотреть, например, cat aquota.user мы увидим, нечто не читаемое. Для редактирования данных фалов настройки текстовый редактор не подойдет, и мы будем использовать отдельную команду edquota – u siadmin. Т.е команда -u указывает , что мы редактируем для пользователя и далее указывается непосредственно пользователь.
Вот так выглядит редактирование.
Мы видим, что здесь есть blocks – число 1К блоки, soft – мягкая квота, это квота, которую пользователь может превысить, но не более чем на неделю, hard – жесткая квота, это квота которую пользователь не сможет превысить вообще. Получается так, если пользователь siadmin поставит soft 10 и hard 30, и запишу файлик в 15КБ, то неделю моя квота терпит, а через неделю система скажет, что квота превышена и будет требовать очистки. Если создать сразу файл 40 КБ, то квота скажет, что нету места на жестком диске. Так же можно поставить квоту на inodes, т.е на уникальные идентификаторы файлов, каждому файлу присваивается уникальный идентификатор, следовательно, пользователь не может превысить их количество по квоте. Когда мы выполняем команду edquota, то для открытия открывается редактор, установленный по умолчанию. В данном случае редактор nano. Как было уже написано мягкая квота устанавливается на неделю и после чего начинает блокировать, если мы не уменьшили размер файлов или не уменьшили их количество, смотря какая квота была выставлена. Мы можем данный параметр изменить, выполнив sudo edquota –t.
Думаю, открытый файл на редактирование, тут все интуитивно понятно. Меняем и сохраняем.
Мы в файле /etc/fstab указали, что файловая система монтируется с применением квот, потом командой quotacheck создали квоты, а затем указали ограничения edquota. Но до сих пор квоты не включены, квоты не работают! Для того, чтобы квоты заработали используется команда sudo quotaon /mnt/hard. И как только мы эту команду дали, файлы созданные aquota.group и aquota.user будут отредактированы и квоты заработают.
Чтобы посмотреть, как работают квоты, создадим файл текстовый. Но т.к монтировался раздел из под root, то необходимо сменить владельца папки /mnt/hard/. Это можно сделать командой chown siadmin:root /mnt/hard. И теперь спокойно можно создать файл touch test.txt. Теперь добавим в файл информацию несколько слов. edquota – u siadmin выполняем и видим, что число блоков изменилось. Добавим еще информации, еще раз поменяется количество блоков. Создадим еще один файл – изменится число inodes. Далее простым копирование увеличиваем количество файлов, пока не сработает квота.
Соответственно мы одновременно можем использовать квоты и по размеру, и по inodes. Очень важный момент. Поднимаемся в корневую папку /. Команда sudo repqouta /mnt/hard покажет отчет по квотам.
Есть еще интересная команда - man warnquota.
Команда отправляет e-mail при превышении квоты. Но для этого необходимо настроить почтовый smtp сервер, который будет отправлять почту.
Если вы изучаете программирование, вам точно понадобится инструмент для написания кода. Один из основных — это интегрированная среда разработки или IDE. Она помогает не только писать код, но и тестировать, отлаживать и запускать программы. Предлагаем подробнее разобраться, зачем нужна IDE, чем она отличается от обычного текстового редактора и как выбрать подходящую среду для ваших задач.
Что такое IDE
IDE (от англ. Integrated Development Environment — интегрированная среда разработки) — это специальная программа, которая объединяет все необходимые инструменты для кодинга в одном месте. Здесь можно писать, проверять, тестировать и запускать код, не переключаясь между разными приложениями.
Проще говоря, IDE — это настоящий многофункциональный офис для разработчика. Если дизайнеру нужен Photoshop, а музыканту — программы для записи и обработки звука, то разработчику не обойтись без IDE.
Что входит в IDE?
Среда разработки включает в себя несколько полезных инструментов:
Редактор кода — место, где вы пишете программу.
Автодополнение и подсветка синтаксиса — помогает не делать ошибки и писать быстрее.
Дебаггер (отладчик) — инструмент, с которым можно найти и исправить ошибки.
Компилятор или интерпретатор — позволяет сразу запускать код.
Средства для тестирования — помогают проверять работоспособность программ.
Поддержка плагинов — здесь можно добавить дополнительные инструменты, если они нужны.
Например, если вы пишете код на Python, то IDE может сразу подсвечивать синтаксис, предупреждать об ошибках и даже предлагать готовые куски кода. Это экономит кучу времени.
IDE vs. текстовый редактор: в чем разница?
Если текстовый редактор — это просто удобный «блокнот» для написания кода, то IDE — это полноценная мастерская программиста, где есть всё необходимое для разработки. Вы можете писать код в текстовом редакторе, например, в Notepad++ или VS Code, но чтобы запустить код, вам придется дополнительно устанавливать компиляторы, интерпретаторы и отладчики. Среда разработки предлагает больше возможностей — в IDE все уже готово: вы сразу пишете, запускаете и тестируете код в одном месте.
Топ-5 популярных IDE
#1 Visual Studio
Сайт:
https://visualstudio.microsoft.com/ru/
Одна из самых популярных IDE благодаря поддержке множества языков и возможности расширения. Разработана Microsoft, чаще используется для Windows, но подходит и для веб- или мобильной разработки. У Visual Studio сложный интерфейс, зато уже встроены все необходимые инструменты, включая компилятор, что позволяет сразу программировать без дополнительной настройки.
Есть платная и бесплатная версии. Изначально ориентирована на C и C++, с которыми до сих пор работает особенно хорошо.
#2 PyCharm
Сайт:
https://www.jetbrains.com/pycharm/
Лучшая и самая популярная IDE для Python. Разработана JetBrains и позиционируется как интеллектуальная среда для продуктивной работы. У PyCharm есть мощные инструменты отладки, тестирования и анализа кода. IDE поддерживает Google App Engine, IronPython, Jython, Cython, PyPy, wxPython, PyQt, PyGTK и другие технологии. Доступны бесплатная версия Community и платная Professional с расширенным функционалом, включая поддержку веб-разработки. Интегрирована с системами контроля версий (VCS).
#3 IntelliJ IDEA
Сайт:
https://www.jetbrains.com/idea/
Идеальна для Java-разработки. Поддерживает языки Kotlin, Scala, Groovy и другие. Умный анализ кода, встроенная система тестирования и интеграция с популярными инструментами делают ее одним из лучших решений для Java-разработчиков. Есть бесплатная версия Community и платная Ultimate.
#4 Eclipse
Сайт:
https://www.eclipse.org/topics/ide/
Изначально создавалась для Java, но благодаря плагинам поддерживает и другие языки. Бесплатная и с открытым исходным кодом, подходит как новичкам, так и опытным разработчикам. Включает инструменты отладки, поддержку Git/CVS, а также интеграцию с JUnit. Гибкость среды обеспечивается модульной архитектурой, что делает её популярной среди разработчиков. Позволяет удаленно отлаживать код при использовании JVM.
#5 Android Studio
Сайт:
https://developer.android.com/studio?hl=ru
Официальная среда разработки для Android. По умолчанию поддерживает языки программирования: Java, C++ и Kotlin. Включает эмулятор, инструмент для редактирования макетов, графические инструменты и автоматическую сборку файлов. Это бесплатная среда разработки, поэтому подходит как для личных, так и для коммерческих проектов. Поддерживается Google.
Как выбрать среду разработки?
Существует несколько десятков IDE, и все они созданы для разных целей. Вот ключевые параметры, которые помогут определиться.
1. Язык программирования: разные IDE оптимизированы под разные языки, и это один из главных критериев выбора. Например:
PyCharm отлично подходит для Python, так как поддерживает автодополнение, дебаггер и тестирование.
IntelliJ IDEA — один из лучших вариантов для Java-разработки.
Android Studio — обязательная IDE для Android-программирования на Kotlin и Java.
VS Code универсален, но требует установки расширений для разных языков.
2. Комфорт и простота использования. Продуктивная работа в IDE зависит от удобства интерфейса, наличия готовых инструментов и легкости в настройке. Например:
VS Code прост в освоении и подходит даже новичкам.
Eclipse предлагает гибкость, но из-за обилия настроек может казаться сложным.
Xcode обладает интуитивным дизайном, но подойдет только тем, кто разрабатывает под macOS и iOS.
3. Совместимость с операционной системой. Перед установкой проверьте, работает ли IDE на вашей ОС:
Xcode доступен только для macOS.
Visual Studio лучше работает на Windows.
VS Code, IntelliJ IDEA, PyCharm, Eclipse поддерживаются на Windows, macOS и Linux.
4. Стоимость: некоторые IDE полностью бесплатны, другие имеют платные версии с дополнительными функциями.
Бесплатные IDE: VS Code, Eclipse, NetBeans, Android Studio.
Платные (но с бесплатными версиями): PyCharm, IntelliJ IDEA, PhpStorm, CLion.
Итоги
IDE — это удобный редактор кода, который поможет вам в разработке и тестировании программ. Выбор среды зависит от ваших задач: если вам нужна легкая и гибкая IDE — попробуйте VS Code. Если вы пишете на Python — PyCharm. Для Java-разработки идеально подойдет IntelliJ IDEA.
Благодаря росту объема данных и развитию технологий Data Science набирает популярность. Компании в разных отраслях — от ритейла до банков — нуждаются в специалистах, которые могут работать с данными, создавать модели и внедрять их для решения бизнес-задач. Это делает область Data Science одной из самых востребованных в мире. Наша статья поможет вам разобраться в профессиях, связанных с этой сферой, какие навыки нужны и на какие зарплаты можно ориентироваться.
Кратко про Data Science
Data Science — это область, которая объединяет обработку, анализ и интерпретацию данных. Она включает в себя программирование, статистику и машинное обучение, чтобы выявить закономерности в данных и превратить их в полезную информацию. Примеры использования Data Science можно увидеть в разных сферах — от прогнозирования продаж и создания рекомендаций в онлайн-магазинах до диагностики заболеваний и оптимизации бизнес-процессов. Главная цель — помочь принимать обоснованные решения на основе данных.
Топ-5 профессий в сфере Data Science
Сфера Data Science охватывает множество направлений — это Data Scientists, аналитики данных, инженеры данных, специалисты по машинному обучению и другие. Согласно исследованиям рынка труда и IT-отрасли в 2024 году в России в этой сфере работает порядка 50–70 тысяч человек. А теперь рассмотрим профессии подробнее.
№1. Data Scientist
Data Scientist или дата-сайентист анализирует данные, разрабатывает модели машинного обучения и помогает бизнесу принимать решения на основе прогнозов.
Основные навыки, которые пригодятся дата-сайентисту
Программирование:
языки Python и R – основные инструменты для анализа данных. Вместе с Python применяются библиотеки для анализа (Pandas, NumPy) и машинного обучения (TensorFlow, Scikit-learn). А еще понадобится знание SQL для работы с базами данных.
Математика и статистика:
понимание основ статистики, теории вероятностей и линейной алгебры.
Визуализация данных:
превращение сложных аналитических результатов в понятные отчеты. Инструменты Tableau и Power BI помогают строить интерактивные графики и дашборды для анализа данных в реальном времени. Для работы с графиками в Python пригодятся Matplotlib и Seaborn: Matplotlib подходит для построения базовых графиков, а в Seaborn можно наглядно визуализировать корреляцию и распределение данных.
Машинное обучение:
позволяет решать задачи прогнозирования, классификации и автоматизации. Например, библиотека TensorFlow подходит для построения нейронных сетей, которые можно использовать для распознавания изображений или прогнозирования спроса. PyTorch, благодаря гибкости, удобен для исследований и создания прототипов, например, при разработке моделей для предсказания ценовых изменений. Scikit-learn, в свою очередь, обеспечивает простоту реализации традиционных алгоритмов, таких как регрессия или кластеризация.
Софт-скилы
: аналитическое мышление, коммуникация и умение учиться самостоятельно. Важно не просто уметь анализировать данные, но и понимать, как они помогают бизнесу, объяснять результаты сложного анализа простыми словами и быть готовым учиться новому.
Сколько получает дата-сайентист
Средняя зарплата варьируется от 150 до 250 тысяч рублей.
Junior: 60–80 тыс. руб.
Middle: 100–250 тыс. руб.
Senior: от 250 тыс. руб. (до 500 тыс. руб. в крупных компаниях).
№2. Data Analyst или аналитик данных
Работа аналитика данных состоит из сбора, обработки, анализа и интерпретации данных, а также их визуализации в понятные отчеты и графики. Его цель — помочь компании принимать обоснованные решения на основе фактов, а не догадок. Например, аналитик данных может изучить клиентскую базу, чтобы выделить сегменты, склонные к покупкам, или провести исследование эффективности рекламных кампаний для оптимизации затрат.
Скиллы для работы аналитиком данных
Технические навыки:
важно уметь работать с базами данных и знать SQL. Для аналитика данных нужны продвинутые функции Excel: сводные таблицы, макросы для анализа данных.
Визуализация:
пригодятся инструменты Tableau или Power BI для создания наглядных отчетов и дашбордов.
Статистический анализ:
знание базовых методов статистики (регрессия, корреляция), которые помогают находить закономерности в данных.
Программирование:
навыки работы с Python или R для анализа данных, включая использование библиотек Pandas, NumPy и Matplotlib.
Мягкие навыки
: умение представить сложные данные доступным языком и работа в команде.
Сколько зарабатывает дата-аналитик
Зарплаты варьируются в зависимости от города, уровня квалификации и компании. Средняя зарплата аналитика данных в России составляет:
Junior: 70 000–100 000 рублей в месяц.
Middle: 120 000–180 000 рублей в месяц.
Senior: 200 000–300 000 рублей в месяц.
№ 3. Machine Learning Engineer
Инженер машинного обучения разрабатывает и внедряет модели машинного обучения (ML). Инженеры ML занимаются построением, обучением и оптимизацией моделей, которые позволяют компьютерам прогнозировать данные, анализировать изображения, понимать текст или рекомендовать товары.
Основные навыки инженера машинного обучения
Программирование:
владение языками Python или R, и библиотеками машинного обучения Scikit-learn, TensorFlow и PyTorch. Опыт работы с большими данными с помощью Apache Spark или Hadoop.
Алгоритмы и модели ML:
понимание основных методов машинного обучения: классификации, регрессии, кластеризации. Навыки работы с нейронными сетями и глубоким обучением.
Математика и статистика
: хорошее знание линейной алгебры, теории вероятностей и статистики, которые используются при разработке моделей.
Обработка данных:
умение готовить и очищать данные с помощью Pandas и NumPy и навыки работы с базами данных (SQL).
Разработка и внедрение моделей:
создание моделей, их тестирование и оптимизация. Использование контейнеризации (например, Docker) и технологий для развёртывания моделей в продакшн-среде.
Soft skills:
Работа в команде, так как ML-инженеры взаимодействуют с аналитиками, разработчиками и бизнес-отделами. Умение объяснять сложные технические концепции бизнес-пользователям.
Сколько зарабатывает инженер машинного обучения
Junior ML-инженер может зарабатывать от 80 000 до 120 000 рублей в месяц.
Специалисты со средним уровнем опыта могут рассчитывать на зарплату в диапазоне от 150 000 до 250 000 рублей в месяц.
Senior получает от 330 тысяч рублей и выше, особенно если он работает в крупной ИТ-компании.
№4. Data Engineer (инженер данных)
Инженер данных проектирует и поддерживает инфраструктуру для обработки больших объемов данных. Он ответственен за то, чтобы данные компании, были доступными, структурированными и готовыми для использования аналитиками и моделями машинного обучения.
Основные навыки инженера данных
Работа с базами данных:
владение SQL для управления реляционными базами данных (например, MySQL, PostgreSQL). Плюс опыт работы с NoSQL базами, такими как MongoDB или Cassandra.
Облачные технологии и большие данные:
навыки работы с платформами, такими как AWS, Google Cloud или Azure, а также инструментами обработки больших данных (Apache Spark, Hadoop).
Программирование:
языки Python и Java, которые используются для автоматизации и построения пайплайнов данных. Знание Scala для работы с большими данными.
Инструменты ETL и оркестрация
: умение настраивать процессы извлечения, трансформации и загрузки данных с помощью Airflow, Apache NiFi или Talend.
Инфраструктура и DevOps:
знание контейнеризации (Docker, Kubernetes) и CI/CD-подходов для поддержки и развертывания инфраструктуры данных.
Мягкие навыки:
работа в команде, чтобы координировать задачи с аналитиками и ML-инженерами. Аналитическое мышление и способность решать проблемы.
Зарплата Data Engineer
Junior получает от 100 000 до 150 000 рублей в месяц.
Зарплата Middle Data Engineer составляет от 150 000 до 250 000 рублей в месяц.
Senior получает от 250 тысяч рублей до 400 тысяч рублей в месяц.
Руководитель направления (Lead Data Engineer/Head of Data Engineering) — от 400 000 рублей и выше.
#5. Data Arhitect
Дата-архитектор обеспечивает доступность, надежность и безопасность данных. Его основная задача — проектировать, внедрять и поддерживать системы обработки и хранения данных.
Основные навыки архитектора данных
Дизайн баз данных и хранилищ:
проектирование реляционных (PostgreSQL, MySQL) и NoSQL (MongoDB, Cassandra) баз данных. Знание принципов построения хранилищ данных (Data Warehouses) и озёр данных (Data Lakes).
Интеграция данных:
работа с ETL-инструментами (Talend, Apache NiFi) для интеграции данных из разных систем. Разработка архитектуры потоков данных в реальном времени (например, с помощью Apache Kafka).
Облачные технологии:
работа с облачными платформами AWS, Google Cloud или Azure для построения масштабируемой инфраструктуры данных.
Безопасность данных и соответствие стандартам:
обеспечение защиты данных, включая шифрование и контроль доступа. Знание нормативов GDPR или ФЗ-152 (о персональных данных).
Аналитическое мышление и системный подход:
умение анализировать потребности бизнеса и создавать архитектуру, которая будет устойчивой к изменениям и масштабируемой.
Soft skills:
сюда входит координация работы с разными командами проекта и умение представлять сложные технические концепции понятным языком.
Сколько зарабатывает архитектор данных:
Начинающий специалист зарабатывает от 100 000 до 150 000 рублей в месяц.
Опытные архитекторы данных могут получать от 200 000 до 300 000 рублей.
В крупных международных компаниях доход может достигать 400 000 рублей и выше.
Подведем итоги
Data Science — это перспективная сфера с большим выбором профессий и высоким уровнем доходов. Вы можете выбрать профессию, которая соответствует вашим интересам, от анализа данных до построения сложных моделей машинного обучения. А ещё можете начать
карьеру дата-сайентиста с нуля
на курсе от Merion!