пїЅпїЅпїЅ-API
По вашему запросу ничего не найдено :(
Убедитесь, что запрос написан правильно, или посмотрите другие
наши статьи:
Системные администраторы и девопсы теперь могут использовать сетевые ресурсы, хранилища, виртуальные машины, ERP, системные программные обеспечения и приложения большинства публичных или частных облачных платформ или гибридных сред.
Переход организаций к облачной среде может быть мотивирован высокой доступностью, выгодной ценой и возможностью оптимизации в реальном времени, которая возможна только в облачной среде.
Но, наряду с многочисленными преимуществами, возникает необходимость мониторинга инфраструктуры и приложений, работающих в облаке.
Эта статья прольет свет на мониторинг облачных платформ и предоставит вам информацию об инструментах, которые облегчат вам, как Cloud разработчику, мониторинг инфраструктуры и приложений.
Мониторинг инфраструктуры и приложений
Мониторинг инфраструктуры и приложений - это просто стратегия управления. Стратегия управления включает любой рабочий процесс, который оценивает вычислительные ресурсы и приложения, чтобы получить представление о производительности, работоспособности и доступности служб, работающих в любой инфраструктуре.
Таким образом, мониторинг облачных сред включает наблюдение за показателями производительности веб-серверов, приложений, серверов хранения, виртуальных облачных сетей, виртуальных машин и любых других служб, работающих в облачной среде.
Рассмотрим некоторые преимущества мониторинга в облаке.
Учет потребления облачных ресурсов
Мониторинг как услуга в облаке помогает организациям увидеть текущие ресурсы и связанные с ними затраты с помощью тэгов. Затем администраторы могут использовать данные о ресурсах для определения приоритетов и масштабирования ресурсов на основе затрат и спроса.
Оптимизация производительности
На основе результатов системных оповещений, событий и триггеров, настроенных для отслеживания ресурсов инфраструктуры, девопсы могут выполнять настройку ресурсов, например, балансировку нагрузки, для оптимальной работы инфраструктуры.
Гарантированная безопасность системы
Мониторинг пользователей в реальном времени, мониторинг входящего и исходящего трафика и частые тесты, выполняемые на конечных точках API, служат моделями безопасности для облачной инфраструктуры/приложений. Видимость означает, что любая аномалия в системе может быть легко выявлена до эскалации.
Популярные средства мониторинга для разработчиков облачных сред
Ниже приведены некоторые из наиболее используемых инструментов мониторинга облачных вычислений, доступных для сисадминов и девопсов.
1. CloudWatch
CloudWatch, созданный Amazon, представляет собой средство наблюдения и мониторинга, предоставляющее данные/информацию о производительности системы, работе приложений и состоянии облачной инфраструктуры.
Amazon CloudWatch - это инструмент для групп DevOps, инженеров по надежности сайтов и разработчиков облачных решений. Разработчики могут начать работу с CloudWatch бесплатно с помощью бесплатного тарифа.
Приложения и инфраструктурные ресурсы, работающие в Amazon Cloud, генерируют рабочие данные в виде журналов, метрик и событий. Поэтому разработчики могут использовать CloudWatch для сбора и мониторинга метрик и данных журналов для измерения производительности приложений и обнаружения любых изменений инфраструктуры.
CloudWatch обеспечивает отличный контроль над облачной инфраструктурой за счет упреждающего поиска и устранения неисправностей, оптимизации ресурсов, анализа журналов и сокращения среднего времени разрешения проблем. (MTTR)
CloudWatch позволяет отслеживать контейнеры, экземпляры ECS, Amazon EKS и все экземпляры приложений, работающие в облачных средах.
2. Dynatrace
Dynatrace - интеллектуальная платформа, обеспечивающая выполнение требований консолидации мониторинга. Инструмент основан на искусственном интеллекте и обеспечивает автоматизированное и интеллектуальное наблюдение за всей облачной инфраструктурой и приложениями.
Dynatrace - инструмент мониторинга на основе агентов. OneAgent, устанавливаемый и интеллектуальный агент, который автоматизирует общесистемный мониторинг. OneAgent собирает метрики на всех уровнях стека приложений.
Для мониторинга инфраструктуры OneAgent может собирать метрики из безсеверных инфраструктур, контейнеров, модулей, виртуальных компьютеров и даже облачных баз данных и многого другого.
Dynatrace использует PurePath для визуализации мобильных и веб приложений на уровне кода. В результате разработчики получают представление о доступности и производительности внешних и внутренних транзакций, выполняемых в любой облачной среде.
Кроме того, инструмент не только обеспечивает трассировку, метрики и данные журнала только для локальных сред. Она позволяет интегрировать несколько облачных технологий и расширить сторонние инструменты для обеспечения бесконтактного мониторинга приложений, работающих в облачных средах. Кроме того, разработчики могут использовать API Dynatrace для внедрения собранных метрик в средства отчетности и анализа сторонних производителей для более интуитивных системных отчетов.
Для начала работы с Dynatrace, можно подписаться на бесплатную пробную версию и развернуть инструмент в своей среде для мониторинга всего стека.
3. DataDog
Подключение Datadog к классической или облачной инфраструктуре обеспечивает детальную видимость производительности инфраструктуры и приложений.
Все это можно просмотреть исчерпывающим образом: от хостов в сети до экземпляров контейнеров и даже активных процессов, выполняемых на любой инфраструктуре. Этот инструмент мониторинга имеет встроенные функции, как агент Datadog, монитор производительности приложений Datadog, диспетчер журналов Datadog и профилировщик Continuous. Встроенные инструменты отвечают за сбор метрик системы и обнаружение любых изменений в системе.
Затем разработчики могут просмотреть и анализировать собранные показатели производительности с помощью гибких панелей мониторинга. Созданные панели мониторинга представляют тенденции в метриках.
Например, можно просмотреть частоту ошибок облачных приложений, задержки в сетевых конечных точках, а также обслуживаемые или неуспешные запросы HTTPS. Следовательно, администраторы и разработчики облачных служб могут создавать сводки показателей на панели мониторинга для любого периода.
Datadog обеспечивает интеграцию на основе агентов, аутентификации и библиотек для обеспечения унифицированного системного мониторинга в случаях распространения систем и приложений.
Самой крутой особенностью Datadog является удобство, которое он дает разработчикам для выполнения синтетического мониторинга производительности приложений с помощью синтетических тестов. Синтетические тесты - это моделируемые запросы, имитирующие работу клиента с веб-службой и API для обеспечения сквозной видимости приложений.
4. Prometheus
Prometheus - отличный инструмент мониторинга и оповещения с открытым исходным кодом для облачных, гибридных и готовых систем. Этот инструмент агрегирует системные метрики как данные временных рядов, многомерную модель данных, которая идентифицируется парами «имя метрики» и «ключ-значение».
Например, HTTP запрос как имя метрики (ключ) и соответствующее общее количество этих запросов как значение.
Prometheus работает с автономным единственным сервером Prometheus, который удаляет метрики из нескольких источников данных и сохраняет их как данные временных рядов.
Кроме того, средство имеет такие платформы визуализации, как Grafana, Consoles и Expression.
Для системных оповещений Prometheus использует диспетчер оповещений для гибкой отправки уведомлений и управления ими с помощью сообщений электронной почты, систем по вызову и платформ чатов, таких как Slack, где разработчики могут своевременно реагировать на возникающие системные проблемы.
5. MetricFire
MetricFire - это набор инструментов с открытым исходным кодом, которые помогают системным администраторам собирать, хранить и визуализировать метрики облачной инфраструктуры. Метрики играют важную роль в определении нагрузки, надежности системы и необходимости оптимизации ресурсов. Инструмент мониторинга содержит три инструмента с открытым исходным кодом - Graphite, Prometheus и Grafana - все они работают совместно, чтобы облегчить мониторинг.
Graphite, например, обрабатывает сбор метрик с помощью агента Hosted Graphite, который включает службы сбора, такие как diamond. Diamond, демон python, собирает метрики ЦП, показатели использования дисков, сетевых операций ввода-вывода, метрики веб-приложений и многое другое.
Затем разработчики могут просматривать метрики в расширенных по функциям панелях мониторинга Grafana или Graphite. С помощью панелей мониторинга разработчики могут наблюдать метрики из нескольких источников, таких как Graphite, Prometheus и другого программное обеспечение для мониторинга облачных инфраструктур.
Панели мониторинга Grafana отличаются высокой настраиваемостью и могут быть преобразованы в соответствии с большинством требований к визуализации. Разработчики также могут создавать сложные графики и диаграммы с несколькими метриками и трассировками для предоставления окончательных отчетов о работе систем.
Благодаря размещенным инструментам разработчики могут сразу понять системные данные без необходимости установки нескольких сторонних инструментов.
Заключение
Итак, мы рассмотрели, что такое мониторинг облачной инфраструктуры и приложений, изучили некоторые преимущества мониторинга.
Приведенные в данной статье инструменты благодаря своей гибкости и функционалу, облегчат мониторинг всей инфраструктуры. Можно развернуть и попробовать бесплатные пробные версии и выбрать подходящий под конкретные нужды.
У вас проблемы с доступом к удаленному серверу через SSH? Если SSH отвечает сообщением «Connection Refused» (Соединение отклонено), возможно, вам придется изменить запрос или проверить настройки.
Почему при использовании SSH возникает отказ в подключении?
Существует множество причин, по которым вы можете получить ошибку «Connection Refused» при попытке подключения к серверу по SSH. Чтобы решить эту проблему, вам сначала нужно определить, почему система отказалась от вашего подключения через SSH.
Ниже вы найдете некоторые из наиболее распространенных причин, которые могут вызвать отказ в соединении SSH.
Клиент SSH не установлен
Прежде чем устранять другие проблемы, первым делом необходимо проверить, правильно ли установлен SSH. На машине, с которой вы получаете доступ к серверу, должен быть настроен клиент SSH. Без правильной настройки клиента вы не сможете подключиться к серверу.
Чтобы проверить, есть ли в вашей системе клиент SSH, введите в окне терминала следующее:
ssh
Если терминал предоставляет список параметров команды ssh, клиент SSH установлен в системе. Однако, если он ответит, что команда не найдена (command not found), вам необходимо установить клиент OpenSSH.
Решение: установить клиент SSH
Чтобы установить клиент SSH на свой компьютер, откройте терминал и выполните одну из команд, перечисленных ниже.
Для систем Ubuntu / Debian:
sudo apt установить openssh-client
Для систем CentOS / RHEL:
sudo yum установить openssh-client
Демон SSH не установлен на сервере
Так же, как вам нужна клиентская версия SSH для доступа к удаленному серверу, вам нужна версия сервера для прослушивания и приема соединений. Таким образом, сервер может отклонить входящее соединение, если SSH-сервер отсутствует или настройка неверна.
Чтобы проверить, доступен ли SSH на удаленном сервере, выполните команду:
ssh localhost
Если на выходе отображается «Connection refused», переходите к установке SSH на сервере.
Решение: установите SSH на удаленный сервер
Чтобы решить проблему отсутствия сервера SSH, установите сервер OpenSSH.
Учетные данные неверны
Опечатки или неправильные учетные данные - частые причины отказа в SSH-соединении. Убедитесь, что вы не ошиблись при вводе имени пользователя или пароля.
Затем проверьте, правильно ли вы используете IP-адрес сервера.
Наконец, убедитесь, что у вас открыт правильный порт SSH. Вы можете проверить, запустив:
grep Port /etc/ssh/sshd_config
На выходе отображается номер порта, как на картинке ниже.
Служба SSH не работает
Служба SSH должна быть включена и работать в фоновом режиме. Если служба не работает, демон SSH не может принимать соединения.
Чтобы проверить статус службы, введите эту команду:
sudo service ssh status
Вывод должен ответить, что служба активна. Если терминал отвечает, что служба не работает, включите его, чтобы решить проблему.
Решение: включить службу SSH
Если система показывает, что демон SSH не активен, вы можете запустить службу, выполнив:
systemctl start sshd
Чтобы служба запускалась при загрузке, выполните команду:
sudo systemctl enable sshd
Брандмауэр препятствует подключению SSH
SSH может отклонить соединение из-за ограничений брандмауэра. Брандмауэр защищает сервер от потенциально опасных подключений. Однако, если в системе настроен SSH, необходимо настроить брандмауэр, чтобы разрешить SSH-соединения.
Убедитесь, что брандмауэр не блокирует SSH-соединения, так как это может вызвать ошибку «Connection refused».
Решение: разрешить SSH-подключения через брандмауэр
Чтобы решить проблему, о которой мы упоминали выше, вы можете использовать ufw (Uncomplicated Firewall - несложный брандмауэр), инструмент интерфейса командной строки для управления конфигурацией брандмауэра.
Введите следующую команду в окне терминала, чтобы разрешить SSH-соединения:
sudo ufw allow ssh
Порт SSH закрыт
Когда вы пытаетесь подключиться к удаленному серверу, SSH отправляет запрос на определенный порт. Чтобы принять этот запрос, на сервере должен быть открыт порт SSH.
Если порт закрыт, сервер отказывает в соединении.
По умолчанию SSH использует порт 22. Если вы не вносили никаких изменений в конфигурацию порта, вы можете проверить, прослушивает ли сервер входящие запросы.
Чтобы вывести список всех прослушивающих портов, запустите:
sudo lsof -i -n -P | grep LISTEN
Найдите порт 22 в выходных данных и проверьте, установлено ли для него STATE значение LISTEN.
Кроме того, вы можете проверить, открыт ли конкретный порт, в данном случае порт 22:
sudo lsof -i:22
Решение: откройте порт SSH
Чтобы разрешить порту 22 слушать запросы, используйте команду iptables:
sudo iptables -A INPUT -p tcp --dport 22 -m conntrack --ctstate NEW,ESTABLISHED -j ACCEPT
Вы также можете открывать порты через графический интерфейс, изменив настройки брандмауэра.
Отладка и ведение журнала SSH
Чтобы проанализировать проблемы SSH в Linux, вы можете включить подробный режим или режим отладки. Когда вы включаете этот режим, SSH выдает отладочные сообщения, которые помогают устранять проблемы с подключением, конфигурацией и аутентификацией.
Существует три уровня детализации:
уровень 1 (-v)
уровень 2 (-vv)
уровень 3 (-vvv)
Поэтому вместо доступа к удаленному серверу с использованием синтаксиса ssh [server_ip] добавьте параметр -v и выполните:
ssh -v [server_ip]
В качестве альтернативы вы можете использовать:
ssh -vv [server_ip]
или
ssh -vvv [server_ip]
Векторная база данных хранит фрагменты информации в виде векторов. Они объединяют в группы связанные элементы, позволяя, таким образом, выполнять поиск на основе сходств и создавать мощные модели ИИ.
Что такое векторная база данных?
Векторная база данных – это набор данных, который хранится в математической форме. Они упрощают модели машинного обучения за счет того, что запоминают то, как использовались предыдущие входные данные. За счет этого они позволяют использовать модели машинного обучения для сложного поиска, рекомендаций и генерации текста. Данные можно идентифицировать, исходя из показателей сходства, а не точных совпадений. Таким образом, компьютерная модель может понимать данные в соответствии с контекстом.
Когда покупатель заходит в обувной магазин, продавец может предложить ему модель обуви, похожу на ту, которую он предпочитает. Таким же образом при совершении покупок через Интернет, магазин может предлагать похожие товары (например, под заголовком «Также покупают…»). Векторные базы данных позволяют моделям машинного обучения находить похожие объекты точно так же, как продавец может найти подобную модель обуви, а интернет-магазин может предложить похожие товары. (По сути, интернет-магазин может использовать для этой цели именно такую модель машинного обучения.)
Резюмируя, скажем, что векторные базы данных позволяют компьютерным программам проводить сравнения, выявлять взаимосвязи и понимать контекст. Это, в свою очередь, позволяет создавать передовые ИИ-программы, такие как большие языковые модели (LLM).
Вполне вероятно, что документы, расположенные в правом верхнем углу этой довольно простой векторной базы данных, похожи друг на друга.
Что такое вектор?
Вектор – это массив числовых значений, который указывает на расположение плавающей точки в нескольких измерениях.
Говоря более простым языком, вектор – это список чисел, например, {12, 13, 19, 8, 9}. Эти числа обозначают расположение в пространстве точно так же, как номер строки и столбца обозначает определенную ячейку в электронной таблице (например, В7).
Как работает векторная база данных?
Каждый вектор в векторной базе данных соответствует какому-то объекту или элементу, будь то слово, изображение, видео, фильм, документ или любой другой фрагмент данных. Скорее всего, эти векторы буду довольно длинными и сложными, так как они будут указывать на расположение каждого объекта в десятках или даже сотнях измерений.
Например, векторная база данных фильмов может располагать фильмы по таким измерениям (параметрам), как продолжительность фильма, жанр, год выпуска, родительский контроль, общее количество актеров, общее количество зрителей и т.д. Если эти векторы будут созданы правильно, то в итоге в рамках этой базы данных похожие фильмы с большой вероятностью будут объединены в группы.
Как использовать векторную базу данных?
Поиск сходств и семантический поиск
: с помощью векторных баз данных приложения могут объединять подходящие элементы вместе. Векторы, находящиеся в одной группе, похожи и, скорее всего, как-то связаны друг с другом. Пользователи, таким образом, могут выполнять поиск необходимой им информации (например, поиск изображения). Кроме того, приложения могут:
Рекомендовать похожие товары
Предлагать песни, фильмы и телешоу
Предлагать изображения и видео
Машинное обучение и глубокое обучение
: способность объединять подходящие информационные единицы позволяет создавать модели машинного обучения (и глубокого обучения), которые могут решать сложные когнитивные задачи.
Большие языковые модели (LLM) и генеративный ИИ
: в основе LLM, подобных тем, что используются в ChatGPT и Bard, лежит контекстный анализ текста, который стал возможен за счет векторных баз данных. Сопоставляя слова, предложения и общий смысл вместе, LLM способны понимать естественный язык и даже генерировать текст.
Что такое вложения?
Вложения – это векторы, которые генерируются нейронными сетями. Обычная векторная база данных для модели глубокого обучения состоит именно из вложений. Как только нейронная сеть будет хорошо обучена, она сможет самостоятельно генерировать вложения, и их не придется создавать вручную. После эти вложения можно использовать для поиска сходств, контекстного анализа, генеративного ИИ, о которых говорилось выше, и т.д.
Какие есть преимущества у векторных баз данных?
Сам по себе запрос к модели машинного обучения, у которой нет векторной базы данных, нельзя назвать ни быстрым, ни выгодным. Модели машинного обучения не способны запомнить ничего, кроме тех данных, на которых они были обучены. Они всегда должны быть в тексте (именно так работают многие простые чат-боты).
Любая передача текста запроса в модель происходит крайне медленно, так как, как правило, в нем довольно много данных, и это обходится довольно дорого, так как данные перемещаются, а вычислительная мощность расходуется снова и снова, когда модель начинает анализировать одни и те же данные. В действительности большая часть API машинного обучения, скорее всего, ограничены в объеме данных, которые они могут принять за раз.
Вот тут-то очень кстати приходится векторная база данных: набор данных проходит через модель всего один раз (или с какой-то периодичностью по мере появления изменений в нем), а вложения этих данных (для этой модели) сохраняются в векторной базе данных.
Это экономит уйму времени, которое раньше затрачивалось на обработку. Это делает возможным создание пользовательских приложений на основе семантического поиска, классификации и обнаружении аномалий, так как результаты приходят за несколько десятков миллисекунд, не дожидаясь, пока модель обработает весь набор данных.
Что касается запросов, разработчики запрашивают у модели машинного обучение представление (вложение) именно для этого запроса. После чего это вложение можно передать в векторную базу данных, и она сможет вернуть похожие вложения, которые уже прошли через модель. Затем эти вложения, будь то URL-адрес страницы, ссылка на изображение или артикул товара, можно сопоставить с их исходным содержимым.
Подведем итог: векторные базы данных масштабируются, работают быстро, и, кроме того, они более экономичны, нежели обычные запросы к моделям машинного обучения без них.