rpa платформа что это
RPA — актуальное решение для автоматизации рутинных задач
RPA — актуальное решение для автоматизации рутинных задач
Robotic Process Automation (RPA) — это современная технология автоматизации процессов, которая основана на использовании программных роботов. Принцип работы заключается в создании списка действий для автоматизации рутинных задач с использованием программных интерфейсов (API) или языка сценариев.
Появление RPA
Термин появился в 2012 году благодаря компании Blue Prism, которая одна из первых в области автоматизации сервисов управления офисными операциями. Технология появилась в начале нулевых, но массовое распространение получила лишь в 2015 году.
Разработчики ПО для RPA
Forrester назвал лидерами на рынке RPA-решений: Аutomation Anywhere, Blue Prism и UiPath.
Everest назвал те же компании, плюс NICE и Thoughtonomy.
ТОП-4 мировых вендора — это UiPath, Automation Anywhere, Blue Prism и NICE. Стоит отметить компанию UiPath, которая выросла из небольшого стартапа, компания за 2018 год выросла на 630%!
На российском рынке специалистов с навыками работы в RPA единицы. На сегодняшний день компании активно ищут сотрудников на различные роли, от HR специалистов, до руководителей проектов по роботизации.
Спрос на разработчиков RPA продолжает расти. В России искали RPA-профессионалов такие компании, как ABBYY, KPMG, PWC, Accenture, Deloitte, Unilever, Росгосстрах, МТС, Сбербанк, Сибур, Норникель, Qiwi, Райффазенбанк.
На каких RPA-платформах работают российские компании?
Существует несколько российских платформ. В середине 2018 года появилась платформа Robin, потом — ElectroNeek и PIX. Уже сейчас у них есть два преимущества: они дешевле и лучше справляются с документами на русском языке.
Если судить по кейсам компаний, роботизацию чаще всего доверяют платформам UiPath и Blue Prism. С UiPath работают в X5 Retail Group, ВТБ, Сбербанке, «Росгосстрахе» и Ozon.ru. С Blue Prism — в Альфа-банке и «ВымпелКоме». Некоторые компании используют самописных роботов.
В базе практик RPA тоже можно узнать, у кого какая платформа. У МТС как минимум две платформы: UiPath и Blue Prism.
Что такое RPA-робот?
RPA-робот — это программа, которая имитирует действия сотрудника. Фактически — это виртуальный сотрудник, который выполняет простейшие задачи, такие как перенос данных, отправляет уведомления, формирует отчеты.
Робот находится на удаленном сервере, но его можно установить и на рабочий компьютер сотрудника. В случае с увеличением задач и процессов, включается программа-начальник, которая контролирует задачи всех линейных роботов.
Пример работы программы по контролю роботов UiPath Orchestrator:
Какую работу может выполнить робот?
Современные RPA-системы могут полностью или частично автоматизировать работу, которую раньше приходилось делать вручную. Например, операционный офис крупного банка из 200 человек больше половины своего рабочего времени тратят на задачи, которые можно автоматизировать.
Примеры RPA:
Что конкретно может делать робот:
RPA и искусственный интеллект
RPA не является искусственный интеллект (ИИ).
ИИ имитирует, непосредственно интеллект сотрудника, а робот — всего лишь руки. Однако RPA развивается в сторону интеллектуализации. Разработчики подключают к платформам различные решения для распознавания и анализа изображений и текста (OCR, ML).
Робот учится обходить капчу, исправлять ошибки в документах и многое другое. Некоторые компании разрабатывают собственные решения, другие используют сторонние разработки.
Пример применения технологий ИИ в UiPath:
Ключевые препятствия для внедрения RPA:
Затраты на внедрение RPA
Стоимость внедрения начинается со 150–200 тысяч рублей. В эту сумму оценивается средняя годовая лицензия от российских вендоров.
Однако стоит отметить, что масштабирование бизнес-процессов с RPA обходится в 2-3 раза дешевле, чем при традиционном расширении штата сотрудников даже без учета затрат на найм и тренинг персонала. Типовое внедрение окупается в российских компаниях за 6-9 месяцев, в зависимости от объема выполняемых «виртуальными роботами» операций.
Рынок труда и RPA
Все больше руководителей видит в RPA способ оптимизировать производственную деятельность, снизить затраты и устранить утомительные задачи, оставив сотрудникам больше времени для обслуживания клиентов, выполнения творческой и ценной для бизнеса работы.
По опыту внедрения RPA, все это дает от 40 до 80% снижения прямых затрат на обработку бизнес-процессов. Добавьте к этому простоту масштабирования технологии: если вам нужно ускорить исполнение бизнес-процесса, вы просто подключаете еще одного робота вместо того, чтобы искать нового сотрудника, организовывать ему рабочее место, проводить тренинги и т.д.
Любая технология, заменяющая человека, становится объектом луддизма. Но для многих сотрудников — это возможность найти для себя в новых процессах. Прогресс не стоит на месте, и некоторые профессии действительно утрачивают актуальность со временем.
Ознакомьтесь со страницей решений по RPA. А если у Вас остались вопросы или Вы захотели узнать подробности, позвоните по телефону: 8 (495) 255-06-30 или оставьте заявку на обратный звонок – и менеджер CloudNetworks свяжется с Вами для консультации.
Robotic Process Automation — новый взгляд на старые технологии
Скажете, несбыточные фантазии? Да почему же несбыточные — подходящие технологии уже готовы и практически обкатаны. Это RPA (Robotic Process Automation). Термин появился в 2012 году благодаря компании Blue Prism. Она 17 лет назад стала пионером в области автоматизации сервисов управления офисными операциями. Правда, в то время к этой идее не относились серьёзно и крупный бизнес считал ее скорее утопической, чем реальной.
Но всё изменилось с появлением систем искусственного интеллекта. Именно они в корне изменили отношение к RPA.
RPA сегодня
Современные RPA-системы могут полностью или частично автоматизировать работу, которую раньше приходилось делать вручную. Взять, к примеру, операционный офис крупного банка: 200 человек больше половины своего рабочего времени просто вбивают реквизиты клиентов в программу и переносят данные из одной системы в другую, распечатывают всякие квитанции-счета-справки. И всю эту примитивную рутину можно автоматизировать.
Инвестиции в различные отрасли, Grand View Research
Что может делать робот, к примеру, в сфере розничной торговли, финансовых и страховых услуг?
Автоматизация процесса заполнения заявок на выдачу кредита юридическим лицам
До внедрения RPA-системы, в процессе оформления заявки на кредит для юрлиц в одном из крупных российских банков требовалось собрать и структурировать данные аж из 9 разных систем. Сотрудники просто вручную копировали и вставляли информацию в Excel-файлики. И занимались этим высокоинтеллектуальным трудом 53 человека. А затем ещё 6 человек вручную проверяли введённую информацию на наличие ошибок. По статистике банка, 20% сотрудников из первой группы допускали 1–2 ошибки в день. При этом хотя бы один из проверяющих тоже каждый день пропускал незамеченными одну-две ошибки.
Когда же в этом отделе внедрили RPA, то из 53 человек 30 были переведены на другие задачи, а количество ошибок при заполнении заявок сократилось в 10–15 раз.
Автоматизация внесения информации в справочную систему
Для одного из наших клиентов мы рассчитали пилотный проект автоматизации внесения в информационно-справочную систему данных из сканов документов.
В компании этим занималось 5 сотрудников. На оплату их труда, оснащение рабочих мест и амортизацию оборудования уходило около 5М рублей в год. В течение года, с учётом праздников, отпусков и больничных, на внесение информации в систему уходило около 4 000 человеко-часов.
Основные затраты на робота — это покупка лицензии (приобретается обычно на год) и услуги по разработке и технической поддержке системы. Внедрение робота мы оценили в 600 000 рублей и запросили у заказчика 3 месяца на всё про всё. Под эту задачу прекрасно подошёл пакет лицензий UiPath стоимостью примерно 300 000 рублей в год. А на дальнейшую поддержку робота заказчику достаточно тратить всего около 30 000 рублей в месяц. И ещё на время разработки и внедрения RPA нужно было вручную выполнять роботизируемый процесс.
В итоге общие затраты на автоматизацию оказались такими: 600 000 + 300 000 + 270 000 = 1 170 000 рублей. Даже если к этому добавить упомянутые расходы на ручное выполнение процесса, робот окупится всего за полгода. В первый год клиент сэкономит 46,5% (2 070 000 рублей), а за второй год, когда нужно будет тратиться только на лицензию и регулярную поддержку, экономия будет уже 85,2 % (3 795 000 рублей).
Что скрывается за аббревиатурой RPA
Давайте теперь поговорим, что же скрыто под «капотом» популярных решений по роботизации. Как правило, в их основе — легко адаптируемое под ваши нужды ПО, которое подключается через API и имитирует все необходимые действия человека. Сюда же можно добавить чат-ботов, систему распознавания текста и человеческого голоса и другие элементы.
Каждый из модулей является самостоятельным продуктом, и все они управляются единой платформой, координирующей работу RPA (это своеобразный дирижер, отвечающий за слаженное и четкое исполнение произведения оркестром). Платформа может запускать роботов по запросу или по расписанию, выдавать оператору наглядные графики по успешно пройденным или сорванным операциям, а также формировать детальные отчеты по работе RPA-системы.
RPA-решение можно строить как на основе Open Source продуктов, так и с помощью проприетарного ПО для роботизации. И не нужно торопиться делать выводы о том, что на основе бесплатного ПО ничего хорошего создать невозможно. Здесь всё решает квалификация и профессионализм разработчиков.
А для иллюстрации вот ещё один пример.
Бесплатный сыр только в мышеловке?
Крупный банк попросил нас автоматизировать процесс формирования заявок во внутренней системе документооборота с большим количеством параметров.
Данные поступали из внешнего Excel-файла, и после предварительной валидации их нужно было ввести в систему, заполнить все необходимые поля и отслеживать факт успешного формирования заявки. Все некорректные записи в файле должны были обязательно фиксироваться в электронном журнале.
Мы предложили программный пакет, написанный на Java, который содержал все необходимые библиотеки для работы с браузером. Пакет распаковывался на рабочей машине оператора, и вся система управлялась через веб-интерфейс.
С помощью такого простого решения мы сумели примерно в 8 раз ускорить выполнение рутинных операций. И, самое главное, полностью исключили влияние человеческого фактора.
Стоимость поддержки такого решения приближается к нулю, поскольку это внутренняя система документооборота и никаких изменений в ней в ближайшее время не предвидится. Казалось бы, мы автоматизировали только один маленький винтик в огромном механизме монотонных ручных операций, а выгода оказалась весьма ощутимой.
Сапожник не должен быть без сапог
Другой пример автоматизации с помощью Open Source решения. И пример не чей-то, а наш собственный.
Нам нужно было освободить людей от необходимости заполнять карточки новых контрагентов в ERP-системе, чтобы не вбивать каждый раз информацию в 50–70 полей. На каждую карточку уходило минут по 10, и немудрено было где-нибудь ошибиться.
Мы решили сделать так: пусть сотрудник отсканирует бумаги, далее робот запустит утилиту tesseract-ocr для распознавания данных, а затем заполнит поля в web-форме. К слову, повысить качество распознавания этой утилиты можно с помощью нейросети. Робот сам авторизуется в системе, откроет в браузере нужную страницу и заполнит все поля. На это у него уйдёт полминуты. А уж если исходные данные мы получаем не на бумаге, а в электронном виде, то можно не тратить время на сканирование и проверку, робот сам её выполнит и исправит ошибки.
В итоге наши сотрудники были несказанно рады: им оставалось только проверить правильность заполнения формы и убедиться, что робот не подвел.
Эффект от внедрения RPA
А как бы прикинуть эффективность RPA? В этом поможет статистика. Согласно результатам опроса HFS Research, многие компании, внедрившие RPA-технологии, получили ощутимую выгоду и конкурентные преимущества.
Источник — HFS Research, “INSIGHTS FROM EARLY BPO ADOPTERS OF ROBOTIC PROCESS AUTOMATION“ и KPMG.
А по информации от компании ABBYY, внедрение их продуктов в RPA позволило многим организациям значительно уменьшить накладные расходы.
Источник — официальные данные компании ABBYY
Какие плюсы у роботизации рутинных процессов?
Риски и ограничения RPA-решений
Роботизации нужна техподдержка, чтобы перенастраивать работу RPA при изменениях в интерфейсе системы или бизнес-процессов. А это дополнительные расходы.
Для RPA необходимы хорошо документированные алгоритмы работы системы и бизнес-процессов. Роботизировать хаос невозможно, поэтому начинать придётся с первоначального аудита бизнес-процессов и их формализации.
К счастью (или к сожалению), роботы пока не могут заменить человека целиком и полностью. В любом случае, ответственность за работу автоматики несут люди. Поэтому при внедрении RPA всегда имейте наготове «план Б»: как вручную поддержать работу бизнеса при отказе или вынужденной доработке роботизированного процесса.
Доверять роботам целиком и полностью не стоит —постоянно мониторьте весь процесс роботизации. И лучше всего назначить специально обученного человека, который будет первым реагировать на возможные проблемы в работе RPA. Чтобы он сразу анализировал причины и принимал решения для минимизации финансовых и репутационных потерь.
Информационная безопасность — наше всё. Роботы должны работать в закрытом программном контуре, чтобы избежать влияния вредоносных программ. К примеру, мошенник может поменять код робота, чтобы тот начал переводить деньги по другим реквизитам. Или чтобы робот намеренно допускал ошибки в кредитных заявках — продажи встанут, а репутация компании превратится в ошмётки. Так что доверяйте роботов только проверенным специалистам и организациям, которые смогут обеспечить безопасность ваших бизнес-процессов после внедрения RPA.
Любая технология, заменяющая человека, становится объектом луддизма. Поэтому будьте готовы к тому, что сначала многие ваши сотрудники и коллеги будут противиться идеям автоматизации, а то и саботировать их. С одной стороны, для них автоматизация — возможность найти для себя новую должность, подняться по карьерной лестнице. Однако прогресс не стоит на месте, и некоторые профессии действительно отмирают со временем. Можно предположить, что в обозримом будущем уже не будет операторов баз данных, финансовых операционистов, операторов на телефоне, специалистов по заработной плате, финансовых контролёров-операционистов, секретарей по регистрации посетителей, специалистов первой линии техподдержки и т.д.
Наконец, если (или когда) вы начнёте роботизировать процессы в организации, потребуется создать и собственный центр компетенций по RPA.
Как подступиться к внедрению RPA?
Напоследок хотим дать несколько советов, которые мы — нет, не выстрадали, а всё же вывели, на своём опыте и опыте наших клиентов, внедрявших RPA самостоятельно.
Этапы внедрения
Прежде всего, даже перед первичным аудитом, посчитайте деньги — сколько вы сэкономите на роботизации? Выберите подходящее техническое решение, посчитайте ROI, нарисуйте красивые графики. И только после этого приходите к бизнесу с конкретными числами. И не забудьте расписать все плюшки, которые RPA принесёт компании. Обычно такой план работает безотказно и бизнес соглашается.
Затем нужно понять, какие процессы эффективнее всего будет автоматизировать. Не стесняйтесь привлекать для анализа и консультаций другие компании: взгляд со стороны будет шире и объективнее. Такие компании имеют богатый опыт по внедрению подобных систем, и у большинства есть наборы готовых решений — возможно, что-то подойдёт с минимальными доработками. Например, из готовых решений можно будет «собрать» нужную вам систему. И это обойдется намного дешевле, чем проектировать с нуля.
Определившись с инструментами, не кидайтесь сразу автоматизировать всё подряд. Начните с одного-двух пилотных проектов, потом сделайте выводы по результатам и корректируйте дальнейшие планы. Старайтесь автоматизировать не процесс целиком, а каждую из входящих в него операций. Так будет легче поддерживать решение и внедрять его в другие процессах компании.
ИБ и вездесущее тестирование
Не пренебрегайте информационной безопасностью! Любой роботизированный процесс нужно максимально изолировать от внешнего влияния и обложить средствами контроля и управления. Назначьте ответственного за работу RPA человека и начните подбирать ему в команду единомышленников.
Любое решение по роботизации тестируйте очень придирчиво. Можно даже устраивать приёмочные тестирования командами других вендоров, не тех, кто разрабатывал ваше RPA-решение.
Как жить с RPA?
Опять же, не забываем про людей, которые могут — и, скорее всего, будут — воспринимать роботов как конкурентов в пищевой цепочке. Рассказывайте сотрудникам отделов, в которых внедряете RPA, об особенностях работы системы, обсуждайте дальнейшее профессиональное развитие сотрудников, чью работу теперь будет делать робот. Доносите мысль: главная цель роботизации — быстрее и точнее выполнять работу, а не увольнять людей. Если человек с 9 до 18 занимался скучной рутиной, то теперь у него есть шанс заняться более интересными и интеллектуальными задачами, стать специалистом в новой сфере.
Если вы считаете, что роботизация приживётся в компании, то вкладывайтесь в обучение собственных специалистов по поддержке и развитию системы. Возможно, на первый взгляд это не очевидно, но в перспективе так будет дешевле и в разы эффективнее, чем нанимать профессионалов на стороне.
И последний совет — занявшись роботизацией, держите нос по ветру мировых тенденций. И тогда сможете решать всё более сложные задачи.
Александр Садыков, заместитель начальника отдела тестирования «Инфосистемы Джет»
RPA инструменты и не только…
Однажды на работе мне поставили R&D задачу создать бота, который будет «ходить» по сайту, выбирать товары, заполнять формы и оплачивать покупки. На тот момент мы писали часть Antifraud системы, которая позволяла детектировать ботов в браузере. И с этого момента все началось.
Оглавление
Open source проекты
RPA vs Test Automation
Парсинг сайтов и RPA
Пример работы бота на Python
Как детектировать бота?
Коротко о RPA
Более четкое определение:
За время создания своего бота я нашел несколько направлений RPA:
Направления в RPA
Open source проекты
Начнем сразу с open source проектов, т.к. они представляют большой интерес.
Рассмотрим инструменты относительно языков программирования:
RPA open source
Конечно это не все инструменты, но по крайней мере основные, которые мне удалось найти. Я Python разработчик, поэтому рассмотрю только те инструменты, которые попробовал на практике.
Объединил 2 технологии в 1 короткий обзор т.к. использовал их для одной и той же задачи: создание бота, который выбирает товары, добавляет их в корзину и оплачивает покупки. Цель: сдетектировать и заблокировать бота, используя fingerprint и треки мыши. О том как детектировать ботов будет в соответствующем разделе.
Selenium
RPA Framework
Robocorp
Robocorp создала стек технологий RPA с открытым исходным кодом, чтобы можно было создавать и развертывать роботов. Также у них есть облачная платформа, куда можно деплоить созданных ботов.
TagUI
TagUI RPA
Из всех инструментов мне больше всего понравился RPA Framework, у которого есть возможность работать с Playwright, также в этом фреймворке очень удобные selector в отличие от Selenium, что позволяет гораздо быстрее писать код.
Пример на Selenium и на RPA Framework
Selenium
RPA Framework
На мой взгляд у RPA Framework более удобное API.
Платные сервисы
Сказать что их много значит ничего не сказать. Платных Enterprise версий огромное количество. Но проблема в том, что многие организации не понимают истинной разницы в возможностях одного программного обеспечения RPA и другого. Возможно, они также слышали, что RPA предназначена только для очень крупных корпораций и что минимальные первоначальные инвестиции в лицензирование могут достигать 100 000 долларов в год, что теперь не всегда так.
RPA products
Список ведущих поставщиков RPA на основе матрицы пиковых значений Everest Group для поставщиков технологий RPA 2020:
Everest группирует инструменты RPA в три основных сегмента в зависимости от их возможностей, влияния на рынок и способности успешно поставлять продукт. Everest также выделяет UiPath, Automation Anywhere, Blue Prism, Intellibot и Nividous в качестве лидеров.
UiPath vs Automation Anywhere vs Blue Prism
Компания Blue Prism, основанная в 2001 году, была пионером в секторе RPA и использовала термин «Robotic Process Automation». Четыре года спустя генеральный директор UiPath Дэниел Дайнс технически основал UiPath как компанию под названием «DeskOver». Однако только в 2015 году она действительно родилась и была переименована в RPA-компанию.
В таблице ниже представлен краткий снимок каждого из трех инструментов RPA с точки зрения доходов, размера, сотрудников и оценки:
VS
Спустя годы на рынок вышли более доступные конкуренты, такие как UiPath и Automation Anywhere с такими же (или лучшими) возможностями, повышенной гибкостью и простотой внедрения. В результате RPA была «демократизирована» для компаний любого размера во многих отраслях, включая малые и средние организации.
Automation Anywhere оценивает 4,5 / 5 звезд с 4310 отзывами
Blue Prism 4,4 / 5 звезд по 158 отзывам
Что делает UiPath самой популярной платформой RPA?
UiPath превратился в единственную платформу RPA на рынке, созданную для поддержки полного жизненного цикла автоматизации. Портфель продуктов компании продолжает оставаться в авангарде инноваций, постоянно расширяя свои традиционные возможности RPA за счет включения таких инструментов, как интеллектуальный анализ процессов, встроенная аналитика, улучшенные компоненты AI Fabric, RPA на основе SaaS и автоматизация тестирования.
Другие ключевые сильные стороны UiPath:
Long Running Workflows
Machine Learning and Predictive Analytics
Process Document Understanding
Flexible Licensing Model and Low Cost of Entry
Для точной оценки состояния RPA компаний я использовал агрегатор G2, он позволяет выбрать нужный инструмент в зависимости от различных показателей (рейтинг, цена, язык и пр.). Также можно построить G2 график для выбора инструмента, выглядит он следующим образом:
G2 Grid Мини обзор популярных и не очень RPA
UiPath
UiPath прост в установке и имеет возможности разработки на основе пользовательского интерфейса. Подробное онлайн-руководство поможет быстро освоиться. Согласно Quadrant Review компании Gartner, UiPath имеет первоклассную команду поддержки клиентов, и в целом UiPath идеально подходит для компаний, стремящихся к быстрому внедрению RPA.
GUI UiPath
Automation Anywhere
Automation Anywhere, наиболее известная своими инструментами RPA, представляет собой веб-решение RPA, которое использует программных ботов для завершения бизнес-процессов. Позволяет создавать сложные процессы RPA, обеспечивает масштабируемость, необходимую для удовлетворения широкого спектра задач, от рутинной обработки копирования и вставки до модификации данных.
GUI Automation Anywhere
Blue Prism
Blue Prism, старейший инструмент в индустрии RPA, в последние годы неуклонно растет.
Blue Prism специализируется на сквозной RPA для компаний из списка Fortune. Blue Prism также предлагает высококлассных роботов. Роботы не только очень сложные, но и обладают глубокими возможностями создания сценариев для настройки расширенных сетей RPA. Имеет отличные возможности отладки и потрясающую масштабируемость.
GUI Blue Prism
Microsoft Power Automate
Microsoft Power Automate предоставляет простое и эффективное решение RPA. Самым значительным преимуществом Microsoft Power Automate является простота настройки. Данные из экосистемы Microsoft легко доступны. Легко управлять оркестрацией робота.
WinActor
GUI WinActor
Test Automation
Автоматизация тестирования помогает разработчикам и тестировщикам экономить время и увеличивать охват тестированием за счет автоматизации повторяющихся тестовых случаев.
Типичным методом тестирования является тестирование пользовательского интерфейса, для которого тестировщики обычно используют специализированные фреймворки (например, Selenium), которые позволяют автоматизировать взаимодействие с пользовательским интерфейсом и проверять поведение системы. Если бы тестировщики выполняли эти тесты вручную, они никогда бы не смогли адекватно протестировать, найти проблемы на разных платформах и, возможно, пропустить определенные ошибки.
Automation Testing Tools
Инструментов ни сколько не меньше чем у RPA.
Вот небольшой список:
IBM Rational Functional Tester
Telerik Test Studio
HPE Unified Functional Testing (UFT)
Сводная картинка по некоторым инструментам:
QA Automation tools
RPA vs Test Automation
Коротко: это практически одно и то же.
RPA и Test Automation можно рассматривать как одно и то же. Компании используют их для автоматизации задач, экономии затрат и освобождения времени сотрудников для других дел.
Сходства:
инструменты для обеих практик автоматизируют взаимодействие пользовательского интерфейса.
Различия:
сценарии тестирования, созданные для автоматизации тестирования, зависят от тестируемой системы (SUT).
RPA не различают, автоматизируют ли они перенос данных в систему бухгалтерского учета или, например, помечают ваши электронные письма.
RPA инструменты не зависят от программного обеспечения, в котором запущен процесс.
Парсинг сайтов и RPA
Цели у компаний, которые занимаются парсингом сайтов, разные, но тем не менее такие инструменты есть и некоторые из них являются полноценным RPA инструментом (например, Octoparse).
Process Bots VS Search Bots
Сильные стороны RPA:
Управление входами и выходами через UX
Работа с авторизацией для бизнес-приложений
Передача данных в бизнес-процессе
Бизнес-шаблоны для определенных шаблонов использования (обслуживание клиентов, финансовые таблицы и т.д.)
Сильные стороны поискового робота:
Масштабирование для одновременной обработки десятков тысяч страниц
Отсутствие конфигурации и автоматическая обработка для множества типов веб-страниц
Поисковые роботы автоматически адаптируются при изменении страниц
Богатая индивидуальная конфигурация
Всестороннее чтение HTML страницы (Имя автора; UPC продукта)
Автоматическое извлечение настроения из текста
Извлечение связанных сущностей из текста (организации, местоположения, люди и т.д.)
Но какие боты лучше?
Как и все, от чего зависит, но одна ключевая отличительная черта между веб-ботами и ботами RPA может быть показана путем обсуждения того, в каких контекстах мы хотим, чтобы наши боты работали.
Боты RPA были разработаны в эпоху статических приложений. Таблицы необходимо обновлять с помощью бухгалтерского программного обеспечения. Заявки подаются в одном и том же формате месяцами или годами. А использование данных, передаваемых между приложениями, было четко определено и несколько ограничено.
Сегодня все наши приложения находятся в облаке. А конвейеры данных сильно зависят от неструктурированных данных из интернета. С появлением RPA вывод используемых нами приложений стал значительно более динамичным. Ключевое различие между поисковыми и технологическими роботами заключается в том, что поисковые боты созданы для адаптации к постоянно меняющимся веб-страницам, а RPA прерывается, когда сайты меняются, а точнее когда меняется дом-дерево в html разметке.
Теперь возьмем поискового бота с поддержкой AI. Вводим один сайт например, в Crawlbot Diffbot, ждем несколько минут, и тысячи страниц распознаются и анализируются как страницы продуктов. Загружаем данные в формате JSON или CSV, либо загружаем приложение или панель инструментов с выбранными результатами. Основная технология, лежащая в основе этого варианта использования, возможно будет лучше чем боты RPA. Поисковые боты сами ускоряют чтение и классификацию Интернета!
Инструменты для парсинга
Scrape.do
Scrapingdog
ParseHub
Diffbot
Octoparse
Octoparse выделяется как простой в использовании инструмент для парсинга веб-страниц без кода. Он предоставляет облачные сервисы для хранения извлеченных данных и ротации IP-адресов для предотвращения блокировки IP-адресов. Вы можете запланировать парсинг в любое определенное время. Кроме того, он предлагает функцию бесконечной прокрутки. Результаты загрузки могут быть в форматах CSV, Excel или API.
ScrapingBee
Luminati
Scraper API
Scrapy
Import.io
Инструмент для парсинга веб-сайтов с оперативным управлением всеми веб-данными, обеспечивая точность, полноту и надежность. Import.io предлагает конструктор для формирования собственных наборов данных путем импорта данных с определенной веб-страницы и последующего экспорта извлеченных данных в CSV. Кроме того, он позволяет создавать более 1000 API-интерфейсов в соответствии с вашими требованиями. Есть приложение для Mac OS X, Linus и Windows.
BPM и RPA
BPM (Business Process Management, управление бизнес-процессами) – это концепция процессного управления организацией, сочетающая в себе идеологию и программное обеспечение для управления бизнес-процессами.
Концепция BPM рассматривает всю работу компании как набор из множества бизнес-процессов и четко отвечает на все вопросы о каждом из них (например, где и когда выполняется процесс, кто ответственный и т.д.).
Основная функция BPM-системы — это организация правильного взаимодействия участников бизнес-процесса.
Основной источник неэффективности процессов, как правило, находится в моментах передачи ответственности между его исполнителями. Именно здесь случается искажение или неполная передача информации, потеря задач, нарушение сроков исполнения, а то и просто непонимание, как бизнес-процесс должен продолжаться.
Второй основной точкой неэффективности бизнес-процессов являются люди: они совершают ошибки, долго выполняют свои задачи и при этом дороги. Благодаря технологии RPA исполнителей бизнес-процессов можно заменить роботами, что сделает исполнение процессов дешевле и качественнее.
CAMUNDA Сервисы BPM с интеграцией RPA
Camunda
Платформа Camunda обеспечивает подход на основе жизненного цикла к проектированию, организации, анализу и мониторингу ваших RPA-ботов в том виде, в каком они работают сегодня. Кроме того, Camunda предлагает архитектурный путь вперед, который в будущем заменит ботов RPA на API / микросервисы.
Основные преимущества:
Проектирование сквозного процесса
Согласование сценариев RPA
Оперативное наблюдение за действиями ботов RPA
В BPM-системе ELMA робот участвует в процессе наравне с обычными пользователями. В гибких бизнес-процессах ELMA роботы могут постепенно заменять пользователей системы — задача за задачей. Освободившиеся от скучной работы сотрудники смогут перераспределить это время и свой опыт на более интересные творческие и полезные для компании задачи.
Выгоды для бизнеса от использования RPA + BPM:
Снижение издержек на рутинные операции.
Масштабирование бизнеса без расширения штата.
Освобождение времени сотрудников на более интеллектуальный труд.
Лучший Customer Experience за счет качества и скорости сервиса.
ProcessMaker
Безопасный RPA.
Взлом RPA
Можно ли взломать RPA? Да, можно. Например, обработка данных с сайта (загрузка картинок, текста и пр.), откуда робот может скачать зараженный скрипт под видом обычной картинки, а скаченный скрипт может повлиять на работу бота, добавляя новые правила в обработку, или просто остановит его. Много что можно сделать, выбор огромный.
Риски безопасности, на которые стоит обратить внимание:
Риски выбора инструмента: выбор нужного инструмента от проверенного производителя. Компании обычно выбирают инструменты, не соответствующие их требованиям.
Операционные риски или риски исполнения: развертывание правильной операционной модели необходимо для уменьшения функциональных проблем или проблем с производительностью.
Злоупотребление привилегированным доступом: злоумышленники получают несанкционированный доступ к системе, чтобы получить конфиденциальные данные пользователя и чтобы свободно перемещаться в сетях робота. Вредоносное программное обеспечение, установленное внутри системы, которое создаст сценарий уничтожения важных конфиденциальных данных, нарушая жизненно важные бизнес-процессы.
Раскрытие конфиденциальных данных: malware проникает в систему и создает сценарий, при котором данные пользователей утекают в сеть.
Отказ в обслуживании: создание необходимых условия для остановки работы бота.
Но самая серьезная проблема состоит в том, чтобы гарантировать, что конфиденциальные данные не будут использованы неправомерно с помощью привилегий, присвоенных программным роботам или разработчикам рабочих процессов для роботов.
Проблема безопасности может быть разбита на два тесно взаимосвязанных момента:
RPA для пентеста
Посмотрим с позиции пентестера. Мы можем с помощью RPA создать скрипт, который будет циклически проверять страницы на уязвимости. Рассуждая дальше, мы можем подготовить целую армию роботов, чтобы симулировать атаки на различные API и сайты. Можно попробовать автоматизировать основные популярные сценарии взлома.
Продолжение следует.
В следующей статье мы создадим своего бота, рассмотрим какие есть алгоритмы детектирования ботов, которые написаны на Selenium и с помощью RPA. Создадим свой алгоритм, подведем итоги.