Поиск каруселей в ArangoDB

Про ArangoDB было уже несколько статей на Хабре, так что подробно расписывать, что это такое тут не буду. Скажу только, что это мультимодельная база данных (графовая и документная). Может возникнуть вопрос — «зачем» и для «каких задач» надо использовать ArangoDB по сравнению с популярными и хорошо известными реляционными или документными базами данных. И сегодня мы посмотрим, как с использованием его графовых возможностей можно решать практические задачи.

Интерфейс ArabngoDB
Интерфейс ArabngoDB

ArangoDB часто используется в Финтехе — наверное, в первую очередь потому, что модель транзакций хорошо ложится на графы — ноды — это счета, транзакции — это ребра. Одна из задач, в которой используется эта база — это AntiFraud — отслеживание мошеннических действий.

Для быстрого освоения ArangoDB можно использовать сервис Arango Oasis — это SaaS решение с развернутой версией ArangoDB. Первые две недели этого сервиса даются бесплатно — этого достаточно чтобы понять базовые возможности базы и принять решение — надо вам это или нет, и если надо — то развертывать бесплатную Community версию самотоятельно (благо это достаточно легко) или дальше использовать сервис ArangoDB Oasis.

В рамках ArangoDB Oasis есть руководство с примерами — в частности как раз по поиску «каруселей». На самом деле, используя функции импорта-экспорта, базу этого руководства можно забрать к себе локально для дальнейшего изучения и тестирования. Что я в свое время и сделал.

Итак — что такое «карусель»? Это термин, обозначающий перевод денег «по кругу». Клиент банка переводит деньгу другому клиенту, тот третьему, этот четвертому, а тот в итоге обрантно первому. Зачем? Много причин, в основном это один из механизмов «отмывания денег» — например если потом к первому клиенту придут и спросят — «а откуда у вас данная сумма» она скажет «дэдушка подарил» «клиент 4 перевел — вот и запись о транзакции» (очень утрировано, на самом деле все сложнее).

С точки зрения графовов — это циклы.

Работа с графом в админке ArangoDB

Запускаем базу ArangoDB (например используя docker), ну или логинимся в базу, запущенную на ArangoDB Oasis. Открываем базу Fraud. В интерфейсе сразу видим, что у нас есть несколько вариантов работы с данными — через коллекции, через view и в виде графов. Нам конечно интересней последний вариант — открываем базу как граф.

При первом открытии нам откроется какая-то часть графа (потому что база может быть очень большой, и построение графа может занять много времени)

отображение графа в админке ArangoDB
отображение графа в админке ArangoDB

но справа-сверху есть пункт меню

который позволяет открыть всю базу.

Еще один удобный момент — права же есть меню управления отображения графа — там можно указать, например, текст, который выводится для ребер (в нашем случае это transaction_amt — размер денежного перевода)

Вот, теперь мы видим счета и переводы между ними.

Как видно, из коробки ArangoDB сразу дает достаточно удобный интерфейс для работы с графами, но, понятно, что «глазками» мы сможем увидеть циклы только в небольших графах. Ну и, нам все-таки надо иметь возможность делать это в автоматическим режиме. Тут на помощь к нам приходит язык запросов — AQL.

Итак, следующий запрос позволяет найти все циклы в графе

WITH transaction, account
FOR suspicous_account IN account
FOR acct, tx, path IN 5..10 OUTBOUND suspicous_account._id GRAPH ‘fraud-detection’
PRUNE tx._to == suspicous_account._id
FILTER tx._to == suspicous_account._id
RETURN path

Данный запрос перебирает все ноды (account) и ребра между ними (transaction) и находит все пути, где мы возвращаемся к исходному account-у (suspicous_account._id), причем в нашем случае мы рассматриваем только циклы с длиной от 5 до 10 ребер.

Как видно, одним, достаточно простым запросом, мы можем решить задачу, которая в обычных реляционных базах решалась бы значительно сложнее. При этом ArangoDB дает достаточно удобный интерфейс администратора для работы и с графами, и с запросами. Тот же запрос можно легко выполнить в админке, причем просмотреть результат и в виде графа

результат запроса в виде графа
результат запроса в виде графа

так и в виде JSON

Чем мне понравилась база, это в первую очередь удобством и наглядностью именно работы с графами. Конечно ArangoDB позиционирует себя как multi-model база, но мне кажется ее возможности в основном сконцентрированы вокруг именно графов. Надеюсь, для всех, кто еще не был знаком с ArangoDB станет чуть понятней, где ее можно использовать.

Читайте так же:

  • Контент сайта стоимостьКонтент сайта стоимость Поделитесь этим постом: Судя по популярности нашего блога о том, сколько стоит маркетинг в социальных сетях, людей очень интересует. Сколько агентства и фрилансеры берут за управление социальными сетями. Фактически, этот пост в настоящее время занимает 1-е место на страницах […]
  • Яндекс приглашает на онлайн-конференцию «Простые решения для малого бизнеса»Яндекс приглашает на онлайн-конференцию «Простые решения для малого бизнеса» Завтра, 8 июня, Яндекс проведет онлайн-конференцию для всех, кто ведет свое дело. Предприниматели смогут узнать, как быстрее получать клиентов. Увидят результаты работы сервисов Яндекса на примере других предпринимателей и смогут получить поддержку от экспертов. Среди спикеров: Роман […]
  • Создание текста для сайтовСоздание текста для сайтов Да, я уже слышал эту фразу. Любая страница в интернете—неважно. Насколько она насыщена средствами массовой информации-по своей сути представляет собой небольшой текстовый документ. Документ может содержать ссылки на изображения или видео. Которые браузер извлекает для создания […]
  • «Яндекс» добавил в конвертер валют денежные единицы 114 стран«Яндекс» добавил в конвертер валют денежные единицы 114 стран Дирхам ОАЭАфганский афганиАлбанский лекАрмянский драмАнгольская кванзаАргентинское песоАвстралийский долларАрубанский флоринАзербайджанский манатКонвертируемая маркаБарбадосский долларБангладешская такаБолгарский левБахрейнский динарБурундийский франкБермудский долларБрунейский […]