БОЛЬШИЕ ДАННЫЕ И ARCGIS – ФИНАНСОВЫЕ МОШЕННИЧЕСТВА

Аннотация

Анализ вопроса обработки больших данных. Актуальность проблемы их хранения. Изучение самого понятия Big Data и принципы работы с ними, рассмотреть различные методики анализа Big Data. Рассмотрение примеров практической работы с Big Data.

Ключевые слова: Big Data, анализ данных, маркетинг, история Big Data, алгоритмы рабы с Big Data

Многие из финансистов сталкиваются с необходимостью обрабатывать различные типы больших данных. Один из распространенных типов больших данных - пространственно-временная информация о событиях. Например, этот массив данных содержит информацию о миллиардах финансовых транзакций, совершенных в Республики Крым. Визуализация таких данных является серьезной проблемой, поскольку приходится ждать «отрисовку» данных на карте. Как следствие извлечь какие-либо закономерности, паттерны, таким способом невозможно.        

Чтобы найти смысл в гигантских массивах данных подобных этому, сначала необходимо произвести их агрегирование. Встает вопрос: «Как агрегировать миллиарды финансовых транзакций?»

В ArcGIS реализована возможность пакетного анализа массивов данных. Был создан модуль GeoAnalytics который станет новым компонентом на запускаемом сервере. Т.е. пользователь сможет запускать пространственный анализ как распределенное вычисление на кластере.

Инструменты GeoAnalytics помогут понять обрабатываемый массив данных. С помощью этих инструментов можно найти «горячие точки», буферные зоны и суммировать данные, чтобы изучать закономерности. Также можно агрегировать данные по регулярным параметрам. Можно применить инструмент расчета плотности, чтобы посмотреть распределение данных. Есть возможность провести агрегацию по любому полигону, что позволяет нормализировать данные по численности населения и увидеть, где транзакции отличаются от ожидаемых. GeoAnalytics может работать в кластерах, что позволяет обрабатывать, так много данных, как ни одна другая программа.

Изучая паттернов является первым этапом понимая данных, возникает проблема с поиском в огромном количестве информации значимых событий.

Если речь идет о финансовых данных, пользователь чаще всего старается выявить потери, мошенничество и злоупотребления.

Рассмотрим пример того, как в реальном мире происходит «отмывание» денег. Одним из приемов, которые используют преступники для перемещения денег, является разделение на множество транзакции. Для этого, один или несколько человек посещают определенное количество финансовых учреждений и переводят суммы, которые ниже порога, о которых необходимо информировать власти. Многие пользователи обладают экспертизой в данной области, но хотят выявить необычную активность на основе имеющихся данных. Сложность заключается в правильности формулирования запроса. Как же научить систему выявить такие действия?

Например, если сделать запрос об отмывании денег, то при этом возникает много различных параметров.  Для каждой транзакции необходимо учесть расстояние от соседнего события, время между этими событиями, суммы переводов и кто является их получателями. И такой расчет необходимо проделать миллиарды раз. Теперь, чтобы задать эти сложные пространственно-временные запросы, можно воспользоваться инструментами GeoAnalytics. Например, инструмент «Joint Features» позволяет находить взаимосвязи между объектами, основываясь на их атрибутах, пространственных отношениях, как здесь, и временных отношениях. И все эти три среза использовать одновременно. Этот многомерный анализ отношений объектов, с таким уровнем пространственно-временной детализации, ранее доступен не был. Инструмент Joint Features используется для анализа всех этих миллиардов транзакций при выявлении мошеннического поведения.

GeoAnalytics работает с данными, его можно использовать в традиционном геопространственном формате, а можно прикрепить «большие данные» к ArcGIS в виде разделяемого файла. Делая запрос об отмывании денег, система фокусируется на местоположении источников транзакций и соотносит их друг с другом. Таким образом, для каждой отдельной транзакции система запрашивает, сколько переводов тому же получателю было отправлено в радиусе 1 км в течение часа. Также рассчитывается общая статистика по каждому входному параметру. Так, можно получить общую сумму вовлеченных денежных средств по группам, и дальше работать уже с этими результатами.

Используя кластер из 20 узлов, пользователь может получить необходимые расчеты по миллиардам объектов за 45 минут. Так, можно обнаружить нездоровую активность в небольшой области, откуда все транзакции уходят к одному и тому же получателю, который в реальности находится совсем в другом месте. И по числу транзакции и по их размеру, можно сделать выводы о подозрительном поведении. GeoAnalytics - обеспечит производительность распределенных вычислений для обработки больших данных и откроет новые пути для изучения информации в пространственном и временном срезах для достижения более глубокого понимания и осведомленности. Паттерны, которые с помощью GeoAnalytics были выявлены в транзакциях, в дальнейшем могут быть использованы, чтобы показать, что происходят какие-либо значимые события.

Список литературы:

1. В arcgis [Электронный ресурс] Режим доступа: http://www.esri.com/arcgis/about-arcgis
2. ArcGIS – Википедия [Электронный ресурс] Режим доступа: https://ru.wikipedia.org/wiki/ArcGIS
3. Система АркГИС [Электронный ресурс] Режим доступа: http://www.studfiles.ru/preview/3267642/
4. https://www.esri-cis.ru/arcgis [Электронный ресурс] Режим доступа: https://www.esri-cis.ru/arcgis/
5. Что такое Большие данные (Big Data)? [Электронный ресурс] Режим доступа: http://hr-portal.ru/blog/chto-takoe-bolshie-dannye-big-data
6. Технология Big Data (Анализ Больших Данных) [Электронный ресурс] Режим доступа: http://www.clouderp.ru/tags/BIG_DATA/
7. « Big Data: основы сбора и анализа данных» - программа обучения [Электронный ресурс] Режим доступа: http://netology.ru/programs/big-data?utm_source=context&utm_medium=681&utm_campaign=bd-yandex-search&utm_content=3959196976&utm_term=Big%20data&yclid=1557921821343090640&stop=1