УПРАВЛЕНИЕ РЕСУРСАМИ НА ОСНОВЕ ДОВЕРИЯ В РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЯХ НАД БОЛЬШИМИ ДАННЫМИ

Большие данные организуют и извлекают ценную информацию из быстрорастущих, больших по объему, разнообразных по форме и часто меняющихся наборов данных.

Управление ресурсами является центральной частью распределенной вычислительной системы. В таких крупномасштабных системах безопасность имеет большое значение, поэтому для планировщика важно учитывать влияние узлов на безопасность и их качество при выполнении распределения ресурсов.

Таким образом, предлагается ввести понятие доверия в распределенные системы.

Для распределенных вычислений доверие заключается не в том, что потребитель не доверяет намерениям поставщиков ресурсов, а скорее ставит вопрос об их вычислительных возможностях.

Основной вклад во внедрении доверия к системам планирования заключается в том, что он расширяет традиционную формулировку проблемы планирования так, что одновременно учитываются время выполнения и надежность приложений.

Существует множество научных работ, связанных с различными алгоритмами планирования с учетом проблем безопасности. Часть из них, представляющая систему доверия, представляет особый интерес. Например:

1. Song S., Kwok Y. K. и Hwang K. в статье «Security-driven heuristics and a fast genetic algorithm for trusted grid job scheduling» предлагают усилить эвристики Min-Min и Sufferage с использованием трех режимов риска (безопасный, рискованный и f-рискованный) [1]. Также они предлагают новый генетический алгоритм Space-Time (STGA) для надежного планирования заданий.
2. Wei W. и GuoSun Z. в «Trusted dynamic level scheduling based on Bayes trust model» предлагают интегрировать надежность узлов в алгоритм динамического уровня распределения (DLS) [2]. Достоверность узлов оценивается с использованием метода Байеса.
3. Sumathi D. и Poongodi P. в «An Improved Scheduling Strategy in Cloud Using Trust Based Mechanism» предлагают ввести планирование на основе доверия для улучшения безопасности облачных вычислений, изменив алгоритм Heterogeneous Earliest Finish Time (HEFT) [3].

Основная цель этой работы - защитить результаты вычислений в распределенной вычислительной системе, работающей с большими данными.

В рассматриваемых системах потребитель нуждается в обработке большого объема данных, например, данных, собранных из научных экспериментов.

Чтобы использовать распределенную вычислительную среду, задача может быть разложена на подзадачи, которые могут иметь зависимости данных между ними. Планирование подзадач состоит в назначении подзадач для машин, упорядочении выполнения подзадач для каждой машины и упорядочении межмашинной передачи данных. Целью является достижение минимального времени завершения задачи. Результаты выполнения подзадач могут иметь разную ценность.

Также существует большое количество узлов, которые отличаются друг от друга своим авторитетом, уровнем безопасности и вычислительной способностью.

Доверие внедряется для обеспечения высокого качества защиты и, в то же время, сохранения хорошей производительности с точки зрения времени и т.д., характерной для распределенных систем.  Для этих целей предполагается установить требуемый уровень доверия (RTL) и вычислить предлагаемый уровень доверия (OTL).

OTL рассчитывается с использованием уровня безопасности узла, прямого доверия и скорости выполнения задач. Также авторитет владельца  домена ресурсов может влиять на OTL.

Уровень безопасности зависит от введенных мер безопасности на узле, обеспечивающих целостность и доступность в общем случае и конфиденциальность при работе с приватными данными. Это измерение периодически пересчитывается.

Прямое доверие - это представление взаимодействия между этим узлом и потребителем. Его можно выразить как отношение успешно выполненных задач к их общему числу на этом узле. Значение прямого доверия постоянно меняется.

RTL определяется для задач и показывает, насколько важны результаты их вычислений для потребителя. Это запрос к минимальному уровню доверия узлов для выполнения задачи. Это значение также может принимать разные величины для подзадач. Так, например, промежуточные вычисления гораздо ценнее, чем исходные данные для научных исследований.

Таким образом, если RTL не превышает OTL, задание может успешно завершиться; в противном случае задание может завершиться неудачно и должно быть перезапущено на том же сайте или на другом узле.

Идея состоит в том, чтобы сделать систему доверия более гибкой с более точным уровнем настройки путем учета необходимого уровня безопасности для результатов вычислений и их передачи между узлами.

Система планирования на основе доверия, которая изображена на рисунке 1, спроектирована так: Планировщик задач выполняет задачи из Очереди задач, затем выбирает узлы, удовлетворяющие требованиям доверия для определенной задачи (OTL ≥ RTL). Список узлов OTL хранится и пересчитывается в Менеджере доверия. Распределение задач решает проблемы с высокой пропускной способностью, определяя наилучшие доступные ресурсы для выполнения среди доверенных узлов.

Рисунок 1. Компоненты модели доверенного управления ресурсами

Поскольку задачи разбиваются на подзадачи с зависимостями данных между ними, планировщик должен также учитывать скорость каналов между узлами для эффективной передачи промежуточных вычислений. Также следует учитывать, что все элементы входных данных подзадачи должны быть получены до начала ее выполнения, и ни один из ее элементов выходных данных не доступен до завершения выполнения этой подзадачи.

Пример разложения задачи по подзадачам показан на рисунке 2.

Рисунок 2. Ориентированный граф задачи

На этом рисунке узлы представляют процессы (подзадачи), которые представляют собой потоки одного исполнения, а направленные ребра представляют зависимости данных между процессами. Также включен RTL, от самого низкого RTL1 до самого высокого RTL4.

Основанный на доверии алгоритм планирования может быть реализован как промежуточное программное обеспечение, которое может быть встроено в распределенную систему, благодаря чему задачи могут эффективно выполняться на доверенных узлах. С одной стороны, уровень отказа при выполнении задач снижается; с другой стороны, улучшается безопасность среды выполнения для данных.

Список литературы:

1. Song S., Kwok Y. K., Hwang K. Security-driven heuristics and a fast genetic algorithm for trusted grid job scheduling // Parallel and Distributed Processing Symposium, 2005. Proceedings. 19th IEEE International. – IEEE, 2005. – С. 65-74.
2. Wei W., GuoSun Z. Trusted dynamic level scheduling based on Bayes trust model // Science in China Series F: Information Sciences. – 2007. – Т. 50. – №. 3. – С. 456-469.
3. Sumathi D., Poongodi P. An Improved Scheduling Strategy in Cloud Using Trust Based Mechanism // World Academy of Science, Engineering and Technology, International Journal of Computer, Electrical, Automation, Control and Information Engineering. – 2015. – Т. 9. – №. 2. – С. 637-641.