Հայաստանի ատենախոսությունների բաց մատչելիության պահոց = Open Access Repository of the Armenian Electronic Theses and Dissertations (Armenian ETD-OA) = Репозиторий диссертаций Армении открытого доступа

Բարձր արտադրողականությամբ հաշվարկներ և մեծ տվյալներ պարունակող խնդիրների վերլուծության և վիզուալիզացիայի միջավայրի մշակում

Գրիգորյան, Հայկ Անդրանիկի (2018) Բարձր արտադրողականությամբ հաշվարկներ և մեծ տվյալներ պարունակող խնդիրների վերլուծության և վիզուալիզացիայի միջավայրի մշակում. PhD thesis, ՀՀ ԳԱԱ Ինֆորմատիկայի և ավտոմատացման պրոբլեմների ինստիտուտ.

[img] PDF (Thesis)
Available under License Creative Commons Attribution.

Download (19Mb)
    [img] PDF (Abstract)
    Available under License Creative Commons Attribution.

    Download (4Mb)

      Abstract

      Համակարգչային տեխնոլոգիաների զարգացման հետ զուգընթաց ավելանում են նաև գեներացվող տվյալները և նրանց տարաբնույթ բազմությունների (ստրուկտուրավորված և ոչ ստրուկտուրավորված) ծավալի և բարդ կառուցվածքի պատճառով անհրաժեշտություն է առաջանում կիրառել նոր մոտեցումներ՝ նրանց մշակման, պահպանման և վերլուծության համար: Վերը նշված բազմությունները հանդիսանում են մեծ տվյալներ (Big Data), որը Doug Laney-ի կողմից սահմանվել է երեք հատկանիշների միջոցով (ծավալ, արագություն, բազմազանություն). «Մեծ տվյալները մեծ ծավալով, բարձր արագությամբ և/կամ մեծ բազմազանությամբ ինֆորմացիայի բազմություն է, որում որոշումների կայացման, իմաստների հայտնաբերման և գործընթացների օպտիմալացման համար պահանջվում են մշակման նոր ձևեր»: Ժամանակի ընթացքում ավելացել են մեծ տվյալները բնութագրող ևս երկու հատկանիշներ՝ ճշմարտացիություն և արժեք: Մեծ տվյալների մշակման, պահպանման, վերլուծության, վիզուալիզացիայի և տարածման գործառույթների իրականացման համար օգտագործվում է բարձր արտադրողականությամբ տվյալների վերլուծությունը (HPDA – High Performance Data Analytics), որը միավորում է բարձր արտադրողականությամբ հաշվարկները (HPC – High Performance Computing) մեծ տվյալների հետ: HPDA խնդիրների լուծման համար գոյություն ունեցող գործիքները ապահովում են վերը նշված գործառույթների խմբից որոշակի ենթախմբերի իրականացում՝ կախված նպատակային խնդրից կամ յուրաքանչյուր գործառույթի համար գոյություն ունեցող ծրագրային լուծումները միմյանց հետ փոխկապակցելու բարդություններից: Օգտատերը գործառույթների ամբողջական ցիկլի իրականացման համար ստիպված է լինում խնդրի լուծման և արդյունքների ուսումնասիրության համար օգտագործել մեկից ավելի ծրագրային միջավայր: Այդ իսկ պատճառով խնդիր է առաջանում մշակել այնպիսի մեթոդներ և ծրագրային միջոցներ, որոնք հնարավորություն կտան միավորել բարձր արտադրողականությամբ հաշվարկների, տվյալների պահպանման, վերլուծության, վիզուալիզացիայի և տարածման գործառույթները մեկ ընդհանուր համալիր համակարգում՝ օգտագործելով ժամանակակից ծրագրային լուծումները և ընդունված միջազգային հիմնօրինակները: Արդյունքում օգտատերը կկարողանա մեկ ծրագրային միջավայրի օգնությամբ իրականացնել խնդրի լուծման համար անհրաժեշտ ամբողջական գործընթացը, որը կնպաստի արդյունավետության բարձրացմանն ու ժամանակի խնայողությանը: Աշխատանքի հիմնական նպատակն է բարձր արտադրողականությամբ հաշվարկներ և մեծ տվյալներ պարունակող խնդիրների լուծման համար կառուցել բաց կոդով, միջազգային հիմնօրինակներին համապատասխան, տվյալների մշակման, պահպանման, վերլուծություններ և վիզուալիզացիաներ տրամադրող, մետատվյալների տարածման հնարավորությամբ համալիր համակարգ: Այդ նպատակով դրվել են հետևյալ խնդիրները. Մշակել տվյալների ստացման, ձևափոխման և վերլուծության ծրագրային մեթոդներ և գրադարաններ՝ տարբեր աղբյուրներից տվյալների հավաքագրման, ոչ ստրուկտուրավորված տվյալներից անհրաժեշտ գիտելիքների հայտնաբերման համար, Մշակել այլընտրանքային պահոցում տվյալների պահպանման, նրանց հիման վրա մետատվյալների ստեղծման և տարածման ավտոմատ համակարգ՝ հաշվի առնելով միջազգային հիմնօրինակները, Մշակել տվյալների փոխանցման և փոխակերպման ծրագրային մեթոդներ տրամաբանական տարբեր բաղադրիչների՝ հաշվողական ռեսուրսների, տվյալների պահպանման, վերլուծությունների, վիզուալիզացիաների և տարածման, միջև փոխհարաբերությունների ստեղծման համար: Совместно с развитием компьютерных технологий увеличиваются генерируемые данные и из-за сложной структуры и объема их разнообразных наборов (структурированный и неструктурированный) требуются новые подходы к их обработке, хранению и анализу. Вышеупомянутые наборы - это большие данные (big data), которые по Doug Laney определяются тремя свойствами (объем, скорость, многообразие): «Большие данные - это набор больших объемов, высокоскоростной и/или большой многообразной информации, в котором для принятия решений, определения смысла и оптимизации процессов требуются новые подходы обработки». Со временем появились еще два свойства, определяющие большие данные: достоверность и ценность. Для обработки, хранения, анализа, визуализации и распространения больших данных используется высокопроизводительный анализ данных (HPDA - High Performance Data Analytics), который объединяет высокопроизводительные вычисления (HPC - High Performance Computing) с большими данными. Для решения проблем HPDA существующие инструменты обеспечивают реализацию определенной подгруппы из вышеуказанной группы действий в зависимости от целевой задачи или сложности взаимодействий, существующих для каждого действия программных решений. Пользователь, чтобы реализовать весь цикл действий, вынужден использовать несколько программных сред для решения проблемы и исследования результатов. По этой причине необходимо разработать методы и программное обеспечение, которые позволят объединить действия высокопроизводительных вычислений, хранения, анализа, визуализации и распространения данных в единой комплексной системе с использованием современных программных решений и международно признанных стандартов. В результате пользователь сможет реализовать полный процесс решения проблемы с помощью одной программной среды, что повысит эффективность и сэкономит время. Целью диссертации является создание комплексной системы с открытым исходным кодом, в соответствии с международными стандартами, с возможностью высокопроизводительных вычислений, хранения, анализа, визуализации данных и распространения метаданных. Разработана комплексная система в соответствии с международными стандартами, содержащая методы выполнения высокопроизводительных вычислений, хранения, анализа, интерактивной визуализации и распространения данных, для решения задач с высокопроизводительными вычислениями и большими данными. С помощью предлагаемой комплексной системы были разработаны облачные сервисы: Для цифровых расчетов и визуализации фотонных диссипативных систем в квантовой физике. Для изучения результатов и анализа точности цифровых методов, используемых для исследования и прогнозирования погоды в регионе. Разработанная программная среда может использоваться в задачах с высокопроизводительными вычислениями и большими данными, для хранения, анализа, интерактивной визуализации, распространения и реализации эффективных вычислений с использованием современных вычислительных и программных средств. Разработана комплексная система, содержащая методы для реализации высокопроизводительных вычислений, модификации, хранения, анализа, интерактивной визуализации и распространения данных [1-5]. Разработана среда в соответствии с международными стандартами, адаптирующаяся к свойствам задач и с возможностью локального хранения данных, для создания и распространения метаданных [1]. Разработан многопользовательский облачный сервис для реализации цифровых расчетов фотонных диссипативных систем в квантовой физике, анализа и интерактивной визуализации результатов [2]. Разработан облачный сервис для анализа результатов и интерактивной визуализации численных методов, используемых для исследования и прогнозирования погоды в Армении [4, 5]. Together with the development of computer technologies, the generated data increases and, due to the complex structure and volume of their diverse sets (structured and unstructured), new approaches to their processing, preservation and analysis are required. Above described data sets are called big data and Doug Laney defined them using a three-dimensional perspective: «Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision-making, insight discovery and process optimization». Over time, two more properties have emerged that determine large data: veracity and value. High performance data analytics (HPDA) is used to process, store, analyze, visualize and share big data, which combines high performance computing (HPC) with large data. To solve HPDA problems, existing tools provide implementation of a certain subgroup from the above-mentioned group of actions, depending on the target task or the complexity of the interactions of existing for each action software solutions. The user, in order to implement the entire cycle of actions, is forced to use several software environments to solve the problem and study the results. For this reason, it is necessary to develop methods and software that will combine the actions of high-performance computing, storage, analysis, visualization and data dissemination in a single integrated system using modern software solutions and internationally recognized standards. As a result, the user will be able to implement the full process of solving the problem using a single software environment, which will increase efficiency and save time. The aim of this thesis is the development of a comprehensive system with open source code, in accordance with international standards providing high-performance calculations, data storage, analysis and visualization of data and metadata distribution. Developed complex system of high-performance calculations, data storage, conversion, analysis, interactive visualization and dissemination techniques, high-performance calculations and solutions for problems with high-performance computing and big data. Using the proposed complex system two cloud services have been developed: Numerical simulation and result interactive visualization of photonic dissipative systems in quantum physics. Weather research and forecasting numerical methods results investigation and accuracy analysis in the region. Developed complex system can be used for solving problems with high-performance computing and big data. It provides abilities for data storage, analysis, interactive visualization, sharing and effective calculations using modern computing and software tools. Developed data analysis and interactive visualization complex system which consists from different methods (API) for data collection, processing, conversion, maintenance, optimization, sharing and high performance calculation [1-5]. Developed an environment that is flexible to the problem's specifications and has a local storage capability for the creation and sharing of metadata in which the international guidelines are taken into account [1]. Developed a multi-user cloud service for numerical calculations of photonic dissipative systems in quantum physics and results analysis with interactive visualization [3]. Developed a cloud service for analysis and interactive visualization of weather research and forecasting numerical method results in Armenia [4-5].

      Item Type: Thesis (PhD)
      Additional Information: Разработка среды анализа и визуализации проблем с высокопроизводительными вычислениями и большими данными. Development of systems for problems with hight performance computing and big data.
      Uncontrolled Keywords: Григорян Айк Андраникович Grigoryan, Hayk Andranik
      Subjects: Informatics and Computer Systems
      Divisions: UNSPECIFIED
      Depositing User: NLA Circ. Dpt.
      Date Deposited: 04 Sep 2018 12:13
      Last Modified: 04 Sep 2018 12:13
      URI: http://etd.asj-oa.am/id/eprint/7588

      Actions (login required)

      View Item