A new method for SQL query implementation in a parallel execution environment Apache Spark in a package mode was developed on the basis of Bloom Filter Cascade Application (BFCA). It includes representation of the original query in a form of a few subqueries and intermediate tables, where the Bloom filters are created and applied. Then the representation is transformed into Scala code. Theoretical justification of the developed method is provided. The theoretical estimation of the network data transmission volume reduction (shuffle) is shown on an example. The efficiency of the method is demonstrated on the example of Q3 (three tables join) and Q17 (correlated subquery) queries from the TPC-H test. The developed BFCA method is more than 2 times faster and more than 10 times better on shuffle volume (as compared to Spark SQL) on Q3 at a Scale Factor SF=500. The BFCA is 8 times faster on Q17 than Hive (Spark SQL cannot implement Q17).

This article reviews record versions processing (reconciliation). It provides an algorithm for NoSQL database record versions management. It develops a record versions reconciliation model that is simultaneously updated by multiple users. The model estimates record versions reconciliation time and the number of versions simultaneously stored in a database. Based on the modeling results a designer can provide recommendations on the maximum number of users (or applications) simultaneously working with one document (database record). This is important in case there are limitations imposed on the document reconciliation time. It describes preparation and execution of experiments in a cloud, for model adequacy analysis.

У першому розділі здійснено опис предметної області, напрями діяльності. Визначено склад функцій, що входять до бізнес-процесу на основі яких розроблено схему управління бізнес-процесом. Проведено аналіз відомих програмних систем. Здійснено аналіз вимог до програмної системи. Запропоновано архітектуру програмного додатку, що дозволить краще зрозуміти функції основних його частин. Створено та описано структурну схему, основними компонентами якої є: рівень клієнта, рівень бізнес-логіки та рівень даних. Описано функціональну структуру системи та її основних елементів – модулів обробки даних. У другому розділі здійснено опис процедур тестування та їхніх результатів, описані тест-вимоги до програмного забезпечення, а також виявлені дефекти. По результатам тестування сформовано підсумок тестування. Також в даному розділі було розкрито питання встановлення та налаштування програмного забезпечення, а також вказані вимоги, дотримання яких необхідно для користування програмою.