steps:

1. AWARE: Primary batched reports - 70% batch, 30% OLAP
2. DEVELOPING: ad-hoc queries and an-al data mining - 55% batch, OLAP 40%, 15% predictive modeling & data mining
3. PRACTICING: predictive - 30% batch, 45 OLAP, 30 mining
4. OPTIMIZING: predictive - 20% batch, 30 OLAP, 30 mining, 10 event-based triggering
5. LEADING: 20 20 20 20

stems 2:

• manual spreadsheets - reports
• data marts - KPIs
• enterprise data warehouse
• OLAP
• propensity modeling - risk management
• enterprise dashboard - events detection
• relationship optimization

data -> Data Lake -> transfrom -> DW and marts

data lakehouse - single repository for all your data (structured, semi-structured, and unstructured) while enabling best-in-class machine learning, business intelligence, and streaming capabilities.

https://cinchy.com/blog/modern-data-architectures-a-guide

top-down

Bill Inmon - Date Warehouse first

bottom-up

Kimball - Data Mart created first

Disadvantages Of Top Down Design :

• It represents a very large project and the cost of implementing the project is significant.
• It is time consuming and more time required for initial set up
• Highly skilled people required for set up

Disadvantage of Bottom Up Design :

• Initial cost is low but each subsequent phase will cost same
• The positions of the data warehouse and the data marts are reversed in the bottom-up approach design.
• It is difficult to maintain and often redundant and subject to revisions

Стандарт де факто, две базы (Data Warehouse and OLAP):

• компактное хранение детализированных данных и поддержка очень больших БД, обеспечиваемые реляционными СУБД;
• простота настройки и хорошие времена отклика, при работе с агрегированными данными, обеспечиваемые многомерными СУБД.

1. sources -> Warehouse -> Users
2. sources -> Staging_area -> Warehouse -> Users
   • Staging area - когда много источников и нужно несколько стадий комбинации данных
3. sources -> Staging_area -> Warehouse -> Data Marts -> Users
   • Data Marts - ускоренный слой - раздление данных по сферам деятельности

1. project must be managed by both IT and business professionals. DW design must be tested, redesign is much more expensive.
2. should be built incrementally - with users respond. Users must be trained and absorb features of the system.
3. Only cleansed and high-quality data should be loaded. Quality and adaptability from the start.

for data warehouse design - entity-relationship modeling (ER)

• facts (measures) - numeric values that can be aggregated
• dimensions (context) - descriptors that define the facts, date

For example, sales amount is a fact; timestamp, product, register#, store#, etc. are elements of dimensions

it is usually a good idea to split date and time into two or more separate dimensions.

• Full load - completely replaced, no timestamp
• Incremental load
  • streaming incremental load - load only new.
  • batch incremental load - not easy to re-run the entire load if there's an error

Challenges:

• monitoring errors
• compatibility - когда меняется тип поля с integer на float
• order and dependencies
• reconcilation - ensure data in an ETL Data Warehouse is correct and consistent - continuous process

• cube - data structure
• Measure - central value in cube
• Member - item in a hierarchy representing one or more occurrences of data.
  • For example, 2007 and 2008 represent unique members in the year level of a time dimension, whereas January represents nonunique members in the month level because there can be more than one January in the time dimension if it contains data for more than one year.
• Calculated member - A member of a dimension whose value is calculated at run time by using an expression.
  • For example, a calculated member, Profit, can be determined by subtracting the value of the member, Costs, from the value of the member, Sales.
• Dimension - A set of one or more organized hierarchies of levels in a cube that a user understands and uses as the base for data analysis.
• Hierarchy - A logical tree structure that organizes the members of a dimension such that each member has one parent member and zero or more child members.
  • ex. Time hierarchy containing the levels Quarter, Month, and Day, January is a child of Qtr
• Level - Year, Quarter, Month, and Day levels in a Time hierarchy.

MOLAP (Multidimensional OLAP) содержит детальные и агрегированные данные Преимущества:

• Высокая производительность
• Структура и интерфейсы наилучшим образом соответствуют структуре аналитических запросов.
• есть разные встроенные функции

Недостатки:

• Дороги, патентованные технологии
• неэффективно используется внешняя памятью. Плохие механизмы транзакций
• Отстутствие единых стандартов
• Не поддерживают репликацию данные, часто используемую для загрузки данных

ROLAP (Relational OLAP) гиперкуб эмулируется из таблиц на логическом уровне Преимущества:

• размер хранилища не является критичным, развитые средства администрирования
• так как источники обычно в реляционных СУБД то это более совместимо
• частые изменения структуры измерений легче чем в MOLAP
• менее требовательны к выч мощности

Недостатки:

• ограниченные возможности с точки зрения расчета значений функционального типа????
• меньшая производительность

HOLAP (Hybrid OLAP) детальные данные остаются в реляционной базе, агрегатные данные хранятся в многомерной

• SQL-99 introduced three extensions to the GROUP BY statement: the CUBE, ROLLUP and GROUPING SETS operator. https://www.kdnuggets.com/2018/09/olap-queries-sql-refresher.html

Oracle Database 11g, the Oracle database optimizer can transparently redirect SQL queries to levels within the OLAP Option cubes. The cubes are managed and can take the place of multi-dimensional materialized views, simplifying Oracle data-warehouse management and speeding up query response.

• OLAP DML for DDL and DML
• an interface from SQL

• OLE DB for OLAP - 1997
• MDX query language - became the de facto standard
• XML for Analysis - In 2001 Microsoft and Hyperion announced
• LINQ - used to query SSAS OLAP cubes from Microsoft .NET.

• query on raw data
• “connect live” model

pros

• to minimize the amount of time to query the data from the model
• easy to understand for the data visualizer
• простая структура и запросы
• некоторые промышленные СУБД имею инструменты класса OLAP/Reporting работающие со звездой

Недостатки:

• Денормализация вносит избыточность данных
• Если агрегаты с исходными данными то в таблицах измерений дополнительный параметр level ????

The data tables should be remodeled

• dimension tables, which keeps the descriptive information
  • Entities can include products, people, places, and concepts including time itself.
  • date dimension table - most consistent table
  • for filtering and grouping
• one fact table, to keep the aggregable data
  • observations or events
  • сильно денормализована. Большое кол во строк
  • for summarization

terms

• dimensionality - dimension key columns
• granularity - dimension key values

Снежинка Snowflake Schema - то же самаое, только у каждой dimensional table может быть еще dimensional table

То же что и звезда, только одно измерение может быть в нескольких таблицах - так реализуется многоуровневость. Дополнительные таблицы измерений называют outrigger table. Например категоря для продуктов - измерения для прода. Преимущество: минимизация избыточности измерений и более эффективно выполнять запросы со структурой измерений Недостаток - за нормализацию платить временем выполнения

• design of data warehouse.

At highest level, the data model is an Entry relationship diagram(ERD) - represents only granular data and no derived data. ERD - consist of Entities and relationships. Entities is futher detailed in data item set(DIS) - keys and attributes and futher at physical design for database management system. physical aspects - partitioning, loading, indexing, storage media, timestamping.

One table relates to another by means of shared key or foreign key relationship. Table represent subject area or subset of subject area.

• Customer
• Product [ˈprɒdʌkt]
• Shipment [ˈʃɪpmənt]
• Vendor [ˈvɛndɔː] продавец
• Order [ˈɔːdə]

It is patently a mistake to build the data warehouse in an all-at-once or "big bang" approach.

Extract/transfer/load ETL software - create interface to bring the data into the world of data warehouse. In SAP BW it is so-called Staging Engine to perform simple transformation and conversion.

Reasons to create a Data Mart from a Data Warehouse

• To create a passive copy of a few fact tables that does not change frequently for the purpose of analysis.
• To decrease the query load on a data warehouse. A copy of the fact table is created in a separate database located on a different server, and the reports are pointed to this server.
• To simulate the critical business scenarios by changing the data in a data mart. The data in a data warehouse cannot be manipulated without affecting the performance.

https://www.wideskills.com/data-warehousing/data-marts

cons

• The continuous implementation of data marts poses a problem of tracking.
• The numerous activities of data extractions, administration, and environmental impacts increase the hardware and software expenses

• https://www.intuit.ru/studies/courses/1145/214/lecture/5508?page=1
• https://www.intuit.ru/studies/courses/1145/214/lecture/5508?page=2

Data modelling is mainly about providing organization and understanding to the data. The advantages you stated hold true regardless of the database platform you use.

columnar [kəˈlʌmnə] database:

  About the only design decision that changes when using a columnar database is what to do with row level free
  form comments that one occasionally runs into. In a row oriented database the best practice is to put them in
  a junk dimension so the physical size of the data doesn't impead performance of queries that don't need the
  data. That is not the case with a columnar arrangement. In such a database, all it means is more vectors which
  are ignored if queries don't need the data. And, in fact, the number and size of such vectors would be the
  same had you created a separate dimension anyway... so there is no point in breaking such data out.

Типы OLAP 6.2

https://docs.microsoft.com/en-us/power-query/dataflows/best-practices-for-data-warehouse-using-dataflows draw ER diagrams online http://dbdiagram.io

https://oracle.github.io/learning-library/developer-library/apex/spreadsheet/?page=README&lab=lab-1-create-app-spreadsheet https://blogs.oracle.com/apex/quick-and-easy-data-loading-with-apex-191

1. Create new Workspace в INTERNAL workspace
   • create schema
   • schema password
   • create user of workspace
2. Посмотреть название схемы и имя пользоватяля
3. Залогиниться под ним в workspace
4. Create Applicateion - Upload from file
   • upload file
   • ввсети название для Таблицы

Creating a Data Load Wizard

https://github.com/gopalmallya/csv2table

"SELECT column_id, column_name, data_type, nullable, data_length, data_precision, data_scale, avg_col_len " "FROM user_tab_columns WHERE table_name = '"

• target_table
• "' ORDER BY column_id"

Psql -U superset - вход в коносль под определенным пользователем

• \conninfo - информация о соединении
• \q - выход из меню
• \d - список таблиц

psql -U superset superset < /home/backups.sql - восстановление из бэкапа

oc.cur.execute("SELECT distinct table_name FROM all_col_comments") oc.cur.execute("SELECT distinct table_name FROM all_tab_columns") oc.cur.execute("SELECT owner, table_name FROM sys.all_tables")

• SELECT table_name, comments FROM dba_tab_comments WHERE owner='OE' AND table_name='INVENTORIES';
• SELECT table_name, column_name, comments FROM dba_col_comments WHERE owner 'OE' AND table_name'INVENTORIES';

• dashboard [ˈdæʃbɔːd] - приборная панель
• план-факт - отчет о результатах по целям, три колонки: план, фактическое, выполнение в процентах, опционально дельта

• 5-9 visualizations for each dashboard
• answer business questions
• visuals must be correct for business( in proper sequence)
• reveals details as needed

build a ROLAP model in Power Pivot, and use pivot tables to explore

Опирается на тип поля в запросе

Иерархия - Matrix with

• Row headers - Stepped layout indentation

cons:

• Distribution: Cloud (you can not save Tableau Public workbooks locally)
• Tableau Public has a limit of 10 million rows of data that is allowed in any single connection
• Account Space: Each account holder will be able to save up to 10 gigabytes (GB) of content to Tableau Public

• java -jar
• localhost:3000

cons:

• slicer в виде фильтров без кнопок

pros:

• можно изменять названия любых столбцов и меток
• configuration is pretty straightforward and can be done within the tool UI once.
• Easy and intuitive setup.

requires

• only a DB connection that it uses for storing state.
• one pod in your cluster

Cloud-based and on-premise platform for businesses of all sizes that helps with KPI monitoring, database management, bug tracking, record filtering, debugging, query builder and more.

pros:

• работа с SQL в первую очередь
• можно именовать столбцы
• No extra work is needed for the alert and schedulers as those are spun by default

cons:

• мало возможностей и slicer нету
• No official helm chart, however, the community one is part of the main redash repo, hence closely evolves with redash itself.
• you again end up with a bunch of worker pods.
• The UI is buggy at places

Dependencies are redis and a database that are also spinnable through the chart.

• Section Access is not supported - When loading a QlikView App with Section Access an error message will be displayed.
• Hidden Script is not supported - Saving an App with hidden script will NOT save the hidden script - Data of hidden script will be lost in the next reload.

web-based stack application, Apache License 2.0

• acts as a thin layer above your underlying databases or data engines
• can execute queries and return results in a time frame that is acceptable to your users

proprietary

• собрать все и самые популярные
• выписать критерии
  • Price
  • Datasource support
  • Deployment&Support
  • Popularity
  • functionality
  • Alerting and reporting capabilities
  • Single sign-on setup
  • UX and Dashboarding experience
  • Deployment - helm chart - own deployment methods and stack needs(Kubernetes, AWS Athena etc.)
• проверить что

Цель дашборда - представить сложную информацию в удобном для понимания формате для пользователей.

Удобная информационная панель должна обладать такими качествами:

1. Ясность

Хороший дашборд четко отображает необходимую информацию. Его назначение должно быть понятно пользователю уже через 5 секунд после того, как он в-первые увидел панель.

1. Значимость

Полезный дашборд содержит значимую, важную для принятия решений информацию. Пользователь должен уловить историю, что стоит за дизайном.

1. Согласованность

Стиль, макет, содержание и организация дашборда должны быть согласованы между собой.

1. Простота

Если информационная панель сложна в восприятии, то она бесполезна. Дашборд нужен, чтобы подавать массивы информации в простом виде.

Как спроектировать такой дашборд?

Самый первый и важный шаг — понять кто и для чего будет пользоваться дашбордом.

Дашборд получается полезным, когда мы сосредоточиваем внимание на потребностях пользователя. Это помогает нам понять какие данные аудитории важно видеть.

Иногда пользователей у дашборда несколько. И им нужен разный уровень информации. В этом случае сегментируем аудиторию и разделяем информацию на базовый и расширенный контент.

Второй шаг - выбор правильных показателей (KPI) Выбор правильных метрик является ключевым шагом в разработке удобных информационных панелей.

Резюме. Создаём дашборд в соответствии с потребностями пользователей. При необходимости разделяем информацию по уровням пользования. Выбираем правильные метрики исходя из потребностей аудитории.

Какие пункты вы бы добавили?

По аналогии с документами, отчеты бывают оперативные, аналитические и стратегические.⁣⁣

• Оперативный отчет – это текущие данные по состоянию на сегодня. Для него не нужна красота, он просто показывает состояние дел на сегодня. В нем не обязательны графики и визуализации: достаточно обычной таблички.⁣⁣
  • план-факт
  • динамика выполнения плана - line chart
  • выполнение по каналам - план факт в виде bar plot
  • выбор: года месяца
• Аналитический отчет – содержит большой объем информации, которая трудно воспринимается в таблице. Ее нужно визуализировать. Поэтому нужен дашборд. Он показывает тренды, сводки по конкретной ситуации.
  • количество и прирост чего-то в процентах
  • товарооборот по брендам - scatter plot с разным размером точек (средний чек - ). Выбор-год, квартал, месяц
  • товарооборот по лицам или брендам - line plot заказчик гипермаркет Выбор - магазины клиенты визиты
  • таблица с вкладками - постоянные клиенты, клиенты притока, клиенты оттока
• Стратегический отчет предназначен для управленцев, предоставляется периодически, помогает принять долгосрочные решения. Этому помогает визуализация данных, которая упрощает принятие решений. Поэтому дашборды для управленцев очень нужны⁣⁣
  • вверху числа,
  • воронка чего-то
  • динамика этапов lineplot
  • средний срок barplot

Важно: информация на управленческих дашбордах должна быть подана максимально просто. На панели показывают основные данные и убирают лишнюю информацию.

2 положительные значения зеленым, отрицательные красным 3 усечение числовой оси y в искажает информацию особенно в стобчатой диаграмме 4 для линейных диаграмм лучше усекать ось y, чтобы лучше видеть динамику 5 линейная диаграмма - толстые сглаженные линии скрывают реальные позиции, что плохо 6 круговая диаграмма - подписи рядом с долями, а не в стороне сами по себе, цвета разные 7 круговая диаграмма - не наносите подписи поверх кусков пирога, если они длинные 8 круговая диаграмма - отсортируйте куски от большего к меньшему 10 круговая диаграмма - если в центре что-то писать, то жертвуешь четкостью 11/12 сортировать столбчатую диаграмму (гистограмму) 13 горизонтальную столбчатую диаграмму для правильного отображения меток 14 линейная диаграмма хороша для коротких интервалов. На больших лучше заменить на столбчатую

F - паттерн - движение глаз 1 -> 2 3 -> 4 5 –

https://vk.com/analyst_ba

1. тех задание на салфетке
2. эскиз для себя
3. дизайн макетов для заказчика
4. список доработок
5. финальный макет

должен давать ответы на основные вопросы пользователя

• юзер в полевых условиях - только основное
• упрощайте - исключить лишние метки осей
• несколько маленьких диаграмм лучше одной большой
• учитывайте ориентацию экрана. Для горизонтальной версии можно показать детализацию
• выделите важное с помощью цвета
• как диаграмма будет смотреться в темноте?

from USD 495.00 per named user license

• yandex https://habr.com/ru/company/yandex/blog/429956/
• Александр зайцев "переезжаем на yandex.clickhouse"
• VK https://www.youtube.com/watch?v=pbbcMcrQoXw
• https://habr.com/ru/company/smi2/blog/314558/

cons:

• специфический SQL, join только по колонкам с одинаковыми названиями
• недокументированный UPDATE/DELETE

install debian:

• deb http://repo.yandex.ru/clickhouse/deb/testing/ main/ or deb http://repo.yandex.ru/clickhouse/deb/stable/ main/
• apt-get install dirmngr
• http://keyserver.ubuntu.com/ string: 0xE0C56BD4 Search for a key
• create file_ with –—BEGIN PGP PUBLI .. EY BLOCK–—
• apt-key add file_
• apt-get update
• apt-get install clickhouse-client clickhouse-server
• systemctl start clickhouse-server

Типа данных: https://clickhouse.yandex/docs/ru/interfaces/formats/#sootvetstvie-tipov-dannykh

• list databases: SHOW DATABASES;
• выбрать текущую базу: USE db;
• список таблиц: SHOW TABLES FROM system;
• описание таблицы: DESCRIBE TABLE system.numbers;
• UPDATE/DELETE: https://clickhouse.yandex/docs/ru/query_language/alter/#alter-mutations
• выполняющиеся запросы: SHOW PROCESSLIST; or: watch -n1 "clickhouse-client –query='SHOW PROCESSLIST'"

for a wide variety of use cases as replacement for MySQL https://mariadb.com/kb/en/library/installing-and-configuring-a-single-server-columnstore-system-12x/ cons:

• на основе MySQL

pros:

• single server or multi-server
• columnar storage optimized for interactive
• ad hoc analytics
• scaling out as needed

create database classicmodels;

mysql -p 'classicmodels' < my.sql

GRANT ALL PRIVILEGES ON classicmodels.* TO 'u'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

CREATE TABLE tmp.ta ( id INT PRIMARY KEY, );

PostgreSQL - cstore_fdw, vops

• Опыт внедрения https://pgconf.ru/2017/94499

official links:

• ODBC driver https://network.pivotal.io/products/pivotal-gpdb/#/releases/396409/file_groups/1829

articles:

• tinkoff https://habr.com/en/company/tinkoff/blog/267733/
• tinkoff repl
• https://github.com/gtoonstra/etl-with-airflow/blob/master/examples/etl-example/dags/orders_staging.py

Forked from the main PostgreSQL line at version 8.2.15

designed to manage large-scale analytic data warehouses and business intelligence workloads.

• на основе PostgreSQL - лучше MySQL
• massively parallel processing (MPP)
• PostgreSQL interface
• performs best with a denormalized schema design
• Greenplum provides both row-oriented and column-oriented table types
• logically partition table data, either by range or by a list of values - each partition of a single table can utilize its own storage method (row vs. column orientation)

Ограничения:

• нельзя обновлять поле колонка которого есть ключ дистрибуции
• column-tables обновляются чуть меньше

Рекомендации:

• предназначенная для небольшого числа одновременных запросов. Большое число (более 600 queries per second) лёгких запросов/транзакций, выполняющих одну операцию, негативно сказывается на производительности базы. Хорошей практикой является агрегация большого числа update/insert в батчи.
• один CPU на сегмент, поэтому на одну ноду от 6-8 сегментов, чтобы задействовать многопроцессорность - но это не точно
• 10 гигабит interconnection
• чем больше дисков тем лучше
• на серверах лучше вырубить swap. потому что он его слишком юзает
• автовакум выключен, вакум раз в сутка, а то заблоутится буть здоров

продукт InfluxDB собирает метрики

Агрегаторы - таблицы сум по которым опять делаются выборки - от них можно отказаться

• https://druid.apache.org/docs/latest/design/index.html

move database files to tmpfs

limited to 1TB of data and 3 database nodes

set of libraries and utilites to connecto to Oracle database https://www.oracle.com/database/technologies/instant-client.html

• export NLS_LANG=AMERICAN_AMERICA.AL32UTF8;
• set colsep '|' set linesize 167 set pagesize 30 set pagesize 1000
• connection:
  • sqlplus username/password@host:port/servicex
  • or username/password@'(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = ip_or_dns)(PORT = p))) (CONNECT_DATA = (SERVICE_NAME = s)))
  • or with /opt/oracle/instantclient_19_3/network/admin/tnsnames.ora - sqlplus x/y@myDb

• DBever https://github.com/dbeaver
  • Небходим instance client и несколько дополнительных jar библиотек с оф сайта

myDb  =
 (DESCRIPTION =
   (ADDRESS_LIST =
     (ADDRESS = (PROTOCOL = TCP)(Host = c)(Port =a))
   )
 (CONNECT_DATA =
   (SERVICE_NAME =b)
 )
)

SID and SERVICE_NAME

• https://www.erpgreat.com/oracle-database/finding-oracle-sid-of-a-database.htm
• http://qaru.site/questions/44184/how-sid-is-different-from-service-name-in-oracle-tnsnamesora

C

Check on a table - Column

O

Read Only on a view - Object

P

Primary Key - Object

R

Referential AKA Foreign Key - Column

U

Unique Key - Column

V

Check Option on a view - Object

• http://sql.fliplinux.com/oracle-5.html
• https://en.wikipedia.org/wiki/Oracle_metadata
• dependencies - select * from dba_dependencies where referenced_type='TABLE' and referenced_name='Z#POOLING';
• constrains - SELECT table_name, constraint_name, constraint_type FROM user_constraints;
• поля таблицы - DESC tbname;

-- All foregn keys:
SELECT
        c_list.CONSTRAINT_NAME as NAME,
        c_src.TABLE_NAME as SRC_TABLE,
        c_src.COLUMN_NAME as SRC_COLUMN,
        c_dest.TABLE_NAME as DEST_TABLE, -- primary key table
        c_dest.COLUMN_NAME as DEST_COLUMN
FROM ALL_CONSTRAINTS c_list,
     ALL_CONS_COLUMNS c_src,
     ALL_CONS_COLUMNS c_dest
WHERE c_list.CONSTRAINT_NAME = c_src.CONSTRAINT_NAME
  AND c_list.R_CONSTRAINT_NAME = c_dest.CONSTRAINT_NAME
  AND c_list.CONSTRAINT_TYPE = 'R'
  AND c_src.TABLE_NAME = 'Z#NU_AT_DEP_PRC' -- table with foreign keys
GROUP BY c_list.CONSTRAINT_NAME,
          c_src.TABLE_NAME,
         c_src.COLUMN_NAME,
         c_dest.TABLE_NAME,
         c_dest.COLUMN_NAME;

• https://docs.oracle.com/database/121/CNCPT/memory.htm
• System global area (SGA) - for one Oracle Database instance - All server and background processes share the SGA
  • Database Buffer Cache
  • In-Memory Column Store
  • Redo Log Buffer
  • Shared Pool
  • Large Pool
  • Java Pool
  • Streams Pool
  • Fixed SGA
• Program global area (PGA) - exists for each server process and background process. The collection of individual PGAs is the total instance PGA, or instance PGA.
  • пространство стека - это память, хранящая переменные сеансов, массивы сеансов и т.д.
  • информация сеанса - если Oracle работает не в мультинитевом режиме, то информация сеанса хранится в PGA. В противном случае, информация сеанса хранится в SGA.
  • приватная SQL-область - это часть PGA, где хранятся связанные переменные и буферы реального времени
• User global area (UGA) - user session
• Software code areas - areas are portions of memory used to store code that is being run or can be run

Процессы:

• пользовательские процессы - управляет вводом и взаимодействует с серверными процессами
• процессы Oracle
  • серверные процессы (выполняющие функции для активных процессов)
  • фоновые процессы (выполняют функции СУРБД в целом).

https://www.oracle.com/technetwork/articles/dsl/prez-python-queries-101587.html

INSTALL

• bashrc:
  • export LD_LIBRARY_PATH=/opt/oracle/instantclient_19_3:$LD_LIBRARY_PATH
  • export PATH=/opt/oracle/instantclient_19_3:$PATH

• если создать таблицу с именами полей в кавычках, то к ним можно обращаться только в кавычках
• By default, Oracle identifiers (table names, column names, etc.) are case- insensitive.
• You can make them case-sensitive by using quotes around them (eg: SELECT * FROM "My_Table" WHERE "my_field" = 1 )

• Привести все данные к единой системе значений и детализации, попутно обеспечив их качество и надежность;
• после преобразования можно было понять, из каких именно исходных данных и сумм собралась каждая строчка преобразованных данных.

• загрузка
• очистка от ошибок - проверяются на корректность и полноту, составляется отчет об ошибках для исправления; -> валидационная таблица
• мэппинг со справочниками целевой системы
• консолидация от транзакций до агрегатов - Процесс агрегации данных -
• drill-down из целевой системы

incrementa:

• streaming incremental load
• batch incremental load

• Triggers attached to tables - significant performance impact
• logical Replication - feature of RDBMS

for building real-time data pipelines and batch processes

limits: https://www.talend.com/products/application-integration/application-integration-compare-all/?_ga=2.8246066.1816291292.1561098962-859926622.1561098962

• Open Source ETL and Free Data Integration

cons:

• windows, mac

лучше в отдельной базе данных или схеме

1. нет ли зависимостей между тасками-сессиями
2. поддерживает ли источник и таргет паралельную загрузку. Concurrent capability
3. restartability - насколько проблематично будет рестартовать, все ли таски будут перестартовывать или только та что упала

• upstream tasks t1 >> t2 - t1 upstream for t2
• Dag - graph of tasks-operators - code, define tasks - (no data processing) must executed quickly - seconds
• task - implementation of operator - inherit arguments from dag
  • task_id
  • dag - a reference to the dag the task is attached to (if any)
  • start_date (not required)
• Operator - create object that became node in the dag
• Hooks - keep authentication code and information out of pipelines

• https://habr.com/ru/company/mailru/blog/339392/
• practice https://github.com/DerekWaiFuChung/DerekWiki/wiki/airflow
• pro https://medium.com/datareply/airflow-lesser-known-tips-tricks-and-best-practises-cf4d4a90f8f

cons:

• is not a data streaming solution. Tasks do not move data from one to the other (though tasks can exchange metadata!)
• Workflows are expected to be mostly static or slowly changing

Проблемы:

• limited memory for load of task - чаще, динамический DAG(не ясно), резервированные таски, staging
• сохранять данные которые свалили таску - logging
• find out Hooks to store connection information
• look at hooks and install required libraries
• just write ETL code (separate connections-conn!)
• create operator with test
• write DAG

quick:

• pip install 'apache-airflow[mysql]' –user
• add export PATH=$PATH:~/.local/bin
• airflow initdb
• airflow webserver -p 8080
• airflow scheduler ???????

25 дней назад

• Возобновление дага после завершения по dag_timeout возможно, а после принудительной остановки - нет
• чтобы возобновить даг с нужной таски нужнос сначала выставить его статус - Success
• у тасок завершившихся по таймауту дага нет никаких отличий - нужно проверить лог каждой таски

https://airflow.apache.org/docs/apache-airflow/stable/howto/variable.html https://airflow.apache.org/docs/apache-airflow/stable/concepts.html#concepts-variables

from airflow.models import Variable foo = Variable.get("foo")

https://pacuna.io/data-engineering/etl/2018/07/29/etl-postgres-to-postgres.html

• PostgresqlHook <- DbApiHook <- BaseHook
• airflow.hooks.postgres_hook.PostgresHook https://airflow.apache.org/_api/airflow/hooks/postgres_hook/index.html
• airflow/hooks/dbapi_hook.py https://github.com/apache/airflow/blob/master/airflow/hooks/dbapi_hook.py
• airflow/hooks/base_hook.py https://github.com/apache/airflow/blob/master/airflow/hooks/base_hook.py

webserver - scheduler - database - may be any

Airflow CLI doesn’t depend on the Webserver or Scheduler, but it depends on the DB backend.

• scheduler runs your job one schedule_interval AFTER the start date, at the END of the period
• first run created based on start_date, next on schedule_interval

catchup - запуск дага за интервал, если даг был выключен какое-то время.

• используется для инкрементальной загрузки по датам, например.
• если "depends_on_past": False, - запуск будет запущен и тут же остановлен

required

• dag_id

not required:

• start_date - начала отсчета
• schedule_interval - start_date+schedule_interval - первый запуск. - None - @once - @hourly - @daily - @weekly - @monthly - @yearly
• max_active_runs
• end_date - прекратить запуски
• default_args: dict - used as constructor keyword parameters when initialising operators.
• params (dict) – a dictionary of DAG level parameters that are made accessible in templates, namespaced under params. These params can be overridden at the task level.
• concurrency (int) – the number of task instances allowed to run concurrently
• max_active_runs (int) – maximum number of active DAG runs

task dependency op1 >> [op2,op3] >> op4

1 определить связи - выдилить блоки которые имеют одну зависимость и блоки которые имеют несколько зависимостей 2 построить без отношения многие ко многим 3 реализовать отношение многие ко многим путем повторения связей

• BaseOperator https://github.com/apache/airflow/blob/master/airflow/models/baseoperator.py
• Custom operator https://airflow.apache.org/docs/stable/howto/custom-operator.html

Operators:

• BashOperator - bash command
• PythonOperator - PythonOperator
• EmailOperator
• SimpleHttpOperator - HTTP request
• MySqlOperator, PostgresOperator, JdbcOperator - wrappers for hooks

https://airflow.apache.org/docs/apache-airflow/stable/concepts.html#trigger-rules

from airflow.utils.task_group import TaskGroup

with TaskGroup("group1") as group1: task1 = DummyOperator(task_id="task1") task2 = DummyOperator(task_id="task2")

task3 = DummyOperator(task_id="task3")

group1 >> task3

Executors:

• SequentialExecutor
• LocalExecutor - good for single node, use parallelism
• CeleryExecutor - distributed
• KubernetesExecutor - temporary pod for each task to run

• example dag https://github.com/apache/airflow/tree/master/airflow/example_dags
• https://gtoonstra.github.io/etl-with-airflow/principles.html
  • https://github.com/gtoonstra/etl-with-airflow/tree/master/examples
• https://github.com/astronomer/airflow-guides/blob/master/guides/dag-best-practices.md
• provide atomicy inside task (Airflow can retry a task if it fails)
• tasks should produce the same outcome on every re-run
  • replace INSERT with UPSER
  • Never read the latest available data in a task. Read and write in a specific partition.
  • datetime.now() - should never be used inside a task

start_date parameter in a DAG - reexecution of historical data

pip3 install apache-airflow –user cd ~/airflow airflow initdb # only first time airflow scheduler & airflow webserver -p 8080 & wait

• break out your pipelines into incremental extracts and loads
  • Last Modified Date - each record in your source system contains a column containing the last time the record was modified
  • Sequence IDs - last modified date is not available
    • when the source records are only being appended to and never updated

• https://towardsdatascience.com/getting-started-with-airflow-locally-and-remotely-d068df7fcb4
• pycharm + docker https://medium.com/ninjavan-tech/setting-up-a-complete-local-development-environment-for-airflow-docker-pycharm-and-tests-3577ddb4ca94
  • https://github.com/ninja-van/airflow-boilerplate
• https://www.gradiant.org/en/blog/apache-airflow-docker-en/
• https://airflow.apache.org/docs/apache-airflow/2.0.2/start/docker.html

cd /home/airflow && docker-compose down && docker-compose up -d

https://blog.usejournal.com/testing-in-airflow-part-1-dag-validation-tests-dag-definition-tests-and-unit-tests-2aa94970570c

airflow list_dags - show errors

• https://habr.com/en/company/mailru/blog/344398/
• https://stackoverflow.com/questions/39133376/airflow-dynamic-dag-and-task-ids

Variables

• https://github.com/gtoonstra/etl-with-airflow/blob/master/examples/etl-example/dags/orders_staging.py
• Admin-Variables
• baz = Variable.get("baz", default_var=None)

• https://habr.com/ru/company/mailru/blog/344398/

Defined in context of BaseOperator.execute(self, context: Any)

• get_template_context https://github.com/apache/airflow/blob/main/airflow/models/taskinstance.py
• reference https://airflow.apache.org/docs/apache-airflow/stable/macros-ref.html

• "{{ ds }}" - execution date
• task.render_template("{{ ds }}")

dates:

• start_date - от чего вообще начинаем
• end_date - когда больше не будем
• execution_date - как и ds показывается для какой даты сейчас запущен

dag parameters:

• max_active_runs=1 - не больше одного дага паралельно запущенного

config parameters:

parallelism = 32

dag_concurrency = 16

dags_are_paused_at_creation = True

non_pooled_task_slot_count = 128

max_active_runs_per_dag = 16

You can leverage a SensorOperator more specifically the FileSensorOperator to check if a file exists. You can then use the soft_fail arg to mark the tasks as "skipped" when the file does not exist. This will allow the DAG to succeed while maintaining the proper history of what occurred on the file check.

1. kwargs['dag'].set_dag_runs_state(State.FAILED) # without retry
2. raise AirflowException("asdas!") or ValueError("")

Are the mechanism by which task instances get run.

• default - SequentialExecutor

• visualize https://github.com/ms32035/airflow-dag-dependencies

{'kay':'value'}

PythonOperator has property - provide_context (deafult False)

two ways in which one can access the parameters:

• kwargs['dag_run'].conf - None or {'key':'123'}
• .get('key')
• {{ dag_run.conf['key'] }}

https://airflow.apache.org/docs/apache-airflow/stable/upgrading-to-2.html 3.6+ not 3.9

1. airflow initdb -> airflow db init

[webserver] rbac = True

1. airflow users create \ –role Admin \ –username admin \ –firstname FIRST_NAME \ –lastname LAST_NAME \ –email EMAIL@example.org
2. add "airflow db init" to airflow.sh
3. run once
4. remove "airflow db init" from airflow.sh

from airflow.models import Connection from airflow import settings

def create_conn(username, password, host=None): new_conn = Connection(conn_id=f'{username}_connection', login=username, host=host if host else None) new_conn.set_password(password)

session = settings.Session() session.add(new_conn) session.commit()

docker exec -it airflow_engine bash -c 'airflow user create –role Admin –username admin –firstname V –lastname C –email cv@r.ru'

docker-compose down && docker-compose up -d

• execution_timeout is not working
• Own Operators require hard testing
• all Python dependencies from each workflow need to be installed on each Airflow Worker

• connect to running airflow_engine and cat airflow.cfg
• change config

• authentication https://airflow.apache.org/docs/apache-airflow/stable/security/api.html
• https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html
• https://airflow.apache.org/docs/apache-airflow/1.10.2/api.html

[api]
auth_backends = airflow.api.auth.backend.basic_auth

check:

$ airflow config get-value api auth_backends
airflow.api.auth.backend.basic_auth

Необходимо подождать некоторое время, авторизация возможно не сразу включается.

ENDPOINT_URL="http://localhost:8080/"
curl -X GET --insecure --user "username:password" \
    "${ENDPOINT_URL}/api/v1/pools"

logging.Logger - 4 loggers by default:

• root
• flask_appbuilder
• airflow.processor
• airflow.task

logging.Formatter

• airflow_colored
• airflow

locations:

• Scheduler logs: /usr/local/airflow/logs/scheduler
• Webserver logs appear in the console by default: docker logs <webserver_container_id>
• Metadata database logs: docker logs <postgres_container_id>
• docker logs <triggerer_container_id>
• Task logs are in usr/local/airflow/logs

links:

• https://www.astronomer.io/guides/logging/
• https://airflow.apache.org/docs/apache-airflow/stable/logging-monitoring/logging-architecture.html
• https://airflow.apache.org/docs/apache-airflow/stable/logging-monitoring/logging-tasks.html#serving-logs-from-workers

recent runs

SELECT
    dag_run.dag_id,
    dag_run.state
FROM dag_run
INNER JOIN (SELECT
                dag_id,
                MAX(execution_date) AS date
            FROM dag_run
            GROUP BY dag_id) mx
    ON
    dag_run.dag_id = mx.dag_id
    AND dag_run.execution_date = mx.date
JOIN dag ON dag.dag_id = dag_run.dag_id AND is_active = 1 AND is_paused = 0

Мы видим, как заказчики создают кладбища больших данных, сбрасывают все в распределенную файловую систему Hadoop (HDFS) и надеются что-то с этим сделать в будущем. Но затем они просто теряют из виду то, что там есть

• Определить эффективность основных каналов продаж.
• Оценить перспективы компании, понять, куда она движется.
• Чтобы определить прибыльность бизнеса на этапе идеи.
• Найти точку безубыточности и просчитать доходность инвестиций.
• Понять, сколько нужно привлечь клиентов; узнать, сколько будет стоить каждый из них.
• Объективно рассказать инвесторам о перспективах бизнеса.

С помощью юнит-экономики вы можете рассчитать, сколько единиц товара нужно продать, чтобы покрыть постоянные затраты.

• Вы хотите привлечь инвесторов.
• Вы планируете масштабировать бизнес.
• Вы запускаете стартап.
• Основные затраты на привлечение клиента и совершение сделки — продвижение и реклама.

Юнит-экономика основана на принципах управленческого учета и микроэкономики

формула прибыли:

• Прибыль = Маржинальная прибыль - Постоянные затраты
• Маржинальная прибыль = Выручка - Переменные затраты
• Прибыль = Выручка - Переменные затраты - Постоянные

Если маржинальная прибыль выше постоянных затрат, бизнес успешен

совокупная маржинальная прибыль определяется как общее число проданных товаров, умноженное на их цену за вычетом себестоимости.

прибыль или убыток с одной единицы товара

• Цена продажи - Расходы = Прибыль (Убыток)

расчета точки безубыточности используется

• Постоянные затраты / Прибыль с 1 продажи = Необходимое

COGS (Cost of Good Sold) - Затраты на каждую продажу, ее себестоимость. Это переменные затраты, которые увеличиваются пропорционально объемам продаж. Например, сюда относится доставка.

1sCOGS (First sale COGS) - Дополнительные расходы, которые приходится нести, чтобы совершить первую продажу.

инструмент аналитики, при котором пользователи рассматриваются в группах, связанных по определенному признаку.

• https://www.uplab.ru/blog/unit-economics-how-to-evaluate-the-success-of-the-business/

big data framework - manipulate datasets on top of a distributed processing system

Pandas and Dask - for small companies

• Apache Samza
• Apache Kafka
• Dask
• Apache Beam
• Apache Hive
• Apache Hadoop/MapReduce
• Apache Spark
• Apache Tez
• Apache Flink
• ClickHouse

https://ac.gov.ru/projects/project/kodeks-etiki-ispolzovania-dannyh-5

«Яндекс», Mail.ru Group, Сбербанк, Газпромбанк, «МегаФон», «Ростелеком» и другие компании

programming model - for processing and generating big data sets with a parallel, distributed algorithm on a cluster.

• orchestrates the processing by marshalling the distributed servers, running the various tasks in parallel, managing all communications and data transfers between the various parts of the system, and providing for redundancy and fault tolerance.

procedures:

Map

filtering and sorting

Reduce

summary operation

cons:

• forces a particular linear dataflow structure on distributed programs: MapReduce programs read input data from disk, map a function across the data, reduce the results of the map, and store reduction results on disk.

По оценке АБД, российский рынок больших данных на данный момент составляет 10–30 млрд рублей в год, а к 2024 году он достигнет 300 млрд рублей.

• marketing/purchase/customer/sales/conversion funnel - consumer-focused: Awareness -> Interest -> Desire -> Action -> Loyalty

Technology: PostgreSQL, Pentaho data integration, Pentaho report designer, apachesuperset, MS power BI.

автоматизация ETL процедур посредством Apache Airflow разработка и внедрение дашбордов с использованием ApacheSuperset

Корпоративноехранилищеданных(PostgreSQL, Pentaho BI, ApacheSuperset)

Рабочий процесс: Airflow Apache, Superset, Doсker

Технологии: PostgreSQL,PentahoDI, HP Vertica

Генерация гипотез о поведении пользователей и факторах влияющих на ключевые метрики (LTV, ARPU, ARPAU, Retention, ROMI и т.п.);

Разработка процессов извлечения, обработки и хранения данных (ETL) с использованием Python и Ruby скриптов. Оптимизация запросов к БД (Redshift, Vertica) и проектирование структуры хранения данных из разных источников (логи сервера, события из web и мобильных приложений, данные из production базы).

Пилотное внедрениехранилищданныхна основе Clickhouse и Exasol.

ETL Инструментарий: Oracle 11gR2, Informatica PowerCenter 9.x, Perl, Python 2.x, AIX shell,PentahoData Integration.

Внедрение аналитической системы прототипированием, перевод и рефакторинг всей имевшейся производственной отчетности за 3 мес (Oracle BI +PentahoDI + MS)

• разработка отчётов для одного из крупнейших интеграторов в РФ (Pentaho, Saiku);

Ашан: Используемые инструменты: Microstrategy, Oracle PL\SQL, SQL, Sparx EA, Talend Studio

(vertica, clickhouse, exasol, python, qlikview).

Работа с : Greenplum, Aginity

https://habr.com/ru/post/444758/

https://arenadata.tech/products/aaw/

Data warehouse:

• Greenplum BD

designed to manage large-scale analytic data warehouses and business intelligence workloads.

• на основе PostgreSQL
• massively parallel processing (MPP)
• PostgreSQL interface
• performs best with a denormalized schema design
• Greenplum provides both row-oriented and column-oriented table types
• logically partition table data, either by range or by a list of values - each partition of a single table can utilize its own storage method (row vs. column orientation)
• MariaBD

for a wide variety of use cases as replacement for MySQL

• single server or multi-server
• columnar storage optimized for interactive
• ad hoc analytics
• scaling out as needed

Bad: Vertica CE (limited to 1TB of data and 3 database nodes), Clickhouse (сырая, недокум-ные Upd/Del),

Report system:

• Power BI Desktop

один из лучших, отчет сохраняется в виде файла и открывается в том виде как был создан. -cons:

• Windows на одном рабочем месте, нужно предварительно установить и проверить соединение с базой
• Metabase

можно развернуть в докере и дать доступ через веб. -cons: мало средств визуализации, неудобный фильтр

• Microstrategy Desktop Free - аналог Power BI, требует изучение
• Saiku Analytics - web c ограничениями https://www.meteorite.bi/saiku-product-comparison

Bad: Apahce SuperSet (нельзя изменить названия полей), Pentaho BI Suite (много ограничений по функционалу, поменялась компания 2017. 2017 stable), Vertica CE (limited to 1TB of data and 3 database nodes), Exasol CE(Can store up to 200 GB or raw data, single machine)

Отметил ELT интсрументы Apache Airflow и Talend Open Studio

Qlik Sense Desktop (Windows) аналог Power BI

• limits:
• Section Access is not supported - When loading a QlikView App with Section Access an error message will be displayed.
• Hidden Script is not supported - Saving an App with hidden script will NOT save the hidden script - Data of hidden script will be lost in the next reload.

Tableau Public (Desktop Windows, mac) cons:

• Distribution: Cloud (you can not save Tableau Public workbooks locally)
• Tableau Public has a limit of 10 million rows of data that is allowed in any single connection
• Account Space: Each account holder will be able to save up to 10 gigabytes (GB) of content to Tableau Public

IBM Cognos платный инструмент с многообещающими особенностями. Лицензированием специалистов.