убрал : из папок

2026-05-28 18:00:56 +03:00
parent e0b74cdc13
commit f045be8a39
30 changed files with 0 additions and 0 deletions
@@ -0,0 +1,128 @@
+--DROP TABLE mnoskov.lesson_popularity_summary ON CLUSTER clickhouse_cluster sync;
+CREATE TABLE mnoskov.lesson_popularity_summary
+ON CLUSTER clickhouse_cluster
+(
+	lesson_id UInt64,
+	lesson_title String,
+	course_id UInt64,
+	course_title String,
+	total_views AggregateFunction(count),
+	unique_users AggregateFunction(uniq, UInt64),
+	first_view AggregateFunction(min, DateTime),
+	last_view AggregateFunction(max, DateTime)
+)
+ENGINE AggregatingMergeTree
+ORDER BY lesson_id;
+
+--DROP VIEW mnoskov.mv_lesson_popularity_summary ON CLUSTER clickhouse_cluster SYNC;
+CREATE MATERIALIZED VIEW mnoskov.mv_lesson_popularity_summary
+ON CLUSTER clickhouse_cluster
+TO mnoskov.lesson_popularity_summary
+AS
+SELECT
+	cdl.lesson_id AS lesson_id,
+	cdl.title AS lesson_title,
+	cdc.course_id AS course_id,
+	cdc.title AS course_title,
+	countIfState(flv.user_id != 0) AS total_views, -- я вообще ахуел когда узнал что такое существует(я про If у агрегаций). Я наткнулся на это когда осознал что кликхаус в join не ставит null, а ставит значение по умолчанию
+	uniqIfState(flv.user_id, flv.user_id != 0) AS unique_users,
+	minIfState(flv.viewed_at, flv.user_id != 0) AS first_view,
+	maxIfState(flv.viewed_at, flv.user_id != 0) AS last_view
+FROM
+	mnoskov.core_fact_lesson_views flv
+RIGHT JOIN
+	mnoskov.core_dim_lesson cdl ON flv.lesson_id = cdl.lesson_id -- поидее нужно большую таблицу ставить в левую часть JOIN, но если я тут так сделаю с фактами, то запрос кореектно не будет работать
+JOIN
+	mnoskov.core_dim_course cdc ON cdl.course_id = cdc.course_id
+GROUP BY
+	cdl.lesson_id, cdl.title, cdc.course_id, cdc.title;
+
+
+SELECT * FROM mnoskov.core_fact_lesson_views;
+
+SELECT
+	lesson_id,
+	any(lesson_title),
+	any(course_id),
+	any(course_title),
+	countMerge(total_views) AS total_views,
+	uniqMerge(unique_users) AS uniq_users,
+	minMerge(first_view) AS first_view,
+	maxMerge(last_view) AS last_view
+FROM
+	mnoskov.lesson_popularity_summary
+GROUP BY
+	lesson_id
+ORDER BY
+	lesson_id;
+-- ЕБАТЬ КАК Я АХУЕЛ КОГДА ДОПЕР ДО ТОГО ЧТО ЭТО НУЖНО ЧИТАТЬ ТАКИМ СПОСОБОМ А НЕ ПРОСТО ЧЕРЕЗ ЗВЕЗДОЧКУ. У меня MV ебать сколько изменений потерпела чтобы заработать, а проблема возможно изначально была в чтении.
+-- Правда оно читается через раз, то есть результат то нет, но думаю это проблема движка AggregatingMergeTree.
+-- Это получается чтобы был удобный вывод, теперь поверх этого селекта можно сделать обычную VIEW?
+
+-- Заполненния и очищения:
+TRUNCATE TABLE mnoskov.core_fact_lesson_views
+ON CLUSTER clickhouse_cluster sync;
+
+TRUNCATE TABLE mnoskov.lesson_popularity_summary
+ON CLUSTER clickhouse_cluster sync;
+
+INSERT INTO mnoskov.core_fact_lesson_views (user_id, lesson_id, course_id, viewed_at)
+VALUES
+(3, 6, 2, '2023-03-06 12:00:00'),
+(4, 9, 3, '2023-04-02 10:00:00'),
+(4, 6, 2, '2023-03-12 14:00:00'),
+(4, 7, 2, '2023-03-13 09:00:00'),
+(6, 3, 1, '2023-01-08 09:00:00'),
+(6, 6, 2, '2023-01-11 14:00:00'),
+(6, 7, 2, '2023-01-12 10:00:00'),
+(6, 8, 2, '2023-01-13 11:00:00'),
+(6, 9, 3, '2023-03-09 11:00:00'),
+(7, 9, 3, '2023-03-11 14:00:00'),
+(2, 9, 3, '2023-03-16 10:00:00'),
+(2, 10, 3, '2023-03-16 10:30:00'),
+(3, 2, 1, '2023-02-26 11:20:00'),
+(4, 10, 3, '2023-04-03 10:00:00'),
+(6, 2, 1, '2023-01-07 10:15:00'),
+(6, 4, 1, '2023-01-08 09:30:00'),
+(6, 13, 4, '2023-02-06 09:30:00'),
+(7, 2, 1, '2023-01-14 10:20:00'),
+(7, 3, 1, '2023-01-15 09:00:00'),
+(7, 10, 3, '2023-03-11 14:30:00'),
+(9, 13, 4, '2023-02-13 10:30:00'),
+(13, 6, 2, '2023-01-20 14:00:00'),
+(13, 7, 2, '2023-01-21 10:00:00'),
+(2, 1, 1, '2023-01-21 09:00:00'),
+(6, 1, 1, '2023-01-07 10:00:00'),
+(6, 14, 4, '2023-02-07 10:00:00'),
+(7, 1, 1, '2023-01-14 10:00:00'),
+(9, 12, 4, '2023-02-13 10:00:00'),
+(9, 1, 1, '2023-02-16 11:00:00'),
+(3, 1, 1, '2023-02-26 11:00:00'),
+(6, 5, 1, '2023-01-09 10:00:00'),
+(6, 12, 4, '2023-02-06 09:00:00'),
+(13, 12, 4, '2023-02-21 09:00:00'),
+(1, 2, 1, '2023-01-16 10:15:00'),
+(1, 3, 1, '2023-01-17 09:00:00'),
+(1, 4, 1, '2023-01-17 09:30:00'),
+(1, 4, 1, '2023-01-18 10:00:00'),
+(1, 6, 2, '2023-02-02 14:00:00'),
+(1, 13, 4, '2023-02-15 10:30:00'),
+(5, 16, 5, '2023-03-22 11:00:00'),
+(12, 2, 1, '2023-01-17 10:20:00'),
+(12, 3, 1, '2023-04-10 11:30:00'),
+(14, 2, 1, '2023-01-09 08:15:00'),
+(14, 4, 1, '2023-01-10 10:30:00'),
+(14, 6, 2, '2023-01-10 14:00:00'),
+(14, 9, 3, '2023-01-10 08:00:00'),
+(1, 4, 1, '2023-01-17 11:00:00'),
+(12, 9, 3, '2023-03-12 10:00:00'),
+(14, 3, 1, '2023-01-10 10:00:00'),
+(14, 7, 2, '2023-01-11 10:00:00'),
+(14, 8, 2, '2023-01-12 11:00:00'),
+(1, 12, 4, '2023-02-15 10:00:00'),
+(12, 1, 1, '2023-01-17 10:00:00'),
+(14, 5, 1, '2023-01-11 09:00:00'),
+(1, 1, 1, '2023-01-16 10:00:00'),
+(5, 15, 5, '2023-03-21 10:00:00'),
+(12, 1, 1, '2023-04-10 11:00:00'),
+(14, 1, 1, '2023-01-09 08:00:00');
@@ -0,0 +1,75 @@
+--DROP TABLE mnoskov.inactive_users_summary ON CLUSTER clickhouse_cluster sync;
+CREATE TABLE mnoskov.inactive_users_summary
+ON CLUSTER clickhouse_cluster
+(
+	user_id UInt64,
+	name String,
+	email String,
+	age UInt8,
+	registered_courses_count UInt32,
+	registration_date DateTime
+)
+ENGINE = ReplicatedMergeTree(
+    '/clickhouse/tables/{shard}/mnoskov/inactive_users_summary',
+    '{replica}'
+)
+ORDER BY user_id;
+
+--DROP VIEW mnoskov.mv_inactive_users_summary ON CLUSTER clickhouse_cluster sync;
+CREATE MATERIALIZED VIEW mnoskov.mv_inactive_users_summary
+ON CLUSTER clickhouse_cluster
+TO mnoskov.inactive_users_summary
+AS
+SELECT
+	u.user_id AS user_id,
+	u.name AS name,
+	u.email AS email,
+	u.age AS age,
+	e.registered_courses_count AS registered_courses_count,
+	u.registration_date AS registration_date
+FROM
+	mnoskov.core_dim_user u
+LEFT JOIN (
+	SELECT
+		user_id,
+		count() AS registered_courses_count
+	FROM
+		mnoskov.core_enrollments
+	GROUP BY
+		user_id
+) e ON u.user_id = e.user_id
+WHERE u.user_id NOT IN (SELECT lv.user_id FROM mnoskov.core_fact_lesson_views lv); -- я ломалася тут между NOT IN и NOT EXISTS, но решил оставить первый тк это уже витрины мы делаем, и NULL поидее быть не должно
+
+
+-- Чтение очищение заполнение
+SHOW TABLES FROM mnoskov;
+
+SELECT * FROM mnoskov.core_dim_user;
+SELECT * FROM mnoskov.inactive_users_summary;
+
+TRUNCATE TABLE mnoskov.core_dim_user ON CLUSTER clickhouse_cluster SYNC;
+TRUNCATE TABLE mnoskov.inactive_users_summary ON CLUSTER clickhouse_cluster SYNC;
+
+INSERT INTO mnoskov.core_dim_user (user_id, name, age, email, registration_date)
+VALUES
+(1, 'Alice', 25, 'alice@mail.com', '2023-01-09 23:00:00'),
+(2, 'Bob', 30, 'bob@gmail.com', '2023-02-04 23:00:00'),
+(3, 'Charlie', 22, 'charlie@mail.com', '2023-02-19 23:00:00'),
+(4, 'Diana', 28, 'diana@mail.com', '2023-02-28 23:00:00'),
+(5, 'Ethan', 35, 'ethan@gmail.com', '2023-03-09 23:00:00'),
+(6, 'Frank', 29, 'frank@mail.com', '2023-01-04 23:00:00'),
+(7, 'Grace', 26, 'grace@gmail.com', '2023-01-11 23:00:00'),
+(8, 'Henry', 32, 'henry@mail.com', '2023-01-19 23:00:00'),
+(9, 'Iris', 24, 'iris@gmail.com', '2023-02-09 23:00:00'),
+(10, 'Jack', 27, 'jack@mail.com', '2023-04-14 23:00:00'),
+(11, 'Kelly', 23, 'kelly@gmail.com', '2023-04-19 23:00:00'),
+(12, 'Leo', 31, 'leo@mail.com', '2023-01-14 23:00:00'),
+(13, 'Mia', 26, 'mia@mail.com', '2023-01-17 23:00:00'),
+(14, 'Nina', 28, 'nina@mail.com', '2023-01-07 23:00:00'),
+(15, 'Oscar', 33, 'oscar@gmail.com', '2023-01-09 23:00:00'),
+(16, 'Paul', 29, 'paul@mail.com', '2023-02-14 23:00:00'),
+(17, 'Quinn', 24, 'quinn@gmail.com', '2023-03-19 23:00:00'),
+(18, 'Rita', 27, 'rita@mail.com', '2023-03-31 23:00:00'),
+(19, 'Sam', 30, 'sam@gmail.com', '2023-04-09 23:00:00'),
+(21, 'Tinanal', 22, 'tinanal@mail.com', '2023-04-19 23:02:00'),
+(22, 'Anal2', 24, 'tinanal222@mail.com', '2023-04-19 23:22:00');
@@ -0,0 +1,117 @@
+--DROP TABLE mnoskov.course_completion_rate ON CLUSTER clickhouse_cluster sync;
+CREATE TABLE mnoskov.course_completion_rate
+ON CLUSTER clickhouse_cluster
+(
+	user_id UInt64,
+	user_name String,
+	course_id UInt64,
+	course_title String,
+	lessons_in_course UInt16,
+	lesson_viewed UInt16,
+	completion_rate Float32
+)
+ENGINE = ReplicatedMergeTree(
+    '/clickhouse/tables/{shard}/mnoskov/course_completion_rate',
+    '{replica}'
+)
+ORDER BY (user_id, course_id);
+
+--DROP VIEW mnoskov.mv_course_completion_rate ON CLUSTER clickhouse_cluster sync;
+CREATE MATERIALIZED VIEW mnoskov.mv_course_completion_rate
+ON CLUSTER clickhouse_cluster
+TO mnoskov.course_completion_rate
+AS
+SELECT
+	u.user_id AS user_id,
+	u.name AS user_name,
+	cl.course_id AS course_id,
+	cl.course_title AS course_title,
+	cl.lessons_in_course AS lessons_in_course,
+	lv.lesson_viewed AS lesson_viewed,
+	ifnull(round(toFloat32(ifnull(lv.lesson_viewed, 0)) / nullif(cl.lessons_in_course, 0), 2), 0) AS completion_rate -- вроде все логично
+FROM
+	mnoskov.core_enrollments e
+RIGHT JOIN
+	mnoskov.core_dim_user u ON e.user_id = u.user_id
+JOIN (
+	SELECT
+		c.course_id,
+		c.title AS course_title,
+		uniq(lesson_id) lessons_in_course
+	FROM
+		mnoskov.core_dim_course c
+	JOIN
+		mnoskov.core_dim_lesson l ON l.course_id = c.course_id
+	GROUP BY
+		c.course_id, c.title
+) cl ON e.course_id = cl.course_id
+LEFT JOIN (
+	SELECT
+		user_id,
+		course_id,
+		uniq(lesson_id) AS lesson_viewed
+	FROM
+		mnoskov.core_fact_lesson_views
+	GROUP BY
+		user_id, course_id
+) lv ON e.user_id = lv.user_id AND e.course_id = lv.course_id
+ORDER BY
+	u.user_id, e.course_id;
+
+-- Чтение очищение заполнение
+SHOW TABLES FROM mnoskov;
+
+SELECT * FROM mnoskov.core_enrollments;
+SELECT * FROM mnoskov.course_completion_rate;
+
+TRUNCATE TABLE mnoskov.core_enrollments ON CLUSTER clickhouse_cluster sync;
+TRUNCATE TABLE mnoskov.course_completion_rate ON CLUSTER clickhouse_cluster sync;
+
+INSERT INTO mnoskov.core_enrollments
+(user_id, course_id, enrolled_at)
+VALUES
+(6, 1, '2023-01-05 23:00:00'),
+(14, 2, '2023-01-08 23:00:00'),
+(14, 3, '2023-01-08 23:00:00'),
+(14, 1, '2023-01-08 23:00:00'),
+(6, 2, '2023-01-09 23:00:00'),
+(15, 1, '2023-01-10 23:00:00'),
+(7, 1, '2023-01-12 23:00:00'),
+(1, 1, '2023-01-14 23:00:00'),
+(12, 1, '2023-01-15 23:00:00'),
+(13, 2, '2023-01-18 23:00:00'),
+(2, 1, '2023-01-19 23:00:00'),
+(8, 3, '2023-01-21 23:00:00'),
+(8, 1, '2023-01-21 23:00:00'),
+(8, 2, '2023-01-21 23:00:00'),
+(1, 2, '2023-01-31 23:00:00'),
+(7, 2, '2023-01-31 23:00:00'),
+(14, 4, '2023-01-31 23:00:00'),
+(15, 2, '2023-01-31 23:00:00'),
+(6, 4, '2023-02-04 23:00:00'),
+(1, 4, '2023-02-09 23:00:00'),
+(9, 4, '2023-02-11 23:00:00'),
+(9, 1, '2023-02-14 23:00:00'),
+(16, 2, '2023-02-15 23:00:00'),
+(16, 4, '2023-02-15 23:00:00'),
+(13, 4, '2023-02-19 23:00:00'),
+(3, 1, '2023-02-24 23:00:00'),
+(3, 2, '2023-03-04 23:00:00'),
+(15, 3, '2023-03-04 23:00:00'),
+(6, 3, '2023-03-07 23:00:00'),
+(4, 2, '2023-03-09 23:00:00'),
+(7, 3, '2023-03-09 23:00:00'),
+(12, 3, '2023-03-09 23:00:00'),
+(2, 3, '2023-03-14 23:00:00'),
+(5, 5, '2023-03-19 23:00:00'),
+(14, 5, '2023-03-19 23:00:00'),
+(17, 3, '2023-03-21 23:00:00'),
+(17, 5, '2023-03-24 23:00:00'),
+(4, 3, '2023-03-31 23:00:00'),
+(18, 1, '2023-04-01 23:00:00'),
+(18, 4, '2023-04-04 23:00:00'),
+(19, 1, '2023-04-10 23:00:00'),
+(19, 2, '2023-04-10 23:00:00'),
+(10, 1, '2023-04-15 23:00:00'),
+(20, 2, '2023-04-18 23:00:00'),
+(11, 2, '2023-04-20 23:00:00');