Користувач #1:
Вік: 25
Зріст: 170 см
Місто: Київ
Інтереси: "походи, читання, кава"

Користувач #2:
Вік: 999
Зріст: -5 см
Місто: "у твоєї мами вдома лол"
Інтереси: [порожньо]

Користувач #3:
Вік: 18
Зріст: 6'2"
Місто: Kyiv
Інтереси: "походи кава КАВА походи читання походи"

Користувач #4:
Вік: 0
Зріст: null
Місто: "Київ, Україна, Земля"
Інтереси: "😎🏖️💪🎮"

📊 Розподіл часу проєкту:

80% Робота з даними:
├─ 30% Пошук та збір даних
├─ 25% Очищення та виправлення проблем
├─ 15% Feature engineering
└─ 10% Розуміння того, що у вас є

20% Все інше:
├─ 10% Навчання моделей
├─ 5% Налаштування гіперпараметрів
└─ 5% Деплой та моніторинг

ValueError: Input contains NaN, infinity or a value too large

# Видалити рядки з БУДЬ-ЯКИМ відсутнім значенням
clean_data = data.dropna()

✅ Плюси: Просто, чистий датасет
❌ Мінуси: Можете втратити 50%+ своїх даних!

# Видалити колонку, якщо >30% значень відсутні
clean_data = data.drop('income', axis=1)

✅ Плюси: Зберегти всі рядки
❌ Мінуси: Втратити потенційно цінну ознаку

# Заповнити середнім (для числових даних)
data['age'].fillna(data['age'].mean(), inplace=True)

# Заповнити медіаною (краще для викидів)
data['income'].fillna(data['income'].median(), inplace=True)

# Заповнити модою (для категоріальних даних)
data['city'].fillna(data['city'].mode()[0], inplace=True)

✅ Плюси: Зберегти всі дані
❌ Мінуси: Може приховати патерни ("чому це відсутнє?")

# Для категоріальних даних зробити "відсутнє" валідною категорією
data['city'].fillna('Unknown', inplace=True)

✅ Плюси: Зберігає сигнал "відсутності"
❌ Мінуси: Створює штучну категорію

# Використовувати інші ознаки для передбачення відсутніх значень
from sklearn.impute import KNNImputer

imputer = KNNImputer(n_neighbors=5)
data_imputed = imputer.fit_transform(data)

✅ Плюси: Розумний, використовує патерни в даних
❌ Мінуси: Обчислювально затратний, може бути надто впевненим

# Видалити точні дублікати
data_clean = data.drop_duplicates()

# Або тільки в конкретних колонках
data_clean = data.drop_duplicates(subset=['email'])

✅ Просто і безпечно

# Для схожості тексту
from difflib import SequenceMatcher

def similar(a, b):
    return SequenceMatcher(None, a, b).ratio() > 0.9

# Знайти схожі імена
for i in range(len(data)):
    for j in range(i+1, len(data)):
        if similar(data['name'][i], data['name'][j]):
            print(f"Можливий дублікат: {data['name'][i]} ≈ {data['name'][j]}")

⚠️ Потребує ручного перегляду

# Перед видаленням дублікатів
print(f"Оригінальний розмір: {len(data)}")
print(f"Унікальні email: {data['email'].nunique()}")

# Видалити
data_clean = data.drop_duplicates(subset=['email'], keep='first')

print(f"Після дедуплікації: {len(data_clean)}")
print(f"Видалено: {len(data) - len(data_clean)} дублікатів ({100*(len(data)-len(data_clean))/len(data):.1f}%)")

product          | category
Ноутбук Pro 15"  | Електроніка
iPhone 14        | електроніка  # малі літери
Samsung TV       | ЕЛЕКТРОНІКА  # великі літери
iPad Air         | Електроніка > Планшети  # ієрархія
AirPods Pro      | Побутова електроніка  # детальніше
MacBook          | Техніка / Електроніка  # альтернативний роздільник
Smart Watch      | Носимі пристрої, Електроніка  # кілька категорій

2024-01-15      # ISO формат
01/15/2024      # Американський формат
15/01/2024      # Європейський формат
15-Jan-2024     # Текстовий місяць
Jan 15, 2024    # Повний текст
1705276800      # Unix timestamp

+38 (050) 123-45-67
+380501234567
050-123-45-67
0501234567
(050) 123-45-67

вул. Хрещатик 1, Київ, 01001
вулиця Хрещатик, буд. 1, м. Київ, 01001
хрещатик 1, київ, 01001

# Перетворити в малі літери
data['category'] = data['category'].str.lower()

# Видалити зайві пробіли
data['category'] = data['category'].str.strip()

# Замінити синоніми
category_map = {
    'електроніка': 'електроніка',
    'техніка': 'електроніка',
    'побутова електроніка': 'електроніка',
    'електронний': 'електроніка'
}
data['category'] = data['category'].map(category_map).fillna(data['category'])

✅ Створює узгоджений формат

import pandas as pd

# Дати: конвертувати все в datetime
data['date'] = pd.to_datetime(data['date'], infer_datetime_format=True)

# Потім форматувати однаково
data['date_str'] = data['date'].dt.strftime('%Y-%m-%d')

# Номери телефонів: видалити всі нецифри
data['phone'] = data['phone'].str.replace(r'[^0-9]', '', regex=True)

✅ Обробляє кілька вхідних форматів

# Визначити валідні категорії
VALID_CATEGORIES = ['електроніка', 'одяг', 'їжа', 'книги']

# Позначити невалідні записи
data['category_valid'] = data['category'].isin(VALID_CATEGORIES)

# Обробити невалідні
data.loc[~data['category_valid'], 'category'] = 'інше'

✅ Забезпечує якість даних на вході

import numpy as np

# Метод 1: Z-score (скільки стандартних відхилень)
from scipy import stats

z_scores = np.abs(stats.zscore(data['fare_usd']))
outliers = z_scores > 3  # Далі 3 стандартних відхилень

print(f"Знайдено {outliers.sum()} викидів")

# Метод 2: IQR (Міжквартильний розмах)
Q1 = data['fare_usd'].quantile(0.25)
Q3 = data['fare_usd'].quantile(0.75)
IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

outliers = (data['fare_usd'] < lower_bound) | (data['fare_usd'] > upper_bound)

✅ Працює для нормально розподілених даних
❌ Може позначити валідні екстремальні значення

# На основі бізнес-логіки
invalid_trips = (
    (data['distance_km'] < 0) |           # Негативна відстань неможлива
    (data['distance_km'] > 500) |         # 500км надто далеко для міської поїздки
    (data['duration_min'] <= 0) |         # Нульовий час неможливий
    (data['fare_usd'] < 2.50) |           # Мінімальний тариф
    (data['fare_usd'] > 1000) |           # Підозріло дорого
    (data['speed_kmh'] > 120)             # Обмеження швидкості 100
)

print(f"Знайдено {invalid_trips.sum()} невалідних поїздок")

# Позначити їх
data['is_valid'] = ~invalid_trips

✅ Використовує бізнес-логіку
✅ Пояснюване

import matplotlib.pyplot as plt

# Box plot для виявлення викидів
data['fare_usd'].plot(kind='box')
plt.title('Розподіл тарифів')
plt.show()

# Scatter plot для відношень
plt.scatter(data['distance_km'], data['fare_usd'])
plt.xlabel('Відстань (км)')
plt.ylabel('Тариф (USD)')
plt.title('Відстань vs Тариф')
plt.show()

✅ Візуальна перевірка ловить дивні патерни

# Обмеження (Winsorization)
upper_limit = data['fare_usd'].quantile(0.99)
data['fare_usd_capped'] = data['fare_usd'].clip(upper=upper_limit)

age
25
"32"        # Рядок замість числа
"сорок два" # Текст
None        # Відсутнє
25.5        # Десяткове (віки зазвичай цілі числа)
"25 років"  # З одиницями
-5          # Негативний (помилка)
999         # Значення за замовчуванням для відсутніх?

# Конвертувати типи
data['age'] = pd.to_numeric(data['age'], errors='coerce')  # Нечислові → NaN

# Потім очистити
data = data[data['age'] > 0]          # Видалити негативні
data = data[data['age'] < 120]        # Видалити неможливі
data['age'] = data['age'].astype(int) # Конвертувати в ціле

# Для категоріальних
data['category'] = data['category'].astype('category')

✅ Забезпечує узгодженість типів

# Перевірити відсутні значення
print(data.isnull().sum())
print(f"Відсоток відсутніх:\n{data.isnull().mean() * 100}")

# Перевірити порожні рядки
print((data == '').sum())

# Перевірити дублікати
print(f"Всього рядків: {len(data)}")
print(f"Унікальні рядки: {len(data.drop_duplicates())}")
print(f"Дублікати: {len(data) - len(data.drop_duplicates())}")

# Перевірити унікальність ID
print(f"Унікальні ID: {data['id'].nunique()} з {len(data)}")

# Перевірити типи даних
print(data.dtypes)

# Перевірити формати значень
print(data['phone'].value_counts()[:10])  # Побачити варіації формату
print(data['date'].value_counts()[:10])

# Перевірити діапазони
print(data.describe())

# Перевірити неможливі значення
print(f"Негативні віки: {(data['age'] < 0).sum()}")
print(f"Майбутні дати: {(data['date'] > pd.Timestamp.now()).sum()}")

# Вибірка випадкових рядків та ручна перевірка
print(data.sample(10))

# Перевірка з відомою правдою
# (наприклад, загальні продажі повинні збігатися з обліковими записами)

import pandas as pd

# Завантажити дані
data = pd.read_csv('customers.csv')

print(f"Розмір: {data.shape}")
print(f"\nІнфо:")
print(data.info())
print(f"\nВідсутні значення:")
print(data.isnull().sum())
print(f"\nДублікати: {data.duplicated().sum()}")

before = len(data)
data = data.drop_duplicates()
after = len(data)

print(f"Видалено {before - after} дублікатів ({100*(before-after)/before:.1f}%)")

# Конвертувати всі формати дат в datetime
data['signup_date'] = pd.to_datetime(data['signup_date'], errors='coerce')

# Видалити невалідні дати
data = data[data['signup_date'].notnull()]

print(f"Залишилось {len(data)} рядків з валідними датами")

# Заповнити відсутні віки медіаною
median_age = data['age'].median()
data['age'].fillna(median_age, inplace=True)

# Виправити викиди (обмежити розумним діапазоном)
data.loc[data['age'] < 18, 'age'] = 18
data.loc[data['age'] > 100, 'age'] = 100

print(f"Діапазон віку: {data['age'].min()} - {data['age'].max()}")

# Місто: малі літери та мапити загальні варіації
data['city'] = data['city'].str.lower().str.strip()

city_map = {
    'lviv': 'львів',
    'kyiv': 'київ'
}
data['city'] = data['city'].replace(city_map)

# План: стандартизувати регістр
data['plan'] = data['plan'].str.lower()

# Статус: стандартизувати
data['status'] = data['status'].str.lower()

print(f"\nУнікальні міста: {data['city'].unique()}")
print(f"Унікальні плани: {data['plan'].unique()}")

# Видалити $ та конвертувати у float
data['monthly_fee'] = data['monthly_fee'].replace('[\$,]', '', regex=True)
data['monthly_fee'] = pd.to_numeric(data['monthly_fee'], errors='coerce')

# Заповнити відсутні тарифи на основі плану
plan_fees = data.groupby('plan')['monthly_fee'].median()
data['monthly_fee'] = data.groupby('plan')['monthly_fee'].transform(
    lambda x: x.fillna(x.median())
)

print(f"\nТарифи по планах:\n{plan_fees}")

# Створити звіт якості даних
print("\n=== ЗВІТ ЯКОСТІ ДАНИХ ===")
print(f"Всього рядків: {len(data)}")
print(f"Діапазон дат: {data['signup_date'].min()} до {data['signup_date'].max()}")
print(f"Діапазон віку: {data['age'].min()} до {data['age'].max()}")
print(f"Відсутні значення:\n{data.isnull().sum()}")
print(f"\nРозподіл значень:")
print(f"Міста:\n{data['city'].value_counts()}")
print(f"\nПлани:\n{data['plan'].value_counts()}")
print(f"\nСтатус:\n{data['status'].value_counts()}")

# Зберегти очищену версію
data.to_csv('customers_clean.csv', index=False)

print("\n✅ Очищення даних завершено!")
print(f"Чисті дані збережені в customers_clean.csv")

# ❌ НЕПРАВИЛЬНО: Спочатку очистити весь датасет
data_clean = clean_data(data)
train, test = split(data_clean)

# ✅ ПРАВИЛЬНО: Спочатку розбити, потім очистити train і test окремо
train, test = split(data)
train_clean = clean_data(train)
test_clean = clean_data(test)

# ❌ Видалення будь-якого рядка з БУДЬ-ЯКИМ відсутнім значенням
data_clean = data.dropna()  # Втратили 80% даних!

# ✅ Розумніший підхід
# Видалити колонки з >50% відсутніх
cols_to_keep = data.columns[data.isnull().mean() < 0.5]
data = data[cols_to_keep]

# Потім заповнити решту відсутніх значень
data = impute(data)

# ❌ Просто тихо очищаємо
data['age'].fillna(30, inplace=True)

# ✅ Документуємо все
log_cleaning_step("age", "заповнено відсутні", f"використано медіану: {data['age'].median()}")
data['age'].fillna(data['age'].median(), inplace=True)

# ❌ Сліпе використання статистичних методів
data = data[data['income'] < data['income'].quantile(0.99)]  # Обмежити 99-м персентилем

# ✅ Використовувати бізнес-логіку
data = data[data['income'] < 500000]  # Жоден клієнт не заробляє >500k (ми продаємо піцу, не яхти!)

# Основні
import pandas as pd
import numpy as np

# Візуалізація
import matplotlib.pyplot as plt
import seaborn as sns

# Поглиблене очищення
from sklearn.impute import SimpleImputer, KNNImputer
from sklearn.preprocessing import StandardScaler

# Спеціалізовані
import missingno as msno  # Візуалізувати відсутні дані
import pandas_profiling  # Автоматичний звіт якості даних

# Встановити: pip install pandas-profiling
from pandas_profiling import ProfileReport

profile = ProfileReport(data, title='Звіт якості даних')
profile.to_file("data_quality_report.html")

# Відкриває інтерактивний HTML звіт з:
# - Візуалізація відсутніх значень
# - Матриця кореляції
# - Графіки розподілу
# - Виявлення дублікатів
# - і багато іншого!

1. Завантажити та перевірити
   ├─ Перевірити форму та типи
   ├─ Подивитись перші/останні рядки
   ├─ Отримати підсумкову статистику
   └─ Порахувати відсутні значення

2. Обробити дублікати
   ├─ Видалити точні дублікати
   ├─ Ідентифікувати нечіткі дублікати
   └─ Задокументувати видалення

3. Виправити відсутні значення
   ├─ Зрозуміти чому відсутні
   ├─ Вирішити стратегію для кожної колонки
   └─ Заповнити або видалити

4. Стандартизувати формати
   ├─ Дати → datetime
   ├─ Текст → малі літери
   ├─ Категорії → стандартні назви
   └─ Числа → правильні типи

5. Обробити викиди
   ├─ Виявити за допомогою статистики/візуалізації
   ├─ Дослідити причину
   └─ Обмежити, видалити або залишити

6. Валідувати
   ├─ Перевірити діапазони
   ├─ Перевірити узгодженість
   ├─ Зразковий ручний огляд
   └─ Створити звіт якості

7. Документувати та зберегти
   ├─ Залогувати всі трансформації
   ├─ Зберегти конвеєр очищення
   └─ Експортувати чисті дані