Базы данных
Хранение данных и индексирование
Подсистема хранения данных
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование2
Структура
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование3
Типы памяти
| Тип | Характеристика | Величина |
|---|---|---|
| Оперативная память | Объем | 512 ГБ |
| Цена | ~20 $/ГБ | |
| Быстродействие | ~100+ ГБ/c | |
| Время доступа | 0.1-1 μ/c | |
| SSD | Объем | 1−16 ТБ |
| Цена | ~0.1 $/ГБ | |
| Быстродействие | 1−6 ГБ/c | |
| Время доступа | 0.1−0.2 мс | |
| Жёсткие диски | Объем | 4−20 ТБ |
| Цена | 0.03 $/ГБ | |
| Быстродействие | 20−200 МБ/c | |
| Время доступа | 5−100 мc |
Георгий КорнеевБазы данных / Хранение данных и индексирование4
Особенности жёстких дисков
- Большое время поиска
- Скорость чтения
- Последовательный доступ – средняя
- Случайный доступ – низкая
- Сократить число обращений
- Сделать их последовательными
Георгий КорнеевБазы данных / Хранение данных и индексирование5
Страницы памяти
- Память разбита на равные страницы
- Прямое отображение в память
- Загрузка и выгрузка всей страницы
- Для IA32 и AMD64 обычно 4КБ, 2МБ и 1ГБ
- Обработка быстрее чем чтение
- Последовательности страниц
- Данные одного типа
- Частые переходы к следующей/предыдущей странице
- Желательно хранить последовательно
Георгий КорнеевБазы данных / Хранение данных и индексирование6
Доступ к данным
Георгий КорнеевБазы данных / Хранение данных и индексирование7
Модули системы хранения
- Диспетчер диска
- Каталог страниц
- Оптимизация последовательностей страниц
- Диспетчер страниц
- Доступ к страницам
- Распределение памяти
- Выгрузка данных
- Диспетчер записей
- Доступ к записям
Георгий КорнеевБазы данных / Хранение данных и индексирование8
Организация данных
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование9
Организация данных
- Файл – одна или несколько таблиц
- Таблица – несколько страниц
- Страница – несколько записей
- Какие проблемы?
- Записи длиннее страницы
Георгий КорнеевБазы данных / Хранение данных и индексирование10
Список страниц
- Диспетчер диска – последовательности
- Диспетчер памяти – предвыборка
Георгий КорнеевБазы данных / Хранение данных и индексирование11
Идентификатор записи
- Id записи (RID)
- Id страницы
- Id записи на странице
- Используется во многих местах
- Не должен меняться
- Как хранить данные страницы?
Георгий КорнеевБазы данных / Хранение данных и индексирование12
Записи на странице
- Что делать, когда записи не помещаются?
Георгий КорнеевБазы данных / Хранение данных и индексирование13
Страницы переполнения
- Как избежать цепочек?
- Изменять ссылки на исходной странице
Георгий КорнеевБазы данных / Хранение данных и индексирование14
Сжатие данных
- Данные на страницах можно сжимать
- Больше вычислений
- Меньше ввода-вывода
- Часто – быстрее
- Использование структуры данных
- Сжатие по полям
- Инкрементальное сжатие
- Префиксное сжатие
Георгий КорнеевБазы данных / Хранение данных и индексирование15
Индексация данных
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование16
Индексы
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование17
Зачем нужна индексация?
- Несколько миллионов+ записей
- Как найти нужную?
- Полный просмотр таблицы
- Индексация: поиск в структуре данных
Георгий КорнеевБазы данных / Хранение данных и индексирование18
Полный просмотр таблицы
- Последовательный перебор записей
- Размер таблиц
- Большие и средние – медленно
- Маленькие – быстро
- Количество выбираемых данных
- Малая доля – медленно
- Бóльшая часть – быстро
Георгий КорнеевБазы данных / Хранение данных и индексирование19
Индекс
- Набор столбцов
- Не обязательно ключ
- Предварительная обработка
- При построении
- При обновлении
- Быстрый поиск в индексе
- Указатель на запись
Георгий КорнеевБазы данных / Хранение данных и индексирование20
Структура индекса
- Почему не хранить данные в порядке индекса?
Георгий КорнеевБазы данных / Хранение данных и индексирование21
Кластеризованный индекс
- Выше скорость просмотра
- Упорядоченность
- Может быть только один
Георгий КорнеевБазы данных / Хранение данных и индексирование22
Хэш-индексы
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование23
Хэш-индекс
- Предварительная обработка
- Подсчёт хэшей ключей
- Разбиение на корзины
- Поиск в индексе
- Просмотр корзины
- Несколько ключей в корзине
- Заголовок помещается в памяти
Георгий КорнеевБазы данных / Хранение данных и индексирование24
Простой хэш-индекс
- Что делать, если корзина не помещается на страницу?
Георгий КорнеевБазы данных / Хранение данных и индексирование25
Последовательности страниц
- Линейное время поиска
- Что делать с большими корзинами?
- Перехэширование очень дорого
Георгий КорнеевБазы данных / Хранение данных и индексирование26
Расширяемое хэширование
- Большое количество корзин
- Несколько корзин на одной странице
- Обычно – последовательных
- Разделение корзин при переполнении страницы
- При плохой хэш-функции – не поможет
Георгий КорнеевБазы данных / Хранение данных и индексирование27
Побитное расш. хэширование
- Глубина хэша $n$
- $2^n$ корзин
- Локальная глубина страницы $k$
- $2^{n-k}$ корзин на странице
- Может быть разной
- Разделение корзин
- Страница глубины $k$ разделяется на две глубины $k + 1$
Георгий КорнеевБазы данных / Хранение данных и индексирование28
Ускоряемые запросы
- Проверка существования ключа
- Проверка повторений (ключи)
- in
- exist
- count
- Поиск по ключу
- Естественные соединения
- join using
Георгий КорнеевБазы данных / Хранение данных и индексирование29
Упорядоченные индексы
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование30
Упорядоченные индексы
- Предварительная обработка
- Ключи упорядочиваются по возрастанию
- Поиск в индексе
- Поиск в упорядоченной последовательности
- Требуемые операции
- Вставка
- Удаление
- Быстрый поиск
- Какую структуру данных использовать?
- Деревья поиска
Георгий КорнеевБазы данных / Хранение данных и индексирование31
Деревья поиска
- Количество операций
- $O(высота)$
- Минимизировать высоту
- Размер узла
- Размер страницы
- ⇒ Сильно ветвящиеся
Георгий КорнеевБазы данных / Хранение данных и индексирование32
B и B+ -деревья
- $B$ деревья степени $n$
- От $n/2$ до $n$ детей
- Указатели и ключи хранятся в узлах
- $B^+$ деревья степени $n$
- От $n/2$ до $n$ детей
- Указатели хранятся в листьях
- Сравнение
- В $B^+$ меньше данных в узлах – сильнее ветвятся
- $B^+$ на одну страницу глубже
- Корень и несколько первых уровней – в памяти
Георгий КорнеевБазы данных / Хранение данных и индексирование33
Плотные и разреженные
- Плотный индекс
- Ключи всех записей
- Разреженный индекс
- Кластеризованный
- Ключи части записей
- Обычно – один на страницу
- Частичный индекс
- Ключи части записей
- Выбираются по условию
Георгий КорнеевБазы данных / Хранение данных и индексирование34
Данные и индексация
- Строки
- Много данных в ключе – меньше степень ветвления
- Можно использовать префиксы
- Суррогатные ключи
- Малый размер
- Неизменяемые
- ⇒ Высокая эффективность
- Изменяющиеся данные
- Частое обновление индекса
- Число чтений ≫ изменений
Георгий КорнеевБазы данных / Хранение данных и индексирование35
Ускоряемые запросы
- Проверка существования ключа
- Поиск по ключу
- Минимум и максимум
- Диапазон
- Загрузка
- count
- like по префиксу
name like 'M343%'
Георгий КорнеевБазы данных / Хранение данных и индексирование36
Другие типы индексов
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование37
Пример битового индекса
Георгий КорнеевБазы данных / Хранение данных и индексирование38
Битовый (bitmap) индекс
- По одному биту на каждое возможное значение
- Хранятся битовые маски
- По столбцам
- Ускоряемые запросы
- Логические выражения
- count
- Долгое обновление
Георгий КорнеевБазы данных / Хранение данных и индексирование39
Многозначный битовый индекс
Георгий КорнеевБазы данных / Хранение данных и индексирование40
Битовый индекс с накоплением
Георгий КорнеевБазы данных / Хранение данных и индексирование41
Составной битовый индекс
Георгий КорнеевБазы данных / Хранение данных и индексирование42
Запрос по битовому индексу
- Gender = 'М' and Year <= 3
- М and 3
Георгий КорнеевБазы данных / Хранение данных и индексирование43
Оптимизация битового индекса
- Часто целиком помещаются в памяти
- Сжатие индекса
- RLE-кодирование
- Byte-aligned Bitmap Code – логические операции без распаковки
- Сложность перестроения
- Создание корзин
- Склеивание некоторых значений
- Оцените размер сжатого битового индекса
- Число записей × число полей
Георгий КорнеевБазы данных / Хранение данных и индексирование44
Пример R-дерева
- Составные индексы
Георгий КорнеевБазы данных / Хранение данных и индексирование45
R-деревья
- Разбиение данных на параллелепипеды
- Минимальные охватывающие
- Ускоряемые запросы
- Диапазоны по нескольким координатам
- Поиск ближайших значений
Георгий КорнеевБазы данных / Хранение данных и индексирование46
Применение индексов
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование47
Выбор типа индекса
- Поиск по (Фамилия, Имя)
- Хэш индекс
- Компактный
- Поиск только по фамилии
- Упорядоченный индекс
- Поиск по фамилии
- Поиск по префиксу
- Возможность использования диапазонов
- Индекс на строках
Георгий КорнеевБазы данных / Хранение данных и индексирование48
Селективность индекса
- Насколько хорошо индекс «раскидывает» данные
- Процент записей, получаемых по значению
- count distinct / count – среднее
- max count / count – худшее
- Примеры
- Номер паспорта – высокая селективность
- Возраст человека – средняя селективность
- Пол человека – низкая селективность
Георгий КорнеевБазы данных / Хранение данных и индексирование49
Оценка селективности
- Статистика
- Предыдущие запросы
- Специальный подсчёт
- Хэш-индексы
- Размеры и количество корзин
- $B$-деревья
- Верхние уровни – гистограмма распределения
- При низкой селективности индекс не используется
Георгий КорнеевБазы данных / Хранение данных и индексирование50
Покрывающий индекс
- В индексе есть все требуемые столбцы
- Не требуется загрузка записи
- Дополнительные столбцы индекса
- По которым индексация не требуется
- Увеличение размера индекса
Георгий КорнеевБазы данных / Хранение данных и индексирование51
Рекомендации
- Индексы на ключи
- Индексы на внешние ключи
- Индексы на запросы по диапазонам
- Индексы таблиц связей
- Упорядоченные индексы на ($id_1$, $id_2$) и ($id_2$, $id_1$)
- Индексы на строки
- Только для частых/массовых операций над строками
Георгий КорнеевБазы данных / Хранение данных и индексирование52
Индексы и SQL
- При определении таблицы
index {имя} {unique|sparse|..} [using метод] (столбцы)
- После определения таблицы
create {unique|sparse|..} index {имя} on таблица [using метод] (столбцы)
- Частичные индексы
where условие
- Удаление индекса
drop index {name}
Георгий КорнеевБазы данных / Хранение данных и индексирование53
Литература
Содержание
Георгий КорнеевБазы данных / Хранение данных и индексирование54
Основная литература
- Дейт К. Введение в системы баз данных (Приложение Г)
Георгий КорнеевБазы данных / Хранение данных и индексирование55
Дополнительная литература
- Кнут Д. Искусство программирования. Том 3. Сортировка и поиск
- Silberschatz A., Korth H. F., Sudarshan S. Database System Concepts
Георгий КорнеевБазы данных / Хранение данных и индексирование56