Базы данных
Транзакции
Транзакции
Содержание
Георгий КорнеевБазы данных / Транзакции2
Транзакция
- Минимальный фиксируемый в БД объем работы
- Неявные транзакции
- Для каждого оператора
- Нетранзакционные действия
- Изменение схемы данных
Георгий КорнеевБазы данных / Транзакции3
Примеры транзакций
- Простая транзакция
- Добавление нового счета
insert into accs (id, money) values (1, 0);
- Составная транзакция
- Перевод денег
update accs set money = money - 100 where id = 1; update accs set money = money + 100 where id = 2;
- При переводе количество денег в системе должно сохраняться
Георгий КорнеевБазы данных / Транзакции4
Управление транзакциями
- Старт транзакции
start transaction
- Завершение транзакции
commit
- Изменения фиксируются в базе данных
- Откат транзакции
rollback
- Изменения игнорируются
- Может производиться автоматически
Георгий КорнеевБазы данных / Транзакции5
Пример условной транзакции
- Перевод денег с проверкой баланса
start transaction; if ((select money from accs where id = 1) ≤ 100) rollback; update accs set money = money - 100 where id = 1; update accs set money = money + 100 where id = 2; commit;
Георгий КорнеевБазы данных / Транзакции6
Свойства транзакций (ACID)
- Атомарность (atomicity)
- Все или ничего
- Согласованность (consistency)
- После транзакции БД остаётся в согласованном состоянии
- Изоляция (isolation)
- Транзакции не взаимодействуют между собой
- Устойчивость (durability)
- Изменения не теряются
Георгий КорнеевБазы данных / Транзакции7
Корректность и согласованность
- Согласованность
- Состояние БД удовлетворяет ограничениям
- Автоматически проверяется СУБД
- Корректность
- Состояние БД соответствует реальному миру
- Совместимость + дополнительные ограничения
- Сохранение денег при переводе
- Невозможно задать ограничениями
- Требуется в реальном мире
Георгий КорнеевБазы данных / Транзакции8
Минимизация транзакций
- Транзакции должны быть по возможности минимальны
- Лучше всего – неявные
- Препятствия минимизации
- Условное обновление
- Множественное обновление
- Промежуточная несовместимость
- Человеческий фактор
- Завершение транзакции не должно зависеть от людей
Георгий КорнеевБазы данных / Транзакции9
Восстановление
Содержание
Георгий КорнеевБазы данных / Транзакции10
Сбои
Содержание
Георгий КорнеевБазы данных / Транзакции11
Устойчивость
- Результаты завершённой транзакции сохраняются в БД даже при сбоях
- Оперативная памяти
- Потери при перезагрузке
- ⇒ хранение информации на диске
- Диски
- Избыточность
- Быстрые чтение и запись – последовательные
Георгий КорнеевБазы данных / Транзакции12
Типы сбоев
- Локальный
- Одна транзакция
- Глобальный
- Все транзакции
- Аппаратный
- Потеря данных в памяти
- Отказ оборудования
- Потеря данных на дисках
Георгий КорнеевБазы данных / Транзакции13
Восстановление после сбоя
- Транзакции
- Подтверждённые – зафиксировать
- Откаченные – откатить
- Незавершённые – откатить
- Где взять данные для отката?
- Писать изменённые данные в новое место
(shadow copy) - Писать данные в старое место + журнал изменений (transaction log)
Георгий КорнеевБазы данных / Транзакции14
Журнал транзакций
Содержание
Георгий КорнеевБазы данных / Транзакции15
Журнал транзакций
- Надёжное хранилище изменений
- Записывается последовательно
- Что записывается
- Старые данные
- Новые данные
- Маркеры начала и завершения транзакций
- Завершение транзакции
- Запись всех изменений в журнал
- Запись маркера завершения транзакции
- Уведомление о завершении транзакции
Георгий КорнеевБазы данных / Транзакции16
Реализация журнала
- Постоянная запись на диск
- Много операций
- Данные откаченных транзакций
- Конкуренция за доступ к диску
- Запись при завершении
- Хранение изменений в памяти
- Запись при завершении
- Что делать с большим объёмом данных?
Георгий КорнеевБазы данных / Транзакции17
Точки восстановления
- «Слепок» состояния системы
- Текущие изменения
- Завершённые транзакции
- Откаченные транзакции
- Открытые транзакции
- Требует приостановки изменений
- Чем реже – тем лучше
- Чем чаще – тем меньше памяти
Георгий КорнеевБазы данных / Транзакции18
Структура журнала
- Точка восстановления
- События
- Идентификатор транзакции
- Указатель на предыдущее событие транзакции
- Типы событий
- Начало транзакции
- Изменение
- Завершение транзакции
- Откат транзакции
Георгий КорнеевБазы данных / Транзакции19
Транзакции после сбоя (1)
Георгий КорнеевБазы данных / Транзакции20
Транзакции после сбоя (2)
- Обязательное поведение
Георгий КорнеевБазы данных / Транзакции21
Классический алгоритм восстановления
Содержание
Георгий КорнеевБазы данных / Транзакции22
Восстановление после сбоя
- Фазы классического алгоритма
- Разметка транзакций
- Откат транзакций
- Повтор транзакций
- Множества транзакций
- Redo – повторить (накатить)
- Undo – откатить
Георгий КорнеевБазы данных / Транзакции23
Фаза разметки транзакций
- Разбиение транзакций на Redo и Undo
- Чтение журнала
- От последней контрольной точки до конца
- Алгоритм
- Контрольная точка – поместить все открытые транзакции в Undo
- Маркер начала – добавить транзакцию в Undo
- Маркер конца – перенести транзакцию из Undo в Redo
Георгий КорнеевБазы данных / Транзакции24
Фаза отката транзакций
- Откат транзакций из Undo
- Чтение журнала
- От конца к началу
- Пока Undo не пуст
- Алгоритм
- Маркер начала – удалить транзакцию из Undo
- Изменение – если транзакция в Undo, откатить
Георгий КорнеевБазы данных / Транзакции25
Фаза повторения транзакций
- Повтор транзакций из Redo
- Чтение журнала
- От последней контрольной точки до конца
- Алгоритм
- Маркер конца – удалить транзакцию из Redo
- Изменение – если транзакция в Redo, применить
Георгий КорнеевБазы данных / Транзакции26
Длина журнала
- Когда можно удалять данные из журнала?
- Закончены все открытые транзакции
- По точкам восстановления
- Удаляется префикс
Георгий КорнеевБазы данных / Транзакции27
Повторные сбои
Содержание
Георгий КорнеевБазы данных / Транзакции28
Повторные сбои
- Сбои во время восстановления
- Восстановление в памяти
- Устойчиво к повторным сбоям
- Памяти для Undo может не хватить
- Почему хватит памяти для Redo?
- Запись на диск
- Дополнение журнала транзакций
Георгий КорнеевБазы данных / Транзакции29
Классический алгоритм
- Откат изменения – тоже изменение
- Действия при откате
- Откатить изменение
- Внести запись об обратном изменении
- Повторение всех действий при сбое
- Рост анализируемой части журнала
- Что делать?
Георгий КорнеевБазы данных / Транзакции30
Алгоритм ARIES
Содержание
Георгий КорнеевБазы данных / Транзакции31
Алгоритм ARIES
- Фазы алгоритма
- Разметка транзакций
- Повторение истории
- Откат транзакций
Георгий КорнеевБазы данных / Транзакции32
Фаза повторения истории
- Восстановление состояния системы на момент сбоя
- Чтение журнала
- От последней контрольной точки до конца
- Алгоритм
- Изменение – применить
- Можно объединить с разметкой транзакций
Георгий КорнеевБазы данных / Транзакции33
Фаза отката транзакций
- Восстановление корректного состояния системы
- Чтение журнала
- Для транзакций из Undo
- От конца к началу
- Алгоритм
- Изменение – откатить
Георгий КорнеевБазы данных / Транзакции34
Повторные сбои
- Компенсационные записи
- Действия при откате
- Откатить изменение
- Записать на диск
- Внести компенсационную запись
- Повторение действий не требуется
Георгий КорнеевБазы данных / Транзакции35
Классический алг. vs. ARIES
- Количество проходов
- Классический алгоритм – 3
- ARIES – 2
- Рост журнала транзакций
- Классический алгоритм – записи отмены
- ARIES – компенсационные записи
- Повторные сбои
- Классический алгоритм – потеря эффективности
- ARIES – постепенное завершение
Георгий КорнеевБазы данных / Транзакции36
Отказ оборудования
Содержание
Георгий КорнеевБазы данных / Транзакции37
Методы борьбы
- Репликация данных
- Избыточность оборудования
- Резервное копирование
Георгий КорнеевБазы данных / Транзакции38
Репликация данных
- Несколько БД содержащих одинаковые данные
- Желательно, в разных местах
- В процессе работы
- Поддержка синхронности
- Распределённые транзакции
- При отказе
- Копия назначается основной базой
Георгий КорнеевБазы данных / Транзакции39
Избыточность оборудования
- Несколько копий данных БД
- В одной системе
- В процессе работы
- Параллельная запись
- RAID
- При отказе
- Замена диска
- Копирование данных
Георгий КорнеевБазы данных / Транзакции40
Резервное копирование
- Периодическое копирование всей БД
- Хранится отдельно
- В процессе работы
- Получение «слепков» базы
- Немного устаревшие данные
- При отказе
- Восстановление данных из «слепка»
- Повторное внесение данных
Георгий КорнеевБазы данных / Транзакции41
Параллельное исполнение
Содержание
Георгий КорнеевБазы данных / Транзакции42
Изоляция и конфликты
Содержание
Георгий КорнеевБазы данных / Транзакции43
Изоляция
- Транзакции могут исполняться параллельно
- Транзакция должна исполняться так, как будто она в системе одна
- Транзакции, корректные по отдельности, должны быть корректны в совокупности
- Исполнение транзакций в разных потоках
- Синхронизация
- Блокировки
- Каких проблем можно ожидать?
Георгий КорнеевБазы данных / Транзакции44
Потерянное обновление (1)
- Обновление, сделанное транзакцией 1, потеряно
Транзакция 1 Транзакция 2 retrieve t
update t
commit
retrieve t
update t
commit
Георгий КорнеевБазы данных / Транзакции45
Потерянное обновление (2)
- Обновление, сделанное транзакцией 1, потеряно
Транзакция 1 Транзакция 2
update t
commitupdate t
rollback
Георгий КорнеевБазы данных / Транзакции46
Незафиксированное изменение
- Значение, полученное транзакцией 1, не было зафиксировано
Транзакция 1 Транзакция 2
retrieve t
commitupdate t
rollback
Георгий КорнеевБазы данных / Транзакции47
Несогласованное состояние
- Значение, полученное транзакцией 1, не могло быть получено в согласованном состоянии
Транзакция 1 Транзакция 2
retrieve t_1
retrieve t_2
commitupdate t_1 = t_1 - 10
update t_2 = t_2 + 10
commit
Георгий КорнеевБазы данных / Транзакции48
Типы конфликтов
- Чтение – чтение
- Нет конфликтов
- Чтение – запись
- Некорректное состояние
- Запись – чтение
- Зависимость от незафиксированного изменения
- Запись – запись
- Потерянное обновление
Георгий КорнеевБазы данных / Транзакции49
Блокировки
Содержание
Георгий КорнеевБазы данных / Транзакции50
Блокировки
- Типы блокировок
- – отсутствует
- S разделяемая, для чтения
- X эксклюзивная, для чтения и записи
- Совместимость блокировок
– S X – + + + S + + − X + − −
Георгий КорнеевБазы данных / Транзакции51
Строгий протокол двухфазной блок.
- Чтение
- Получение S
- Запись
- Получение X
- Завершение или откат транзакции
- Освобождение всех блокировок
Георгий КорнеевБазы данных / Транзакции52
Взаимная блокировка
- Пример взаимной блокировки (ВБ)
Транзакция 1 Транзакция 2 retrieve t_1
update t_2
retrieve t_2
update t_1 - Что делать?
Георгий КорнеевБазы данных / Транзакции53
Устранение ВБ
- Строим граф ожиданий
- Если есть цикл – ВБ
- Ставим таймауты
- Если долго нет прогресса – скорее всего ВБ
- Обнаружена ВБ
- Откатываем одну из транзакций
- При возможности, автоматически перезапускаем транзакции
Георгий КорнеевБазы данных / Транзакции54
Предотвращение ВБ
- Стратегия обработки конфликтов
- Транзакция A претендует на блокировку, конфликтующую с блокировками транзакции B
- Стратегия ожидание-отмена
- A началась раньше B ⇒ A ожидает
- A началась позже B ⇒ A отменяется
- Стратегия отмена-ожидание
- A началась раньше B ⇒ B отменяется
- A началась позже B ⇒ A ожидает
- Почему стратегии работают?
- Стратегии порождают много лишних откатов
Георгий КорнеевБазы данных / Транзакции55
Упорядочиваемость
Содержание
Георгий КорнеевБазы данных / Транзакции56
Упорядочиваемость
- Любая последовательность исполнения транзакций эквивалентна какому-то последовательному исполнению
- Последовательное исполнение – транзакции выполняются одна за другой
- Эквивалентность исполнений – равенство состоянии до начала ⇒ равенство состояний после окончания
Георгий КорнеевБазы данных / Транзакции57
Упорядочив. и блокировки
- Строгий протокол двухфазной блокировки гарантирует упорядочиваемость
- Двухфазная блокировка
- Получение блокировки до операции
- После отпускания любой блокировки больше получать блокировки нельзя
- Теорема о двухфазной блокировке
- Если все транзакции используют протокол двухфазной блокировки ⇒ все исполнения упорядочиваемы
Георгий КорнеевБазы данных / Транзакции58
Восстановление
Содержание
Георгий КорнеевБазы данных / Транзакции59
Восстановление и параллелизм
- Пример конфликта
Транзакция 1 Транзакция 2
retrieve t
commitupdate t
rollback - Зафиксировано изменение, зависящее от незафиксированного
Георгий КорнеевБазы данных / Транзакции60
Восстанавливаемость
- Критерий восстанавливаемости
- Если транзакция A использует значения, обновлённые транзакцией B, то A должна завершиться позже чем B
- Почему не бывает противоречий?
- В случае противоречия возникает ВБ
- Форсированные откаты
- Откат транзакции B форсирует откат транзакции A
- Цепочки откатов
Георгий КорнеевБазы данных / Транзакции61
Отсутствие цепочек откатов
- Критерий
- Если транзакция A использует значения, обновлённые транзакцией B, то A не может завершиться до завершения B
- Почему строгий протокол блокировки удовлетворяет критерию?
Георгий КорнеевБазы данных / Транзакции62
Гранулярность блокировок
Содержание
Георгий КорнеевБазы данных / Транзакции63
Типы блокировок
- Блокировка записи
- Блокировка страницы
- Блокировка таблицы
- Блокировка индекса
- Блокировка базы данных
Георгий КорнеевБазы данных / Транзакции64
Блокировки записей
- Блокировки записей
- Блокируются отдельные записи
- Высокий параллелизм
- Много ресурсов
- Блокировки страниц
- Блокируется страница, содержащая запись
- Эскалация блокировки
- Фантомные записи
- При повторном чтении могут появиться новые записи
Георгий КорнеевБазы данных / Транзакции65
Блокировки таблиц
- Блокировки таблиц
- Блокируются таблицы целиком
- Низкий параллелизм
- Мало ресурсов
- Отсутствие фантомов
- Блокировки индексов
- Блокируется элемент или страница индекса
- ⇒ запрет на добавление и удаление
Георгий КорнеевБазы данных / Транзакции66
Блокировка базы данных
- Резервное копирование
- Изменение определений таблиц и представлений
- Изменение хранимых процедур и функций
- Изменение прав доступа
Георгий КорнеевБазы данных / Транзакции67
Транзакции в SQL
Содержание
Георгий КорнеевБазы данных / Транзакции68
Уровни изоляции транзакций
Содержание
Георгий КорнеевБазы данных / Транзакции69
Уровни изоляции транзакций
- Упорядочиваемый (serializable)
- Наиболее сильные гарантии
- Самое медленное исполнение
- «Слепок» (snapshot)
- Повторяемое чтение (repeatable read)
- Чтение зафиксированных (read committed)
- Чтение незафиксированных (read uncommitted)
Георгий КорнеевБазы данных / Транзакции70
«Слепок»
- Каждая транзакция работает со своим «слепком» БД
- Используется вместо упорядочиваемого
- Не соответствует SQL
- Реинтеграция изменений
- Изменения фиксируются, при отсутствии конфликтов изменений
- Аномалия «косая запись»
- Одновременное обновление разных записей, основанное на одних и тех же данных
Георгий КорнеевБазы данных / Транзакции71
Пример «косой записи»
- Инвариант t_1 + t_2 ≥ 0
- Транзакция 1
if t_1 + t_2 ≥ Δ begin t_1 = t_1 − Δ end if
- Транзакция 2
if t_1 + t_2 ≥ Δ begin t_2 = t_2 − Δ end if
- Транзакция 1
Георгий КорнеевБазы данных / Транзакции72
Повторяемое чтение
- При повторном чтении значения не меняются
- Блокировка записей или страниц на чтение
- Аномалия «фантомная запись»
- При повторном чтении могут появиться новые записи
Георгий КорнеевБазы данных / Транзакции73
Чтение зафиксированных
- Чтение значений, зафиксированных другими транзакциями
- Частичные блокировки записей или страниц
- Аномалия «неповторяемое чтение»
- При повторном чтении значение может измениться
Георгий КорнеевБазы данных / Транзакции74
Чтение незафиксированных
- Чтение текущих значений
- В SQL – только чтение
- Блокировки отсутствуют
- Аномалия «грязное чтение»
- Может быть прочитано некорректное значение
Георгий КорнеевБазы данных / Транзакции75
Уровни изоляции и аномалии
| Аномалия / Уровень | S | SN | RR | RC | RU |
|---|---|---|---|---|---|
| Косая запись | − | + | + | + | + |
| Фантомная запись | − | − | + | + | + |
| Неповторяемое чтение | − | − | − | + | + |
| грязное чтение | − | − | − | − | + |
Георгий КорнеевБазы данных / Транзакции76
Синтаксис
Содержание
Георгий КорнеевБазы данных / Транзакции77
Начало транзакции
- Синтаксис
start transaction [режим] [изоляция] [настройки]
- Режим
read {only | write}- По умолчанию – чтение и запись (если не RU)
- Изоляция
[isolation level уровень]
- По умолчанию – упорядочиваемый
- Начинает транзакцию с указанными уровнями доступа и изоляции
Георгий КорнеевБазы данных / Транзакции78
Конец транзакции
- Синтаксис
commit [work] [and [no] chain]
rollback [work] [and [no] chain]
- Фиксирует или откатывает транзакцию
- work – ничего не значит
- and chain – сразу начать новую транзакцию с теми же настройками
Георгий КорнеевБазы данных / Транзакции79
Вложенные транзакции
- Пример 1
start transaction isolation level serializable; // 1 start transaction isolation level read committed; // 2
- Пример 2
start transaction isolation level read committed; // 1 start transaction isolation level serializable; // 2 commit and no chain; // 3 rollback;
Георгий КорнеевБазы данных / Транзакции80
Точки сохранения
- Создание точки сохранения
savepoint имя
- Имя локально внутри транзакции
- Возвращается к точке сохранения
rollback to savepoint имя
- Позволяет делать частичный откат транзакции
- Отмена точки сохранения
release savepoint имя
- Освобождает ресурсы
- После окончания транзакции все точки сохранения отменяются
Георгий КорнеевБазы данных / Транзакции81
Ограничения
- Объявление
add constraint ... режим
- not deferrable – не откладываемая
- deferrable initially immediate – отклад. по запросу
- deferrable initially deferred – отклад. по умолчанию
- Установка режима
set constraints {all|ограничения} {deferred|immediate}- immediate – после каждого запроса
- deferred – при завершении транзакций
Георгий КорнеевБазы данных / Транзакции82
Литература
Содержание
Георгий КорнеевБазы данных / Транзакции83
Основная литература
- Дейт К. Введение в системы баз данных (главы 15 и 16)
- Уидом Д., Ульман Д. Основы реляционных баз данных (раздел 7.2)
- Gulutzan P., Pelzer T. SQL-99 complete, really
Георгий КорнеевБазы данных / Транзакции84
Дополнительная литература
- Mohan C., Haderle D., Lindsay B., Pirahesh H., Schwarz P.ARIES: A Transaction Recovery Method Supporting Fine-Granularity Locking and Partial Rollbacks Using Write-Ahead Logging
- Mohan C.Repeating History Beyond ARIES
- Bernstein P. A., Hadzilacos V., Goodman N.
Concurrency Control and Recovery in Database Systems
Георгий КорнеевБазы данных / Транзакции85