ADB: Эксплуатация Arenadata DB

Продолжительность курса — 4 дней

Описание Услуги

ADB: Эксплуатация Arenadata DB

01. Введение в СУБД Arenadata DB

  • Обзор архитектуры ADB
  • Концепция MPP и её имплементация в ADB
  • Терминология и архитектура СУБД
  • Интерконнект
  • Выполнение запросов
  • Отказоустойчивость

02. Настройка и управление СУБД

  • Окружение. Основные директории. Логи. Конфигурационные файлы. Файлы данных
  • Переменные окружения. Процессы СУБД.
  • Управление БД: запуск, остановка, проверка статуса
  • Подключение к БД. Реквизиты. Доступы. PSQL
  • Управление параметрами СУБД
  • Устройство БД.
  • Шаблоны БД. Логическая схема данных. Обзор дефолтных схем
  • Основные объекты для работы с БД
  • Создание таблицы в БД. Основные правила создания таблиц
  • Типы данных. Распределение таблицы. Skew
  • Констрейнты. Тип хранения данных. Компрессия

03. Отказоустойчивость

  • Принципы безотказного функционирования БД
  • Спилл-файлы
  • Восстановление сегмента. Восстановление мастера

04. Работа с SQL-запросами

  • Выполнение запросов
  • Получение плана. Оптимизаторы. Статистика выполнения. Разбор плана запроса
  • Redistribute и Broadcast.
  • Поиск узких мест

05. Партиционирование таблиц

  • Создание партиционированных таблиц
  • Ключ партиционирования
  • Разные типы хранения
  • Файлспейсы и тейблспейсы
  • Мульти-партиционирование
  • Удаление, разбиение, обмен партиций
  • Внешние таблицы (обычные и web-внешние)
  • Загрузка в партиционированные таблицы

06. Индексы

  • Определение и назначение
  • Применимость индексов
  • Типы индексов
  • Best practices
  • Управление индексами
  • Основные параметры управления индексами в запросе

11. Утилиты и службы

  • GPFDIST (служба распространения файлов для внешних таблиц): сценарии, сервер gpfdist, примеры
  • Создание внешних таблиц
  • Опции LOCATION
  • Достижение лучшей производительности.
  • Параметры GUC
  • GPLOAD (утилита запуска задачи по загрузке данных, указанной в управляемом YAML-файле): определение, назначение, использование

16. Резервное копирование (бэкап)

  • Принципы бэкапов
  • Команды gp_dump/gp_restore. gpbackup/gprestore
  • Директории и файлы
  • Сжатие бэкапов
  • Перенос бэкапов между разными кластерами
  • Внешние таблицы

17. Мониторинг СУБД

  • Архитектура
  • Средства мониторинг Diamond, Carbon, Graphite, Grafana.
  • Директории
  • Собираемые метрики
  • Best practices по анализу данных мониторинга
  • Алерты

18. Администрирование СУБД

  • Встроенный монитор активности gpperfmon: архитектура, каталог, полезные таблицы
  • Консоль администратора Zeppelin: архитектура, директории, конфигурационные файлы, управление. Обзор ноутбуков. Подсчёт skew на основе ФС.

20. Примерный список практических занятий курса по экплуатации Arenadata DB:

  • Запуск, остановка, проверка статуса СУБД
  • Подключение к БД. Настройка реквизитов и доступов
  • Управление параметрами СУБД
  • Работа с шаблонами и дефолтными схемами БД
  • Восстановление сегмента и мастера
  • Создание, распределение и компрессия таблиц
  • Выполнение запросов и поиск узких мест
  • Партиционирование таблиц
  • Работа с индексами
  • Управление параллельным доступом с помощью многоверсионности (MVCC)
  • Проведение транзакций
  • Сбор статистики
  • Работа с командой COPY
  • Работа с ресурсными группами
  • Работа с утилитами GPFDIST и GPLOAD
  • Настройка взаимодействия ADB с внешними источниками данных с помощью сервиса PXF
  • Создание пользовательских функций (UDF, User-Defined Functions)
  • Работа с расширениями Apache Madlib и PostGIS
  • Создание и управление пользователями (группы, роли, интеграция с LDAP)
  • Создание, сжатие и перенос бэкапов между кластерами
  • Работа со средствами мониторинга СУБД
  • Работа с монитором активности gpperfmon и консолью администратора Zeppelin
  • Обновление СУБД