четверг, 2 августа 2012 г.

Импорт данных из файлов на удаленной машине с ограниченным доступом

Задача: импортировать данные из файлов, которые лежат на шаровой папке с ограниченным доступом в базу данных MSSQL. Пользователь, который запускает пакет импорта, не имеет доступа к папке с файлами, однако нам известен логин и пароль, которые позволяют получить доступ.

Решение:

среда, 1 августа 2012 г.

Удаление больших объемов данных

Иногда возникают задачи, когда необходимо удалить из таблицы большое количество строк (миллионы, десятки миллионов). При удалении возникают блокировки таблицы, идет запись в транзакшн лог и если подходить к решению данной задачи по простому, то окончания операции можно не дождаться (или через какое-то время получить сообщение об ошибке, в котором будет сказано, что закончилось свободное место на диске и лог писать больше некуда).

Если необходимо удалить бОльшую часть таблицы, то лучшим решением будет такое:
1. Создание новой таблицы с такой же структурой, но без индексов.
2. Копирование из исходной в новую только тех строк, которые должны остаться в исходной.
3. Создание всех необходимых индексов.
4. Удаление исходной таблицы и переименование новой.

Если же все таки по каким то причинам нужно именно удалять записи, то рекомендуется это делать небольшими порциями:

SET ROWCOUNT 5000

WHILE @@ROWCOUNT <> 0
  DELETE TableName
  WHERE  DateForDel >= '20000101'
         AND DateForDel <= '20120101'

SET ROWCOUNT 0