Этот способ использовать Сводную таблицу Excel 2007 для масштабируемого BI?
Фон:
Мы должны консолидировать данные о сбыте по всей стране, чтобы сделать анализ
Наше Интернет-соединение / ЭКСПЕРТНЫЕ ЗНАНИЯ/ИНРЕСТИЦИИ Р IT IT не совсем сильно, поэтому полное решение BI исключено
Я попробовал несколько SaaS решение BI (GoodData, ZohoReports) и в то время как они хороши, они, кажется, не полностью поддерживают то, в чем мы нуждаемся
Мы смотрим приблизительно на 2 миллиона записей в течение каждых 2 месяцев
Мой текущий подход
Наш (10) сайты в настоящее время собирают данные из всех своих ответвлений, и консолидируйте их в 1 файл Excel со Сводной таблицей и встройте исходные данные
В HQ я запрошу 10 сайтов периодически передавать те файлы Excel обратно
Мы импортируем их Excel к нашему серверу MSSQL
Будет основной файл Excel, который будет также иметь ту же сводную таблицу (как они прибыли из сайта файл Excel), и источник данных является сервером MSSQL
Подробнее
Для тестирования я в настоящее время использую Экспресс 2008 года MSSQL на своем ноутбуке
До сих пор я импортировал наши транзакции в течение прошлых 2 месяцев и существует 2 миллиона + строка в 1 таблице в MSSQL (мы просто используем 1 таблицу, соответствуя нашей общей структуре сводной таблицы). Размер DB составляет ~ 600 МБ
В основном файле Excel, если не включая исходные данные, это - просто <10 МБ. Включая исходные данные увеличит размер до 60 МБ (таким образом, я предположил, что Office 2007 автоматически архивирует данные?)
Я пытаюсь использовать Центр (поля перетаскивания), и производительность до сих пор в порядке (мои спецификации ноутбука: C2D T7200, 3 ГБ RAM, Windows XP)
Таким образом, мой вопрос:
Если мы смотрим на полную транзакцию года (примерно 15 миллионов строк в Экспрессе 2008 года MSSQL, 3,6 ГБ в размере), там какая-либо проблема с теми 15 миллионами строки в 1 таблице в SQL Express?
Есть ли какая-либо проблема производительности со сводной таблицей в то время? Это может все еще встроить исходные данные? (Я, редактор Google, но не нашел максимальный размер исходных данных Excel 2007, могу встроить),
Какие-либо другие предложения о том, как мы можем лучше сделать это? Учитывая, что мы не можем позволить себе полное решение BI, какой-либо легкий вес/бюджет/SaaS BI, который можно рекомендовать?
Спасибо
1 ответ
Существует предел на 4 ГБ на SQLServer Express 2008 (включая файлы журнала), таким образом, похоже, что Вы будете очень близко к пределу первоначально, и по пределу скорее быстро. Если бы это - просто единственная таблица, возможно, Вы рассмотрели бы SQLite (или возможно MySQL).
По моему опыту, со Сводными таблицами (и Excel обычно) то, что он работает хорошо до точки затем производительность значительно ухудшается.
Обычно я думаю, что Ваш подход является тем, который я выбрал бы все же. Вместо того, чтобы пытаться вертеться целая таблица, я попытался бы предварительно суммировать данные назад в базе данных посредством представления, даже если бы у меня должно было быть два отдельных рабочих листа с двумя различными взглядами относительно сводных данных (например, возможно тот, который подводит итог до ежедневной газеты или каждый час и другой, который суммирует уровень в другом ключевом размере - возможно, согласно порядку или входу в систему или безотносительно). Это должно удержать на месте больше работы в базе данных и оставит электронную таблицу легче.
Удачи!