数据立方体存储类型

1.概述

设计完数据多维数据集后,可以选择一个存储类型并且可能提高数据检索性能或减少数据库服务器或其他数据源的负载。在编辑数据多维数据集时,工具栏中有三种存储选项:

  • 没有一个- - - - - -(默认)在可视化中使用数据多维数据集时,直接实时连接到数据源,可选择短期缓存或实时更新
  • 仓库-在构建多维数据集时,在Dundas BI Warehouse数据库中存储或缓存转换后的数据。
  • 内存中-将数据存储在服务器内存中,为数据分析查询提供更高的性能潜力。

在使用仓库或内存存储时,您可以选择按需构建存储,也可以将其安排为定期运行,例如,如果您有一个业务数据库线,不允许在白天查询,则可以选择在夜间运行。还可以选择增量更新,它只检索自上次构建以来添加到数据库中的数据,并且可能更快地构建大型数据集。

请注意
包含公共参数或特定于用户的筛选器的数据多维数据集不能构建为仓库或内存多维数据集。一个安全等级可以用来代替按自定义属性筛选。

2.数据立方体准备

构建内存存储可能需要大量服务器内存,所以我们强烈推荐删除或隐藏数据多维数据集中不需要的不必要元素(列、层次结构或度量)过程的结果变换。这还可以省去不必要的数据,从而有利于仓库存储。的数量也会影响内存中的存储聚合器在每个度量上启用。

例如,从数据多维数据集编辑度量,并检查支持聚合器。默认情况下,只有总和,平均是为了节省内存使用,但您可以根据需要调整此设置。

支持度量的聚合器
支持度量的聚合器

双击过程的结果转换以打开其配置对话框,该对话框允许取消选中不需要的输出列。这将从数据多维数据集输出中完全删除该列。

作为一种替代方法,您还可以通过单击灰色来在输出中隐藏度量或层次结构-最右边的图标。度量或层次结构将列在隐藏的部分,但您可以通过单击其+图标。以这种方式隐藏的列将被排除在内存存储处理之外,以提高性能,但该列仍可用于层次结构键中的后续链接(例如,如果稍后需要使用数据多维数据集通过将该列作为组合键的一部分来定义层次结构)。

隐藏度量或层次结构
隐藏度量或层次结构

提供关于或描述由另一个层次结构标识的项的详细信息的元素可以选择为属性层次结构对于这个层次结构。这样可以节省所需的内存存储量,同时在选择数据时提供好处,例如默认情况下禁用不需要的总数和展开/折叠功能。

选择属性层次结构
选择属性层次结构

例如,用aProductID唯一标识每个产品,您可以选择各种元素,例如颜色,大小的属性层次结构ProductID描述每个产品。

从主菜单创建层次结构时也可以选择属性。有关在度量集中使用属性的详细信息和示例,请参见自动连接和层次结构

中提供了提高内存中多维数据集构建性能的更多细节和技巧下面的注释部分

3.使用数据立方体存储

编辑签出给您的数据多维数据集时,单击存储类型在工具栏中选择所需的类型。

存储类型
存储类型

仓库存储类型允许您在Dundas BI Warehouse数据库中存储或缓存数据。的内存中存储类型将数据存储在服务器内存中,以便为数据分析查询提供更大的性能提升潜力,并且还将其数据存储在Dundas BI Warehouse数据库中,以便在服务器重新启动时可以将其重新加载回内存。

以下部分描述如何设置仓库和内存存储。

3.1.签入数据集

一旦您选择了存储类型,您必须检查在构建数据多维数据集的存储或设置调度之前。

签入后,系统将询问您是否要构建数据多维数据集。点击好吧要开始构建仓库或内存存储,请单击取消如果您想稍后构建它,如下一节所示。

接下来,你会被问到是否想要建立一个时间表。点击好吧打开调度规则对话框,否则单击取消之后你仍然可以选择设置一个时间表。

3.2.构建数据立方体

签入数据多维数据集后,还可以按需构建其仓库或内存存储,方法有以下三种:

  • 当数据多维数据集已打开以供编辑,但仍已签入时,单击仓库在工具栏中,然后建立仓库,或按内存中然后建立内存
  • 中的数据多维数据集主菜单通过点击开放然后数据立方体,或在探索在Dundas BI的各种屏幕上发现的可停靠窗口数据立方体文件夹中。接下来,右键单击数据多维数据集并选择建立仓库建立内存
  • 如果您是Dundas BI管理员,则可以使用工作数据立方体用于运行数据多维数据集存储作业的屏幕。

从数据多维数据集工具栏构建仓库存储
从数据多维数据集工具栏构建仓库存储

您将看到一条消息,表明构建已经开始。构建多维数据集所需的时间取决于数据量和本文其他地方描述的其他因素。

控件中检查构建的状态数据立方体对话框,您可以从配置文件

3.3.调度数据立方体存储

打开调度规则对话框,打开数据多维数据集进行编辑,而数据多维数据集仍处于签入状态。

点击仓库在工具栏中,然后安排仓库,或按内存中然后安排内存

在对话框中,从各种调度选项中进行选择,让数据多维数据集定期自动重新构建其存储,然后单击提交在底部。

调度数据多维数据集构建
调度数据多维数据集构建

管理员也可以进入工作数据立方体调度数据多维数据集构建的屏幕。

3.4.禁用内存管理

当使用内存存储时,当存储超过一定数量的记录时,它开始压缩记录以保持RAM的稳定使用。当使用记录时,它们被解压缩,一段时间后再重新压缩。

可以通过防止内存中数据多维数据集重新压缩记录来提高它的性能。

重要的
这个设置允许无限制地使用RAM。在RAM不足的情况下使用它可能会导致内存分页,这可能会降低而不是提高性能。

单击以配置数据立方体设置在工具栏中编辑签出给您的内存中数据多维数据集时。

配置数据集设置
配置数据集设置

数据立方体设置对话框,勾选下面的复选框关闭内存管理。然后单击提交

禁用内存管理
禁用内存管理

新的设置将在下次构建数据多维数据集后生效。

请注意
作为一种替代方法,您可以通过执行来更改开始压缩的记录数管理>设置>配置编辑记录块大小配置。

3.5.管理员选择

如果你是登打士BI管理员,您还可以访问其他选项,这些选项允许您一次管理多个数据多维数据集的数据多维数据集存储,包括运行作业、创建批处理序列作业、更改存储类型、调度以及为所有引用的数据多维数据集自动构建存储。下项目/文件系统,点击数据立方体要访问这些选项,请参见管理项目和文件系统

控件管理每个数据多维数据集的存储作业工作页面,如图所示监视系统运行状况

3.6.限制

内存仓库存储存在以下限制:

  • 内存存储类型不支持二进制数据类型。

4.增量数据更新

增量构建数据多维数据集将只检索自上次构建以来添加到数据库中的数据,并由一个或多个数据集跟踪增量的元素字段,例如日期或顺序ID。这有可能大大减少构建数据多维数据集所需的时间,但是它不会更新或删除现有数据。

在可能对数据中的现有记录或行进行更改的数据多维数据集上使用增量更新时,避免或保持谨慎是非常重要的。例如,在源中删除的记录将保留在数据集中,具有相同或较小增量元素值的记录将不会更新,并且在重新构建数据多维数据集后,使用较大增量元素值更新的记录可以作为新的单独记录显示。

请注意
增量数据更新不适用于不允许参数的数据结构,例如Excel。

在使用仓库或内存存储类型时,可以启用增量数据更新,然后手动或通过调度构建数据多维数据集,如上所述。

单击以配置数据立方体设置在将数据多维数据集签出给您时,在工具栏中。

配置数据集设置
配置数据集设置

选择执行增量构建,然后选择增量的元素用来识别新记录。每次构建数据多维数据集时,它只加载所选值大于前一个构建中的值的新记录。

启用增量构建
启用增量构建

5.笔记

5.1.查看存储类型和状态

如果签入了数据多维数据集,则可以从任何文件资源管理器(包括开放对话框,从左侧的主菜单或探索窗口。

数据集将显示一个不同的图标,表示其存储类型,如下所示。悬停在其上(或长按)时出现的工具提示也描述了其存储类型。

数据立方体图标和工具提示表示仓库存储
数据立方体图标和工具提示表示仓库存储

数据立方体图标和工具提示表示内存中存储
数据立方体图标和工具提示表示内存中存储

如果可用,最后一次构建时间也会显示在上面的工具提示中,以及数据多维数据集打开时的状态栏中(对于多租户实例上的某些数据多维数据集不可用)。

中可以查看可以访问的所有数据集Data Cubes对话框,以及它们的存储类型、计划和构建状态。

5.2.内存内构建性能

为特定数据多维数据集构建内存中存储所需的总时间和所需的RAM内存可能因一系列因素而有很大差异。因此,估算构建时间并不是简单地说构建X个记录需要Y分钟,等等。

例如,内存消耗通常取决于:

  • .NET框架是如何分配内存的
  • 数据多维数据集过程中使用的层次结构和度量的数量(特别是具有不同计数的)
  • 事实表的稀疏程度(数据立方体处理的最终结果)

理想情况下,如果内存存储结果完全适合RAM,那么在典型的8核CPU盒上,总构建时间通常如下所示:

  • 50%的时间用于从数据源检索/加载数据
  • 50%的时间用于构建内存中的数据结构

有了更多的处理内核,由于并行化,构建内存中数据结构的时间可以减少。

这里有一些优化内存构建的一般准则:

  • 在此过程中尽可能早地取消选择数据多维数据集中不需要的列。
  • 尽量减少数据多维数据集中层次结构、度量和聚合器的数量。
  • 在适当的地方包括列作为层次结构的属性,而不是单独的层次结构。
  • 尽量减少数据多维数据集处理的复杂性(例如,使用的转换的类型和数量)。
  • 使用Filter转换将数据限制在所需的范围内。

5.3.原始数据

当度量集上的数据检索格式设置为时> <行号,则可以直接从原始数据库检索原始数据,而绕过数据多维数据集的存储。

有关原始数据模式的更多信息,请参阅本文度量集分析工具

6.另请参阅

Dundas数据可视化公司
热维斯路400-15号
加拿大安大略省多伦多
M3C 1日元

北美:1.800.463.1492
国际:1.416.467.5100

登打士服务时间:
电话:美国东部时间周一至周五上午9点至下午6点
电子邮件:美国东部时间周一至周五上午7点至下午6点