iceberg20问-2

1、Iceberg 中的表快照是如何实现的？如何基于快照进行版本控制？

每次表的数据发生改变时，iceberg 就会创建一个新的快照，这个快照记录了表在该时刻的状态。为了基于快照进行版本控制，iceberg 提供了多个 api 接口和命令，可以方便地管理和回溯到某个快照。例如，可以列出所有快照、切换到某个特定的快照、删除快照等，这些操作的实现依赖于 iceberg 内部维护的快照元数据文件，这些文件记录了快照的唯一 ID、父快照、时间戳及其他相关信息。

快照元数据文件通过记录表 schema、partition 方式和各个 data file 的信息，确保在需要时能够准确地回溯数据；

2、Iceberg 是如何与 Delta Lake、Hudi 等其他数据湖框架对比的？

iceberg 支持 parquet、avro、orc，另外与多种计算引擎（spark、flink）具有良好的兼容性，轻松进行 schema 演进；delta lake 支持 parquet 格式，作为 spark 的原生扩展，深度集成 spark 生态，对其他引擎的兼容性较差；hudi 支持 avro 和 parquet 文件格式，最初为 spark 量身定做，后续支持 hive、presto、flink；

iceberg 轻松 schema 演进、delta lake schema 演进需要显式地进行管理，并且在一些情况下可能需要对已有的数据做较大的修改；hudi 在 schema 演进方面相对较弱；

iceberg 支持 mvcc，允许多个读写操作并发执行，同时保证数据一致性；delta lake 通过 write-ahead log 和快照机制来管理并发与实务，能够很好地处理高并发场景；hudi 主要通过基于时间的分片（时间线）来管理数据版本，多用户并发较为支持，但具体性能可能受限于集群配置与数据规模；

iceberg 提供了表分区优化、数据压缩、快速扫描等多种性能优化手段；delta lake 利用了带区索引和缓存等技术进行优化，同时能够自动优化数据的布局和压缩；hudi 通过基于时间的分片优化和索引管理，提升对实时数据写入和查询的性能；

3、Iceberg 如何通过分区进程和数据文件格式优化查询性能？

a、通过灵活的分区策略，使得数据在读取时能有效地过滤掉无关的数据，减少 I/O 负担

b、iceberg 支持多种高效的列式存储格式，如 parquet、orc 和 avro，这些格式本身具备压缩和索引等特性，能够显著减少磁盘空间占用和加速数据的筛选、解码过程

c、支持快照和时间旅行查询，减少数据改动引起的查询延迟

d、构建高效的索引结构，如 bloom filter、z-order 索引等，有助于快速定位数据

e、predicate pushdown：查询之前先基于一定的谓词过滤无关数据行，提高整体查询效率

4、Iceberg 如何支持 Schema 演化？它在数据模型变更时如何保持兼容性？

iceberg 支持 schema 的前向和后向兼容变更，例如添加列、删除列、重命名列和改变列类型。通过这些特性，iceberg 很好地避免了在数据模型变更时对现有数据和应用程序的影响，确保数据的向后兼容性

a、iceberg 使用 snapshot 保存表的不同版本，每次对表进行操作都会生成一个新的 snapshot，这样可以轻松回滚到任意一个历史版本

b、iceberg 为每个字段分配了一个唯一的列 ID，而不是仅仅依赖字段名称来表示字段，这意味着即使列名称改变，只要列 id 不变，之前的数据依然能够正确解析

c、支持对 map、list、struct 等复杂数据类型进行变更，iceberg 提供了内置的各种机制去维护 schema 的一致性

d、提供了多种校验工具，同于实际变更前评估某些 schema 更新是否会影响现有的数据兼容

5、在 Iceberg 中，如何使用 Manifest List 优化元数据管理？

manifest list 是一种优化元数据管理的重要机制，主要作用是将表在不同时间段内生成的数据文件清单组织成更高效、更易于管理的层级结构，通过减少元数据文件的数量，提升查询和维护性能。

具体来说，manifest list 通过一下方式优化元数据管理：

a、manifest list 将元数据分为多层，每层包含子集的信息，这样可以减少单个元数据文件的大小，提升元数据操作的效率

b、manifest list 对数据文件进行索引，使得查询时可以快速定位所需的数据文件，无需扫描所有元数据

c、通过分层结构，减少了每次查询需要加载的元数据量，进而降低了网络传输和存储的开销

其中，manifest 是元数据文件，记录了表中的数据文件信息，包括文件的位置、数据的统计信息，每次增删改查操作，都会生成一个新的 manifest 文件；

manifest list 是为了优化管理大量的 manifest 文件，将这些文件组织起来提供一个统一的入口，使得查询只需访问这个列表，极大地减少了需要处理的元数据文件数量

在表数据发生编码时，iceberg 会生成新的 manifest 文件，并将其记录在 manifest list 中；为了避免过多的 manifest 文件，iceberg 还支持定期合并这些文件，生成新的、更小的 manifest 文件，同时更新对应的 manifest list；通过增加 manifest list，可以在查询时只需访问最新的 manifest list，从而减少对冗余和历史 manifest 文件的访问，提高查询性能；

6、Iceberg 的分区字段是如何进行自动优化的？如何减少数据扫描的范围？

通过动态分区裁剪和逐步细化分区实现，这些技术帮助减少数据扫描范围，提高查询性能；

动态分区裁剪：在执行查询时，通过分析过滤条件，自动减少需要扫描的分区，这种方式能够在查询计划制定阶段就筛选出潜在的分区，从而减少不必要的数据读取；

逐步细化分区：iceberg 允许用户定义复杂的分区策略，通过选择性地对分区裁剪，在这个过程中，分区字段会变得更加细化，比如增加时间戳、地理位置等高选择性的字段，以便减少扫描数据的范围

7、Iceberg 是如何处理事务冲突的？如何保证并发写入的正确性？

通过 mvcc + snapshot isloation 来处理事务冲突，保证并发写入的正确性：

a、乐观并发控制：iceberg 在每次写操作之前，或获取当前表的快照的 ID，并且记录当前这个快照的状态，如果在写入期间其他事务提交了修改，iceberg 会在提交阶段通过比对快照 ID 来检查是否有冲突，如果检测到冲突，则当前事务需要重新读取最新的数据并重新进行写入操作

b、快照隔离：每次修改都会生成一个新的快照，每个快照有一个唯一 ID，通过这种方式保证所有操作在提交前的快照都是一致的，避免不同事务之间的数据冲突

c、iceberg 使用元数据文件来跟踪不同版本的表状态，而元数据吧文件的更新时原子性操作，即一次完整的改动只有在所有的数据文件和元数据文件都成功创建之后才会被应用，如果出现问题，事务可以回滚到上一个稳定快照

metadata layer：iceberg 使用一个复杂的元数据层，包括表元数据文件和数据文件，这些文件一同追踪表的版本状态及其变更

manifest files：存储表的分区和数据文件信息

snapshot：数据表在某个时间点的状态

schema evolution：支持动态模式变更，数据表结构变化也会生成新的快照，通过记录所有变更保证及时模式有修改，也不影响并发写

partition evolution：支持表的动态分区策略变更，表的分区方式改变，也同样通过生成新的快照来保持历史操作的独立

8、在 Iceberg 中，如何实现数据的自动清理？如何设置清理策略？

在 iceberg 中实现数据的自动清理通常通过 ExpireSnapshots（从表的元数据中删除过期的快照）和 RewriteManifests（合并和重新写入小的清单文件，以减少读取元数据的开销）操作来进行，这些操作有助于删除旧的快照数据和优化清理存储的清单文件，可以通过定期运行这些操作来实现自动化的数据清理。

# 删除七天前的快照
import org.apache.iceberg.Table;
import org.apache.iceberg.catalog.TableIdentifier;
import org.apache.iceberg.spark.SparkCatalog;
import org.apache.iceberg.spark.SparkSessionCatalog;
import org.apache.spark.sql.SparkSession;

SparkSession spark = SparkSession.builder()
    .appName("Iceberg Cleanup")
    .config("spark.sql.catalog.spark_catalog", "org.apache.iceberg.spark.SparkSessionCatalog")
    .config("spark.sql.catalog.spark_catalog.warehouse", "path_to_warehouse")
    .config("spark.sql.catalog.spark_catalog.catalog-impl", "org.apache.iceberg.spark.SparkCatalog")
    .getOrCreate();

Table table = ((SparkCatalog)spark.catalog().currentCatalog()).loadTable(TableIdentifier.of("db", "table"));

table.expireSnapshots()
    .expireOlderThan(System.currentTimeMillis() - TimeUnit.DAYS.toMillis(7))
    .commit();

也可以通过外部的调度系统如 airflow 或操作系统自带的任务调度工具如 cron 来定期执行上面的清理代码；

9、Iceberg 如何支持跨数据源查询？如何实现多集群间的数据一致性？

iceberg 通过与不同查询引擎的集成来支持跨数据源查询，这些引擎可以同时连接多个数据源，将查询处理逻辑分布到不同的数据源；

iceberg 通过使用快照和表版本管理来保证数据一致性，通过维护元数据，iceberg 可以跟踪每个快照及其父快照，从而确保在不同节点或集群上读取时的一致性。对表数据的所有操作都生成一个新的快照，确保在多集群中能读到同一个一致性的数据视图；

10、Iceberg 中的数据格式如何影响查询性能？常见的数据格式有哪些？

不同的数据格式会在数据压缩、序列化、索引等方面有所不同，从而影响查询的快慢和资源消耗；

parquet：parquet 是一种列式存储格式，支持块级和列级压缩；

orc：列式存储格式，orc 文件比 parquet 在数据压缩率和查询性能方面可能更好，因为它支持更高效的压缩算法和索引机制

avro：行式存储格式，查询性能不优秀，但是对 schema 支持灵活（因为在文件头部存储了完整的 schema），普遍不会进行块级压缩

11、在 Iceberg 中，如何使用并行写入和读取提高数据处理效率？

a、将数据按照某种特定方式分区

b、在 spark 或者 flink 等大数据处理框架中，配置并行度

c、iceberg 支持向量化读取数据，一次读取多个值，而不是逐行读取

d、使用适合并行处理的文件格式

e、在写入数据时，采用批量操作，减少写入时的开销和延迟

12、Iceberg 中的快照和分区裁剪是如何结合提高查询性能的？

a、快照的存在使得 iceberg 可以高效的进行增量查询

b、利用分区裁剪，通过分析查询条件，仅读取满足条件的分区，从而避免不必要的全表扫描

13、Iceberg 如何处理元数据扩展和高并发查询问题？

14、在 Iceberg 中，如何结合数据湖实现数据生命周期管理？

增量数据处理、数据分区索引、时间旅行、数据修复和恢复

15、Iceberg 如何与大数据生态系统中的其他工具（如 Hadoop、Hive）集成？

hdfs 集成、hive metastore 兼容、spark 集成

16、Iceberg 是如何通过写入策略优化小文件问题的？有哪些常见的写入优化策略？

a、合并小文件：利用 commit 时机将小文件合并为大文件，以减少元数据的数量

b、针对分区的数据进行合并，减少每个分区下的小文件数量

c、通过使用批量写入后者微批处理策略，减少一次写入操作中的文件数量

d、选择适合大数据量的压缩格式，有效减少小文件

e、执行引擎层面的优化

17、在 Iceberg 中，如何处理历史数据的归档和回滚？有哪些性能优化策略？

a、每一个 snapshot 都是数据文件和 mainifest 文件的组合，并且不可变。

b、历史数据回滚可以使用 rollback 命令，指定目标快照 ID 或时间戳

c、性能优化：数据文件合并：周期性执行 RewriteDataFiles 操作，合并小文件，提高查询效率；使用 RewriteManifests 优化 Manifest 文件结构，减少元数据开销；定期清理已经不需要的过期快照和孤儿数据文件

18、Iceberg 如何处理不同数据存储格式（如 Parquet、ORC）的转换和优化？

a、iceberg 通过内部的 schema 管理支持数据格式兼容性，确保 parquet 和 orc 等格式的数据能进行无缝切换

b、通过合理的写入策略和数据布局来优化查询性能，支持 Z-ordering 和 Bin-packing 等写入策略，解决数据分区和排序问题

c、Merge-on-read 和 Copy-on-write：iceberg 具有从数据湖读取并合并数据的能力，同时支持 copy-on-write 方式将数据写入新的存储格式，提升了数据文件的管理效率

d、通过分阶段地增量转换数据，并用元数据文件来记录转换进度和状态，确保数据转换不会中断表的正常使用

19、Iceberg 的读写性能如何调优？如何处理大规模并发读写场景？

a、使用小文件合并和分区管理来减少小文件数量

b、根据查询模式设计合理的分区

c、维护和优化 iceberg 表的元数据存储，利用元数据加快数据访问速度

d、使用分布式处理引擎来处理并发读写，利用并发机制提升处理效率

e、利用缓存和索引机制加速数据读取，提高读取性能

20、在 Iceberg 中，如何管理和监控数据的增量更新和历史版本？

快照、时间旅行、增量数据捕获、表级别 metrics 监控、快照管理 API

SELECT ... FROM table.version(snap_id)
SELECT ... FROM table.at(TIMESTAMP 'yyyy-MM-dd HH:mm:ss')

21、Iceberg 如何在云存储环境下保持高效的性能表现？

分区策略、高效的文件裁剪、元数据层管理、并行查询、高效的数据格式

22、Iceberg 如何在多租户环境中实现数据隔离和权限管理？

a、使用不同的数据表和命名空间来实现租户数据隔离

b、结合大数据工具如 ranger、sentry 等实现精细化的权限控制