问题描述:
导入频率太快,compaction没能及时合并导致版本数过多,默认版本数1000
1.增大单次导入数据量,降低频率
2.调整compaction策略,加快合并(调整完需要观察内存和io)be.conf
cumulative_compaction_num_threads_per_disk = 4
base_compaction_num_threads_per_disk = 2
cumulative_compaction_check_interval_seconds = 2
请问下采用的那种导入方式,线上或者生产禁止使用insert into values,导入请参考https://docs.starrocks.com/zh-cn/main/loading/Loading_intro
datax的sink配置发下
这个配置去掉试试呢
另外这个表有其他导入吗?现在问题的原因是导入频率太高了,每次导入算作一个版本,导入频率太高很容易达到版本个数限制。增大单个批次导入数据量,降低导入频率
有重启过be服务吗
你的用法有问题,writer需要用starrockwriter,具体使用请参考https://docs.starrocks.com/zh-cn/main/loading/DataX-starrocks-writer
那上面发的为啥是mysqlwriter?