我相信您的一般问题是一个顺序问题，可以通过 RL 或其他优化方法来解决。正如您所建议的那样，模拟器（环境）是真实的，因此您应该查看离线 RL 方法（最近的评论在这里）。离线 RL 的主要目标是解决在没有模拟器的情况下在现实生活中应用 RL 并使用收集到的数据的问题。换句话说，我们希望避免部署没有与真实 MDP 交互的 RL 算法的风险。

此外，我建议您作为起点进行一些分析。例如，检测哪些操作会立即对 CLV 产生影响，哪些不会。哪些特征很重要？您可以将问题表述为监督学习问题（功能 --> 改进/不改进/相同）。您可以根据功能对客户进行一些聚类。

您可能能够提出自定义 CLV 来优化和运行小规模实验，而无需学习算法，并且您以后可能会将其用作基线。然后你也可以在 Bandit 设置中运行小型实验（这里没有你的问题的顺序方面，因为信用分配很困难！）。

您可以在探索 offpolicy RL 方法的同时完成所有这些工作。请注意，最终仔细的特征选择、问题制定和数据分析是实现成功的关键。