关于python：一共运行N个job，其中M个随时并行运行

我有很多作业要运行，假设是 100 个。它们可以并行运行，但每个都占用大量内存，所以我只能同时运行 8 个。

我目前有这个 shell 脚本：

这有运行第一批8个的效果，当它们都完成后，它开始下一批8个。问题是每个作业的运行时间不是恒定的，有些比其他作业更早完成，因此，对于要完成的每批 8 个进行加权并不是最佳选择，因为我实际上是在等待 8 个中最慢的一个完成。

相反，我想要一个脚本(shell 或 python)来运行我所有的 100 个作业，在任何给定时间并行运行 8 个作业，以实现最佳效率。

有什么想法可以实现吗？

您可以编写自己的小型调度程序，将它们分配给已完成当前任务的处理器；但在我们的中心，我们强烈建议使用 gnu 并行，它已经使用类似 xargs 的语法实现了这一点。

例如，如上所述，您可以这样做

或者，如果你在一个文件中有你的参数列表，你可以做类似

根据您的需要，您可以使用许多工具。最简单的可能是使用 GNU parallel。 make 可以与其 -j 开关并行运行任务。如果您尝试运行的任务更加复杂和多样化，那么真正的排队系统可能会有所帮助，例如队列博士。还有更多工具，GNU parallel// 的手册页很好地列出了它们。

在我看来，您正在寻找 multiprocessing 模块，特别是 multiprocessing.Pool。

如果我这样做，我会将所有不同的参数集提供给 run.py，将您现在在顶层执行的操作package在 main(args) 函数中的 run.py 中，然后使用 Pool//’s map 方法在所有不同的参数集上调用该方法。

它可能看起来像这样：

请注意，这假定每次运行的参数都可以保存在一个字符串中(因此 sys.argv 的一个条目)。

为什么不使用 DataStage 自己的 Workload Management？定义 M 个队列并将您的 N 个作业循环分配到这些队列中。