Выполнение команд параллельно с пределом одновременного количества команд

Не решение для удара, но необходимо использовать Make-файл, возможно с -l не превысить некоторую максимальную нагрузку.

NJOBS=1000

.PHONY = jobs
jobs = $(shell echo {1..$(NJOBS)})

all: $(jobs)

$(jobs):
    do_something $@

Затем для запуска 20 заданий за один раз делают

$ make -j20

или запустить как можно больше заданий, не превышая загрузку 5

$ make -j -l5

_{^{регистрация сценария в вопросе с форматированием:}}

#!/bin/bash

NUM=$1; shift

if [ -z "$NUM" ]; then
    echo "Usage: parallel <number_of_tasks> command"
    echo "    Sets environment variable i from 1 to number_of_tasks"
    echo "    Defaults to 20 processes at a time, use like \"MAKEOPTS='-j5' parallel ...\" to override."
    echo "Example: parallel 100 'echo \$i; sleep \`echo \$RANDOM/6553 | bc -l\`'"
    exit 1
fi

export CMD="$@";

true ${MAKEOPTS:="-j20"}

cat << EOF | make -f - -s $MAKEOPTS
PHONY=jobs
jobs=\$(shell echo {1..$NUM})

all: \${jobs}

\${jobs}:
        i=\$@ sh -c "\$\$CMD"
EOF

Обратите внимание, что необходимо заменить 8 пробелов 2 вкладками прежде чем "я =".

Одна простая идея:

Проверьте, поскольку я по модулю 20 и выполняю команду оболочки ожидания прежде do_something.

Вы могли использовать ps для подсчета, сколько процессов у Вас есть выполнение, и каждый раз, когда это опускается ниже определенного порога, Вы запускаете другой процесс.

Псевдо код:

i = 1
MAX_PROCESSES=20
NUM_TASKS=1000
do
  get num_processes using ps
  if num_processes < MAX_PROCESSES
    start process $i
    $i = $i + 1
  endif
  sleep 1 # add this to prevent thrashing with ps
until $i > NUM_TASKS

for i in {1..1000}; do 
     (echo $i ; sleep `expr $RANDOM % 5` ) &
     while [ `jobs | wc -l` -ge 20 ] ; do 
         sleep 1 
     done
done