PyTorch:多进程最佳实践

torch.multiprocessing是Pythonmultiprocessing的替代品。它支持完全相同的操作,但扩展了它以便通过multiprocessing.Queue发送的所有张量将其数据移动到共享内存中,并且只会向其他进程发送一个句柄。Note当Variable发送到另一个进程时,Variable.data和Variable.grad.data都将被共享。这允许实现各种训练方法,如H