新闻资讯

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻资讯列表

Golang并发调度器:Go WaitGroup的优化实现,golang控制并发数

发布时间:2023-10-08 15:04:47

Golang并发调度器:Go WaitGroup的优化实现

在Golang中,可使用sync.WaitGroup来实现并发调度器。WaitGroup提供了一种简单的方式来等待一组并发任务完成。
但是,在大范围并发场景下,WaitGroup可能存在性能问题。每次调用Wait()方法都会阻塞当前的goroutine,直到所有并发任务完成。这可能会致使过量的goroutine被创建,从而下降性能。
为了优化WaitGroup的性能,可使用有缓冲的通道来实现。具体步骤以下:

  1. 创建一个结构体Pool,包括一个有缓冲的通道和一个sync.WaitGroup
type Pool struct {
wg     sync.WaitGroup
worker chan struct{}
}
  1. 初始化Pool,并设置通道的容量为并发的最大任务数。
func NewPool(maxWorkers int) *Pool {
return &Pool{
worker: make(chan struct{}, maxWorkers),
}
}
  1. 在每一个并发任务开始前,调用Add()方法增加WaitGroup的计数器,并向通道发送一个空结构体,表示可用的goroutine。
func (p *Pool) Add() {
p.wg.Add(1)
p.worker <- struct{}{}
}
  1. 在每一个并发任务结束后,调用Done()方法减少WaitGroup的计数器,并从通道中接收一个空结构体,表示该goroutine已完成任务。
func (p *Pool) Done() {
p.wg.Done()
<-p.worker
}
  1. 在需要等待所有并发任务完成的地方,调用Wait()方法等待WaitGroup的计数器归零。
func (p *Pool) Wait() {
p.wg.Wait()
}

使用优化后的Pool结构体来替换sync.WaitGroup,可以免过量的goroutine被创建,从而提高并发调度的性能。以下是一个完全的示例代码:

package main
import (
"fmt"
"sync"
"time"
)
type Pool struct {
wg     sync.WaitGroup
worker chan struct{}
}
func NewPool(maxWorkers int) *Pool {
return &Pool{
worker: make(chan struct{}, maxWorkers),
}
}
func (p *Pool) Add() {
p.wg.Add(1)
p.worker <- struct{}{}
}
func (p *Pool) Done() {
p.wg.Done()
<-p.worker
}
func (p *Pool) Wait() {
p.wg.Wait()
}
func main() {
pool := NewPool(3)
for i := 0; i < 10; i++ {
pool.Add()
go func(i int) {
defer pool.Done()
time.Sleep(time.Second)
fmt.Printf("Task %d done
", i)
}(i)
}
pool.Wait()
fmt.Println("All tasks done")
}

运行以上代码,会创建一个最大并发数为3的并发调度器,摹拟10个任务的履行。每一个任务会休眠1秒钟后输出完成信息。在等待所有任务完成后,输出"All tasks done"。
通过使用优化后的Pool结构体,可以有效地控制并发调度的性能,避免过量的goroutine被创建。