新闻中心

Golang 如何实现限速并发任务执行_Golang Token Bucket 限流算法实战

2025-11-12
浏览次数:
返回列表
答案:Golang中通过令牌桶算法实现限速任务调度,可使用rate.Limiter或自定义TokenBucket控制并发。

golang 如何实现限速并发任务执行_golang token bucket 限流算法实战

在高并发场景下,控制任务执行速率是保障系统稳定的关键。Golang 中通过 Token Bucket(令牌桶) 算法实现限速并发任务是一种常见且高效的方式。它既能平滑控制请求速率,又能应对突发流量。下面介绍如何用 Go 实现一个基于 Token Bucket 的限速任务调度器。

Token Bucket 原理简述

令牌桶算法维护一个固定容量的“桶”,以恒定速率向桶中添加令牌。每次执行任务前必须从桶中获取一个令牌,若桶空则等待。这种方式允许一定程度的突发请求(只要桶中有令牌),同时长期速率受生成速率限制。

Go 标准库 golang.org/x/time/rate 提供了开箱即用的 rate.Limiter,底层正是基于令牌桶实现。

使用 rate.Limiter 控制任务并发速率

假设我们需要每秒最多执行 5 个任务,可以这样实现:

package main
<p>import (
"context"
"fmt"
"math/rand"
"sync"
"time"</p><pre class="brush:php;toolbar:false;">"golang.org/x/time/rate"

)

func main() { // 每秒产生 5 个令牌,桶容量为 10(允许短暂突发) limiter := rate.NewLimiter(5, 10) var wg sync.WaitGroup ctx := context.Background()

tasks := make([]func(), 20)
for i := 0; i < 20; i++ {
    taskID := i
    tasks[i] = func() {
        defer wg.Done()
        // 等待获取一个令牌
        if err := limiter.Wait(ctx); err != nil {
            fmt.Printf("任务 %d 被取消: %v\n", taskID, err)
            return
        }

        // 模拟任务执行(耗时随机)
        duration := time.Duration(rand.Intn(300)) * time.Millisecond
        time.Sleep(duration)
        fmt.Printf("任务 %d 执行完成,耗时 %v\n", taskID, duration)
    }
}

// 并发启动所有任务
for _, task := range tasks {
    wg.Add(1)
    go task()
}

wg.Wait()
fmt.Println("所有任务完成")

}

上面代码中:

  • rate.NewLimiter(5, 10) 表示每秒生成 5 个令牌,桶最多存 10 个。
  • limiter.Wait(ctx) 会阻塞直到拿到令牌,适合同步控制。
  • 使用 context 可支持超时或取消任务。

自定义 Token Bucket 实现(无第三方依赖)

如果不想引入 x/time/rate,也可以手写一个简单的令牌桶:

Perplexity Perplexity

Perplexity是一个ChatGPT和谷歌结合的超级工具,可以让你在浏览互联网时提出问题或获得即时摘要

Perplexity 302 查看详情 Perplexity

type TokenBucket struct {
    capacity  int64         // 桶容量
    tokens    int64         // 当前令牌数
    rate      time.Duration // 每产生一个令牌的时间间隔
    lastGrant time.Time     // 上次发放令牌时间
    mu        sync.Mutex
}
<p>func NewTokenBucket(capacity int64, rps float64) *TokenBucket {
interval := time.Second / time.Duration(rps) // 每秒 rps 个令牌
return &TokenBucket{
capacity:  capacity,
tokens:    capacity,
rate:      interval,
lastGrant: time.Now(),
}
}</p><p>func (tb *TokenBucket) Allow() bool {
tb.mu.Lock()
defer tb.mu.Unlock()</p><pre class="brush:php;toolbar:false;">now := time.Now()
// 补充令牌
elapsed := now.Sub(tb.lastGrant)
newTokens := int64(elapsed / tb.rate)
if newTokens > 0 {
    tb.tokens = min(tb.capacity, tb.tokens+newTokens)
    tb.lastGrant = now
}

if tb.tokens > 0 {
    tb.tokens--
    return true
}
return false

}

func min(a, b int64) int64 { if a

使用方式:

bucket := NewTokenBucket(10, 5.0) // 每秒5个,最多10个
<p>for i := 0; i < 20; i++ {
for !bucket.Allow() {
time.Sleep(10 <em> time.Millisecond) // 等待可用令牌
}
go func(id int) {
fmt.Printf("执行任务 %d\n", id)
}(i)
time.Sleep(1 </em> time.Millisecond) // 避免 goroutine 创建过快
}

适用场景与优化建议

这种模式适用于:

  • 调用外部 API 限流(如 GitHub API 每小时调用次数限制)
  • 批量任务处理防止资源打满
  • 爬虫控制请求频率

优化点:

  • 结合 context.WithTimeout 避免无限等待
  • 对不同用户/租户使用独立限流器实现多级控制
  • 监控桶的消耗情况用于告警或动态调整速率

基本上就这些。Golang 的简洁并发模型加上令牌桶算法,能轻松实现高效、可控的任务调度。实际项目中推荐优先使用 rate.Limiter,稳定且经过充分验证。

以上就是Golang 如何实现限速并发任务执行_Golang Token Bucket 限流算法实战的详细内容,更多请关注其它相关文章!


# 是一个  # 广西怎样做网站推广赚钱  # 铁岭seo教程加盟  # 宜春seo公司  # 微信营销有那些推广方法  # 重庆短视频seo系统  # 服装店官网seo  # 武汉男科问SEO解决  # 裕华区外贸网站推广价钱  # 五金网站优化公司哪家好  # 推广歌曲在哪个网站好  # 如何在  # 是一种  # 互联网  # golang  # 复用  # 如何使用  # 自定义  # 最多  # 如何实现  # 令牌  # 标准库  # 爬虫  # ai  # github  # go  # git  # 限流算法 


相关栏目: 【 科技资讯46185 】 【 网络学院92790


相关推荐: 网站内容防复制粘贴的实现策略与局限性  如何在J*a中实现统一对象行为接口_项目大型化时的接口规范化  千牛数据看板网页版_千牛数据看板网页版访问方法  淘宝支付提示失败如何解决 淘宝支付流程优化方法  J*aScript中安全有效地处理localStorage字符串数据  哔哩哔哩忘记密码了怎么找回_哔哩哔哩密码找回方法  解决深度学习模型训练初期异常高损失与完美验证准确率问题  PDO预处理语句中冒号的正确处理:区分SQL函数格式与命名占位符  QQ邮箱网页版入口页面 QQ邮箱在线登录入口官网  LINUX的perf命令入门_LINUX官方性能分析工具的使用与解读  夸克AO3官网入口_AO3镜像网站2025推荐  深入理解Go语言中的指针类型:以*string为例  厨房不锈钢水槽发黑生锈怎么处理_水槽用可乐+锡纸2分钟抛亮如新  c++ 获取系统当前时间 c++时间戳获取方法  基于动态规划的房屋花卉种植最小成本算法详解  照顾宝贝2小游戏点击立即在线玩  excel如何生成目录 excel一键生成工作表目录超链接  必由学登录入口 必由学官方网站在线访问链接  CSS布局:解决全屏元素100%尺寸与外边距导致的页面溢出问题  随机参数递归函数的基准调用次数与时间复杂度探究  火狐浏览器占用内存高卡顿怎么办 火狐浏览器性能优化设置技巧  4399体育竞技小游戏_4399小游戏赛事入口  谷歌推RCS信息存档功能:公司可监控员工私密信息!  KFC游戏互动怎么赢取优惠券_KFC线上游戏活动参与与优惠代码赢取教程  ArrayList与LinkedList核心操作的Big-O复杂度分析  Go语言中JSON数据解码与字段访问指南  windows10怎么关闭系统提示音_windows10彻底静音设置方法  UC浏览器官网入口2025最新 UC浏览器网页版正式地址  如何修改开机登录密码_Windows账户安全设置超详细教程【必学】  b站如何看历史记录_b站观看历史找回方法  Win10如何开启蓝牙功能_Windows10找不到蓝牙开关解决方法  深入理解Promise链:如何在catch后中断then的执行  Linux如何排查内存不足OOME问题_LinuxOOM分析教程  Angular响应式表单:实现提交后表单及按钮的禁用与只读化  HTML转PPT成品工具有哪些?HTML网页转PPT成品工具大全  J*a递归快速排序中静态变量的状态管理与陷阱  提升Kafka消费者健壮性:会话超时处理与消息处理语义  “在文档元素之后找到了标记”是什么错误? 检查并修复XML中多个根元素的3个方法  打开就能玩的植物大战僵尸 植物大战僵尸网页版传送门  poki网页游戏推荐_poki免费游戏平台入口  mcjs网页版流畅运行 mcjs低配电脑畅玩入口  Win11怎么设置鼠标主按键_Win11鼠标左右键功能互换  夸克浏览器网页版最新地址 夸克浏览器官方入口合集  海棠账号登录入口_登录海棠账户同步阅读记录  解决Python单元测试中Mock异常方法调用计数为零的问题  Bilibili动漫最新防封地址发布-Bilibili动漫2025年最稳正版入口推荐  顺丰快件物流信息 官方网站查询入口  实现全屏滚动与导航点:专业教程  解决Tabulator日期时间排序问题的专业指南  印象笔记如何设离线包出差查阅_印象笔记设离线包出差查阅【离线阅读】 

搜索