About 一个数据库ORM. How to use? Insert go get github.com/ablegao/orm 例子 //引用模块 import "github.com/ablegao/orm" //mysql 驱动 import _ "github.com/go-sql-driver/mysql" //建立连接 // 参数分别为 名称 ， 驱动， 连接字符串 // 注：必须包含一个default 连接， 作为默认连接。 orm.NewDatabase("default" , "mysql" , "user:passwd@ip/database?charset=utf8") //建立一个数据模型。 type UserInfo struct { orm.Object Id i...阅读全文
# xxl-job go-client xxl-job golang 客户端 > 自动注册 > BEAN模式 > kill掉耗时任务 # Example ``` package main import ( xxl "github.com/xxl-job/go-client" "github.com/xxl-job/go-client/example/task" ) func main() { exec := xxl.NewExecutor( xxl.ServerAddr("http://127.0.0.1/xxl-job-admin"), xxl.ExecutorIp("127.0.0.1"), //可自动获取 xxl.Execu...阅读全文
目前线上状态 基于搜索实现； 全量数据，搜索结果不理想； 接口响应时间长，影响了用户体验； 没法针对数据做二次优化； 转化率相对较低； 基于以上原因，需要做出改变，所以就需要对老进行重构，如下 重构版本 非全量数据，线下异步根据数据模型进行进行筛选部分最优数据； 要求时时过滤计算，接口相应时间要快，保证用户体验； 数据进行优化，提高转换率，提搞GMV； 为何选择golang golang语言强大的并发能力； 与C相媲美的性能，新版对cpu计算要求较高； 基于以上两点，所以选择了golang语言作为服务端计算使用的语言。 重构后的架构图 解释下架构图各个模块功能 Nginx+Lua: 用来渲染页面，拿到go计算服务的json数据渲染到页面端，最终呈现给终端用户； Config Center 是...阅读全文
什么是Cloudtask? Cloudtask 是一个轻量级的分布式定时任务管理平台，它非常轻量小巧，使用简单，我们可以上传、暂停/启动任务，克隆一个任务，修改任务的执行命令，或者查看任务的调度状态、执行日志，开发人员可以采用自己最熟悉的编程语言来编写任务程序，可以是一个控制台程序，也可以是一段 shell 脚本，上传至平台后设置定时执行规则即可。 设计方案 Cloudtask 后端为无状态服务，通过 Zookeeper 实现集群各节点间的发现与协调，节点以心跳方式注册到注册中心，中心服务器统一管理着所有集群，任务调度以集群方式进行分配，具有良好的可扩展性，任务分配信息按集群划分并将分配数据存储到 Zookeeper 节点，保持分配数据的一致性。 更多文档 https://cloudtask...阅读全文
Prometheus 是一个开源的服务监控系统和时间序列数据库。  特性： * 高维度数据模型 * 自定义查询语言 * 可视化数据展示 * 高效的存储策略 * 易于运维 * 提供各种客户端开发库 * 警告和报警 * 数据导...阅读全文
这段时间看了一些Go语言相关的东西，发现Go语言的最大特性并发模型类似于C++里面的线程池，正好我们项目服务器也是用的线程池，记录下。 Go语言的并发单位是语言内置的协程，使用关键字go+函数创建一个新的协程，新创建的协程会自动加入到协程调度上下文的等待调度队列，一个协程调度上下文对应一个线程，一个协程调度上下文对应多个协程。新加入的协程会动态负载到各个调度上下文，如果所有调度上下文的平均负载较高时，总调度器会自动创建新的线程和对应的调度上下文用于工作。整体上看，是N个线程：N个调度上下文：M个协程的关系。 我们项目服务器线程架构使用boost::threadpool作为底层，按照配置设定的线程数量启动threadpool，驱动所有Invoker单元，各个Invoker再驱动持有自己的Ser...阅读全文
## dcron 分布式定时任务库 ### 原理 基于redis同步节点数据，模拟服务注册。然后将任务名 根据一致性hash 选举出执行该任务的节点。 ### 流程图  ### 特性 - 负载均衡：根据任务数据和节点数据均衡分发任务。 - 无缝扩容：如果任务节点负载过大，直接启动新的服务器后部分任务会自动迁移至新服务实现无缝扩容。 - 故障转移：单个节点故障，10s后会自动将任务自动转移至其他正常节点。 - 任务唯一：同一个服务内同一个任务只会启动单个运行实例，不会重复执行。 - 自定义存储：通过实现driver接口...阅读全文
package cron import "time" func StartTimer(F func()) { go func() { for { F() next := now.Add(time.Hour * 24) next = time.Date(next.Year(), next.Month(), next.Day(), 0, 0, 0, 0, next.Location()) t := time.NewTimer(next.Sub(time.Now()阅读全文
# 分布式任务调度平台 ## 前言 在企业系统开发过程中难免少不了一些定时任务来进行定时触发执行任务，对于非分布式环境系统中，我们只需要在对应系统中内部集成一些调度库进行配置定时触发即可。 比如：使用Spring框架集成quartz,只需要进行一些简单的配置就能定时执行任务了。但是随着企业的系统越来越多、逐步从单一应用慢慢演变为微服务集群。 在分布式集群系统中主要面临出如：任务的重复执行、没有统一定时任务配置、任务节点故障转移、任务监控&报警等一些列的功能都是要在分布式系统中进行解决。 此分布式的定时任务调度平台，它非常轻量小巧，使用简单，后端以中心服务器为调度核心，负责集群中各种任务的动态分配和调度执行。 在平台前端支持Web界面可视化管理，我们可以创建、暂...阅读全文
在企业项目开发中会定时执行对应的job，对于一些简单少的job可以直接使用调度器调度执行任务。当随着公司的业务越来越多，执行任务越来越多。那么直接使用任务调度器调度任务执行会变得臃肿，而且对于任务是动态配置不可实现。如：想某一个时刻停止任务的执行、删除此任务然后修改更新任务执行时间等，如某一个任务配置到多台机器上如何做到不可用时，进行转移等问题。 为了解决此类问题，我们需要对任务的调度和执行进行分开。有统一的任务调度中心-专门进行任务的调度分发任务工作，各个任务的具体任务执行分配到个个项目中。从而达到对任务的统一配置和管理。 #基础环境 #GO环境 cd /usr/local/src/ mkdir -p $HOME/gocode/src # tar -zxf go1.8.3.linux-am...阅读全文
Chain是由一家刚成立两年的美国创业公司Chain推出，是一个企业级的区块链平台架构，可以让机构构造从零开始更好的金融服务。 作为区块链供应商，Chain在过去的两年多时间中获得了极好的信用。Chain通过将专属区块链和分布式总账的源代码进行开放，可以让更多的人在其软件上增加应用或是建立专属网络。Chain核心开发者版本的创建花费了数年时间，它是区块链供应商和金融机构合作的直接产物。由于这个开源软件针对的是金融领域，因此它允许用户创建和发行他们自己认为合适的数字资产。 Chain 开放标准在以下方面实现突破： • 全新的共识模型在不到一秒的时间里实现交易的最终完成，即便是交易量非常大也能支持 • 私密解决方案对区块链数据进行加密，并让相关对手方和监管者进行有选择的读...阅读全文
Volcano 是基于 Kubernetes 的批处理系统，源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入，提供高性能任务调度引擎，高性能异构芯片管理，高性能任务运行管理等能力。 ## 整体架构  Volcano 提供一整套目前 K8S 在批量和弹性工作负载处理中缺失的机制，包括： 1. 机器学习/深度学习 2. 生物信息学/基因组学 3. 其他“大数据”应用 这些类型的应用程序通常运行在Volcano集成的Tensorflow，Spark，PyTorch，MPI等通用域框架上...阅读全文
OWL 是 TalkingData 公司推出的一款开源分布式监控系统 * Go 语言开发，部署维护简单 * 分布式，支持多机房 * 多维的数据模型，类 opentsdb * 支持多种报警算法，报警支持多条件组合、克隆 * 灵活的插件机制，支持任意语言编写，支持传参 * 丰富的报警渠道，邮件、微信、短信 * 原始数据永久存储 * 自带 Web 管理界面以及强大的自定义图表功能 **系统架构**  **Demo** [http://54.223.127.87/](http://54.223.127.87/)...阅读全文
最近一直在折腾时序类型的数据库，经过一段时间项目应用，觉得十分不错。而Prometheus又是刚刚推出不久的开源方案，中文资料较少，所以打算写一系列应用的实践过程分享一下。 Prometheus 是什么？ Prometheus是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。 Prometheus 的优点 非常少的外部依赖，安装使用超简单 已经有非常多的系统集...阅读全文
这篇文章简单地说明了如何在 macOS 上打包一个 Go 的程序，包括引用或者不引用外部资源。作为一个原生的 Cocoa 程序它是可以下载、安装和运行的。开发过程并不需要 XCode，cgo 或者其他特殊的库文件。 在此文章结尾处，你的 Go 程序将会被打包进一个 `.app` 文件，成为一个拖放安装的只读 DMG 文件。这也适用于其他非 Go 语言的程序。 关于这个端到端的解决方案的主题还有其他很多的指导文章，有的讲的比我想要做的内容多很多，有的又是采用不同的方式，而我想呈现给你的是如何将文件打包的过程。 **要求**：你必须要有一个 macOS。此方法不会在 Windows 或者 Linux 上生效。事实上，它也可能生效，但是你必须要手动或者借助某些疯狂的工具来制作和 macOS 相关的...阅读全文
最近研究了下gowoker，这东西代码少而精，Golang真是很适合实现这类东西。 我去掉参数配置,JSON,Redis这些东西，用goworker的方式做了个最简单的实现。 实现如下功能: 1. worker向JobServer注册可执行的功能 2. JobServer轮询,有job就执行,没有则继续轮询 3. client向JobServer提出任务请求,并传入参数 4. JobServer依请求丢给worker执行(可并发或串行执行) 5. JobServer继续轮询 我弄的这个代码很少，其中队列用数组代替,同时省掉了很多东西, 但保留了其goroutine与channel最基础的实现。 如果想看goworker的,可以参考下我这个,应当可以更快的弄明白goworker。 演示例子及运...阅读全文
有限状态机 又简称FSM(Finite-State Machine的首字母缩写)。这个在离散数学里学过了，它是计算机领域中被广泛使用的数学概念。是表示有限个状态以及在这些状态之间的转移和动作等行为的数学模型。编译原理学得好的童鞋应该对FSM不陌生，因为编译器就用了FMS来做词法扫描时的状态转移。 FSM的概念在网上一搜可以搜一大堆出来，但估计您也看不大明白。本文将以不一样的方式来讲述FSM的概念以及实现。 现实生活中，状态是随处可见的，并且通过不同的状态来做不同的事。比如冷了加衣服；饿了吃饭；困了睡觉等。这里的冷了、饿了、困了是三种不同的状态，并且根据这三个状态的转变驱动了不同行为的产生(加衣服、吃饭和睡觉)。 FSM是什么 所谓有限状态机，就是由有限个状态组成的机器。再看上面举到的例子：人...阅读全文
Qor 是基于 Golang 开发的的CMS 一系列工具库，基于 Qor可以快速搭建网站的后台管理系统。 Qor 的工作库包含： 1，后台管理：可以对数据库进去 CURD 管理，支持一对一，一对多，多对多关联关系维护等等 2，支持上传图片到云以及 filesystem，resize、crop 图片等等 3，Publish 发布系统，可以修改数据，并且经过检查后，再发布到正式环境中 4，状态机，可以用于开发工作流的系统 5，I18n，翻译，可以通过在 WEB 界面翻译，并将翻译保存到数据库中 6，L10n，本地化，不同于翻译，他可以针对某个地区来对内容，或者数据结构进行本地化。 7，Roles，权限管理 8，Exchange，通过 Excel，CSV 导入导出数据 9，Wo...阅读全文
一个轻量级的分布式定时任务调度平台-Cloudtask  **什么是Cloudtask?** Cloudtask 是一个轻量级的分布式定时任务管理平台，它非常轻量小巧，使用简单，我们可以上传、暂停/启动任务，克隆一个任务，修改任务的执行命令，或者查看任务的调度状态、执行日志，开发人员可以采用自己最熟悉的编程语言来编写任务程序，可以是一个控制台程序，也可以是一段 shell 脚本，上传至平台后设置定时执行规则即可。 **架构设计** **![image](https://static.oschina.net/uploads/img/2018...阅读全文
# 分布式任务调度平台 > 演示地址:http://122.51.106.217:6579 ## 前言 在企业系统开发过程中难免少不了一些定时任务来进行定时触发执行任务，对于非分布式环境系统中，我们只需要在对应系统中内部集成一些调度库进行配置定时触发即可。 比如：使用Spring框架集成quartz,只需要进行一些简单的配置就能定时执行任务了。但是随着企业的系统越来越多、逐步从单一应用慢慢演变为微服务集群。 在分布式集群系统中主要面临出如：任务的重复执行、没有统一定时任务配置、任务节点故障转移、任务监控&报警等一些列的功能都是要在分布式系统中进行解决。 此分布式的定时任务调度平台，它非常轻量小巧，使用简单，后端以中心服务器为调度核心，负责集群中各种任务的动态分配和调度执行。 在平台前端支持W...阅读全文
第1章 课程介绍本章中将介绍一下本课程的基本内容，包括：我们要做什么、要求什么基础、将学会哪些工具、收获哪些独家干货，以及课程具体安排。第2章 如何执行shell命令执行"定时任务"其实就是执行"shell命令"。在本章中，将首先带大家区分"程序"与"命令"，接着了解bash命令解释器的2种工作模式，并图示分析shell执行任务的底层原理与涉及的系统调用。最后，我们使会用Go语言的Command标准库，实现任务的执行，输出捕获，杀死任务等重要功能。 ...第3章 如何解析cron表达式cron表达式是配置定时任务执行周期的核心工具。在本章中，将首先分析cron表达式的构成以及解析逻辑，并利用开源项目cronexpr解析cron表达式并计算任务的下次调度时间。之后，我们将利用其实现任务并发调度...阅读全文
构建开发者能力金字塔，化解年龄焦虑很多开发者对年龄很焦虑。要入行时，到处找人问，程序员到底是不是青春饭。干了几年，快30了，开始担忧，到底能干到多少岁，该不该转管理。过了30了，开始跟着大家讨论，35岁到底是不是程序员的一道坎，要是干不成管理，是不是该转行了。过了35了，开始在知乎上翻回答，看40以上的程序员都干什么去了。……一开始我也是焦虑的，不过后来想明白了，精力的不足，可以用经验、技巧和方法论来弥补。这个道理，从《天龙八部》中也可以看出来。《天龙八部》第39章——“解不了，名缰系嗔贪”——中有几段文字，描写了大轮明王鸠摩智如何借助小无相功运使少林七十二绝技，惊倒玄生、玄慈等少林高僧，非常精彩。（想看的小伙伴可以戳这里：大轮明王鸠摩智教你找核心竞争力。）对鸠摩智来讲，少林七十二绝技是外在...阅读全文
课程介绍 本章知识针对分步式系统中的调度技术进行阐述，比较Hadoop MR，Yarn等系统见的区别，并指出阿里Fuxi系统在任务调度和资源调度时的处理方法，并对未来发展进行展望。 讲师简介： 陶阳宇，阿里巴巴高级专家，主要从事大型分布式系统和高并发系统的开发，在系统架构设计，性能优化等方面有丰富积累，参与研 发了阿里云”飞天”分布式平台，支持5000节点大规模集群，主持研发了在线服务框架FuxiService、实时计算系统FuxiOnlinejob等多个线上产品，2015年带领团队在世界排序大赛SortBenchmark’2015中夺得冠军，打破两项世界纪录。曾在国际会议VLDB、CSDN等杂志发表过多篇技术文章，作为教师讲授清华大学大数据课程。 课程目标 ...阅读全文
最近在用Golang开发一个客户端。客户端打开之后，会打开系统浏览器然后弹出一个网页。 目前已经写的差不多了，但是有个问题疑惑着我，Golang有没有类似C# contextMenu的东西呢,我在 github.com 上看到了 walk. 一个非常不错的golang gui开发框架,这个实现了类似于C# ContextMenu的东西 下面是一个非常简单的小示例： package main import ( "github.com/lxn/walk" "log" ) func GuiInit() { mw, err := walk.NewMainWindow() if err != nil { log.Fatal(err) } //托盘图标文件 icon, err := walk.Resou...阅读全文
**DTLE是一个开源的数据传输中间件**，其针对的核心场景如下: **跨数据中心的数据传输**：DTLE能在数据中心间进行可靠数据传输，并提供链路压缩以降低传输成本 **云间数据同步/迁移**：DTLE能提供在公有云间架设数据同步通道，以支持数据容灾等需求 **数据汇聚**：DTLE能将多个数据源汇聚到同一个数据源，以提供数据分析/数据转储的功能 **数据订阅**：DTLE能将数据源的变更消息发往Kafka等消息中间件，以支持数据订阅通知/缓存失效通知等需求 **跨数据中心的双向复制**：DTLE能在数据中心间提供双向复制通道，以配合业务实现数据双写 **分布式架构**：DTLE在数据传输这个基本场景上，使用了成熟的分布式任务调度架构，可以便捷地在集群中配置大量的数据传...阅读全文
谷歌Go语言近日迎来了3周岁生日。谷歌在2009年11月首次宣布推出Go语言项目，截止到今天，已有数百个外部贡献者加入并参与贡献，也有大量的组织或机构开始转向Go语言，其中包括BBC Worldwide、 Canonical、CloudFlare、Heroku、Novartis、SoundCloud等。谷歌自己也使用该语言开发了一些Web应用程序以及Doodles等。 Go语言结合了动态语言易于编写的特性和静态语言的高效性，最初定位于网络服务器、存储系统和数据库的程序设计，同时在语言中包含并发构造体，以帮助开发者创建并行任务。Go开发团队曾表示，编译完成的Go程序运行速度接近C语言实现的程序。 今年3月份，谷歌发布了Go语言的第1个稳定版本，在此之后，谷歌又为该项目增加了一个包管理系统goi...阅读全文
在2015年初我们创建了一个微服务，它只做一件事（也确实做得很好）就是地理围栏查询。一年后它成了Uber高频查询（QPS）服务，本次要讲的故事就是我们为什么创建这个服务，以及编程语言新秀Go如何帮我们快速创建和扩展该服务。 背景 在Uber，一个地理围栏就是在地表人为定义的地理区域（或多边形几何区域）。地理围栏在Uber被广泛用于基于地理位置的设置。向用户展示给定区域有哪些产品可以使用，根据特殊需要（如机场）定义区域，并在乘车高峰时在相邻区域实施动态定价是我们产品的重要应用场景。 一个科罗拉多地理围栏示例。 第一步是通过用户手机获取地理位置信息如经纬度，进而确定用户所在地理围栏。这个功能分散在多个服务或模块中。因为我们从整体架构向微服务架构迁移，我们选择将这个功能做成一个新的微服务。 使用G...阅读全文
snake snake 一款适合于快速开发业务的Go框架，主要是提供API服务。 技术栈 框架路由使用 gin 路由 中间件使用 gin 框架的中间件 数据库组件 gorm 文档使用 swagger 生成 配置文件解析库 viper 使用 JWT 进行身份鉴权认证 校验器 validator 也是 gin 框架默认的校验器，当前最新是v9版本 任务调度 cron 包管理工具 go module 测试框架 goConvey CI/CD Github Actions 特性 遵循 RESTful API 设计规范 基于 GIN WEB 框架，提供了丰富的中间件支持（用户认证、跨域、访问日志、请求频率限制、追踪 ID 等） 基于 GORM 的数据库存储 JWT 认证 支持 Swagger 文档(基于...阅读全文
下面是测试代码，是我哪里弄错了，请高手指教，谢谢。 ```go package main import ( "github.com/lxn/walk" "github.com/lxn/walk/declarative" "github.com/lxn/win" ) func main() { form := new(walk.MainWindow) declarative.MainWindow{ AssignTo: &form, Title: "test", Size: declarative.Size{300, 300}, }.Create() setFormStyle(form) form.Run(...阅读全文
GoAdmin介绍 GoAdmin是一个基于golang的数据可视化后台搭建框架，内置了管理后台的rbac权限系统，登录以及一个crud逻辑与视图生成的插件。支持不同主题更换，支持添加插件形式添加不同应用进行功能扩展。 官网：https://www.go-admin.cngithub地址：https://github.com/GoAdminGro...在线demo：https://demo.go-admin.cn文档地址：https://book.go-admin.cn/zh 上手 这里直接实战介绍如何上手，最小化的实现一个真实应用的数据管理后台。我从github搜索到了这样一个golang的web例子：eddycjy/go-gin-example，我们以这个简单例子为例来搭建这个应用的管理...阅读全文
今天正好看到一篇关于敏感信息过滤的文章，这算做一个interface实际应用的一些举例和应用。 例子中介绍了一种比较常见的使用场景：使用JSON保存数据时的对诸如用户密码等信息进行保护时候应该做的事情。作者以使用JSON格式保存用户账户和密码为例，讲解了使用json.Unmarshaler接口类型过滤敏感信息。 比如，对于保存敏感数据的结构体： 1234567891011type Credentials struct { Email string `json:”email”` Password string `json:”password”`}func (co Credentials) MarshalJSON() ([]byte, error) { type credentials Cred...阅读全文
ants是一个高性能的协程池，实现了对大规模goroutine的调度管理、goroutine复用，允许使用者在开发并发程序的时候限制协程数量，复用资源，达到更高效执行任务的效果。 功能: 1. 实现了自动调度并发的goroutine，复用goroutine 2. 提供了友好的接口：任务提交、获取运行中的协程数量、动态调整协程池大小 3. 资源复用，极大节省内存使用量；在大规模批量并发任务场景下比原生goroutine并发具有更高的性...阅读全文
进程 我们都知道计算机的核心是CPU，它承担了所有的计算任务；而操作系统是计算机的管理者，它负责任务的调度、资源的分配和管理，统领整个计算机硬件；应用程序则是具有某种功能的程序，程序是运行于操作系统之上的。 进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体。进程是一种抽象的概念，从来没有统一的标准定义。 进程一般由程序、数据集合和进程控制块三部分组成。 程序用于描述进程要完成的功能，是控制进程执行的指令集； 数据集合是程序在执行时所需要的数据和工作区； 程序控制块(Program Control Block，简称PCB)，包含进程的描述信息和控制信息，是进程存在的唯一标志。 进程具有的特征： 动态性：进程是程...阅读全文
GoAlert 是一个待机任务调度与警报工具，支持自动上报与通知（通过 SMS 或语音通话），以在正确的时间以正确的方式自动通知到对应的负责人。  特性： * 可以自定义 GoAlert 给他人发送通知，保证在你不方便的时候也不会错过任何警报 * 管理团队任务，控制待机人员并快速查看相关信息 * GoAlert 为现有监控和遥测系统的外部集成提供了便利的选项 * 可以通过适合移动设备的 Web UI 或简单的单字符 SMS 回复来确认和关闭警...阅读全文
首先我们需要明确一下并行跟并发的区别，并发一般是被内核通过时间片或者中断来控制的，遇到io阻塞或者时间片用完的时会转移线程的使用权。一个核的情况下不可能有并行的情况，因为同一时间只有一个任务在调度。 该文章写的有些乱，欢迎来喷 ! 另外文章后续不断更新中，请到原文地址查看更新。 http://xiaorui.cc/2016/03/05/golang-runtime%E5%AE%9E%E7%8E%B0%E5%A4%9A%E6%A0%B8%E5%B9%B6%E8%A1%8C%E4%BB%BB%E5%8A%A1/ Golang默认所有的任务都在一个cpu核里，如果想使用多核来跑goroutine的任务，需要配置runtime.GOMAXPROCS。 GOMAXPROCS的数目根据自己任务量分配就可...阅读全文
监听etcd中的kv变化，常用来做集群中的配置下发、状态同步，非常有价值。 package main import ( "go.etcd.io/etcd/clientv3" "time" "fmt" "context" "go.etcd.io/etcd/mvcc/mvccpb" ) func main() { var ( config clientv3.Config client *clientv3.Client err error kv clientv3.KV watcher clientv3.Watcher getResp *clientv3.GetResponse watchStartRevision int64 watchRespChan <-chan clientv3.WatchR...阅读全文
**让天下没有难做的大数据模型！** # 功能 下面是弥勒佛框架解决的问题类型，括号中的斜体代表尚未实现以及预计实现的时间 * 监督式学习：[最大熵分类模型](https://github.com/huichen/mlf/blob/master/doc/maxent.md)（max entropy classifier），决策树模型（decision tree based models，_2014 Q1_） * 非监督式学习：聚类问题（k-means，_2014 Q1_） * 在线学习：[在线梯度递降模型](https://github.com/huichen/mlf/blob/master/doc/online.md)（online stochastic gradient des...阅读全文
RESTfull API是现在很流行的API设计风格。众所周知HTTP1.1规范正是基于REST架构风格的指导原理来设计的。需要注意的是，REST是一种风格而不是标准。如果一个架构复合REST原则，我们就称它为RESTful架构。 先来实现一个最简单的，启动一个RESTFul服务。代码示例：package mainimport ("net/http""fmt""html""log")func main() {http.HandleFunc("/", func(writer http.ResponseWriter, request *http.Request) {fmt.Fprintln(writer, "Hello, ", html.EscapeString(request.URL.Path...阅读全文
https://blog.couchbase.com/handle-data-modeling-errors-golang-couchbase-application...阅读全文
谷歌Go语言开发团队今天发布了1.1正式版本。 Go是谷歌于2007年9月启动设计的编程语言，最初定位于web服务、存储系统和数据库的程序设计，同时在语言中包含并发构造体，以帮助开发者创建并行任务。Go将动态语言易于编写的特性和静态语言的高效性相结合，具备良好的易用性和极佳的执行效率。 与1.0版本相比，该版本的主要改进如下： 1. 性能改进 与1.0版本相比，该版本对编译器和链接器、垃圾回收、goroutine（Go语言的并发机制）调度、map实现、部分标准库进行了优化，基于该版本构建的Go代码运行速度将会明显提升。 2. 语言本身的变化 语言本身有一些细微的变化，其中两个需要注意的变化是：放宽了return语句的限制（可以简化现有代码中多余的return语句，使程序更加简洁）、引入了方法...阅读全文
Go语言是Google公司的实验性语言，以BSD协议开放源代码。Go语言在Inferno操作系统相关的研究工作基础上开发，最初由Rob Pike等Google工程师在2007年9月启动设计工作，在2009年11月正式对外发布。 Go将动态语言易于编写的特性和静态语言的高效性相结合，具备良好的易用性和极佳的执行效率。Go语言最初定位于网络服务器、存储系统和数据库的程序设计，同时在语言中包含并发构造体，以方便的帮助开发者创建并行任务。Go语言具有效率极高的编译器，目前Go编译器能在Linux、FreeBSD以及Mac OS X平台下运行，但暂时没有对Windows环境提供编译支持。Go开发团队曾在博客中表示，编译完成的Go程序运行速度接近C语言实现的程序。 在今年五月份举办的Google I/O...阅读全文
Go语言是Google公司的实验性语言，以BSD协议开放源代码。Go语言在Inferno操作系统相关的研究工作基础上开发，最初由Rob Pike等Google工程师在2007年9月启动设计工作，在2009年11月正式对外发布。 Go将动态语言易于编写的特性和静态语言的高效性相结合，具备良好的易用性和极佳的执行效率。Go语言最初定位于网络服务器、存储系统和数据库的程序设计，同时在语言中包含并发构造体，以方便的帮助开发者创建并行任务。Go语言具有效率极高的编译器，目前Go编译器能在Linux、FreeBSD以及Mac OS X平台下运行，但暂时没有对Windows环境提供编译支持。Go开发团队曾在博客中表示，编译完成的Go程序运行速度接近C语言实现的程序。 在今年五月份举办的Google I/O...阅读全文
工作地点：南京市楚翘城，双休五险一金，10K-20K，物联网行业 核心技能： •Go, C++/C, Lua •高并发/并行处理/队列/任务调度相关工作经历 大型系统项目经验佳 还期望您可能具备： •集群, Docker部署; •Linux 基础; •JavaScript/Node.js; •内存库：Redis, mongo…; •关系数据库: Postgres, MySQL...; •MQ 相关: MQTT,CoAP...; •会 Java/C#, 有强烈学习意愿. 其他： •欢迎完美主义者/小偏执狂:-) 岗位职责： •各种姿势 Coding; •做好TDD驱动或开发者驱动测试; •任务/故障跟踪...阅读全文
本文地址：https://linux.cn/article-9006-1.html 2017-10-28 20:18 收藏: 1 10 月 20 日，位于纽约的 MongoDB 在纳斯达克上市，当日收于 32.07 美元，比 24 美元的 IPO 价格高出 34%。MongoDB 首席财务官 Michael Gordon 放言：MongoDB 在数据库系统这个市场大有机会取代 IBM 和 Oracle！如此的霸气，底气哪里来？ 大数据和云计算的风被谷歌吹起来的时候，被谷歌收购的网络广告公司 DoubleClick 的原 CEO 和 CTO 们觉得自己应该蹭上时代的列车，再次创业，然后 10gen 公司就这样在纽约诞生了。它的创始人分别是 DoubleClick 的创始人兼 CTO 德怀特 ·...阅读全文
GC（垃圾回收）必须Stop-the-world？ 并发编程的许多困难都源于对象生存期问题，当对象在线程之间传递时，要确保它们安全地释放就变得很麻烦。因此GC可以使得并发编程变得容易。但是实GC也是一个挑战，但是一次实现，就可以解决人们手动管理内存的麻烦（C语言），大大提高的开发效率和避免了许多Bug。 但是GC也是有成本的，他会影响程序的效率，GC是一个非常挑战的工作，很多计算机科学家在上面耗费了数十年不断的提升效率。 GC算法设计时，会考虑几个重要指标： 程序吞吐量：GC对程序效率的影响，也就花费在GC的时间和程序处理正常业务的时间比； GC吞吐量：单位时间内垃圾回收的数量； 暂停时间：Stop-the-world 的时间； 并发：垃圾回收机制如何使用多核； 等等还有很多 很多人问为什么...阅读全文
微信号：new_video qq号码：2381392963资料来源网络，仅供学习使用，请勿传播。如有侵权，请联系删除。课程介绍：Golang因其强大的协程机制，现已广泛应用于解决分布式环境下的高并发问题。本门课程中将结合Etcd与MongoDB实现一个基于Master-Worker分布式架构的任务调度系统。你不仅将.....阅读全文
第一次接触Prometheus就被深深吸引，决定阅读源码，了解它的设计方式。首先分析的是pull metrics部分，讨论Prometheus是如何从目标点采集数据的。 Prometheus 的主要优势有： * 由指标名称和和键/值对标签标识的时间序列数据组成的多维数据模型。 * 强大的查询语言 PromQL。 * 不依赖分布式存储；单个服务节点具有自治能力。 * 时间序列数据是服务端通过 HTTP 协议主动拉取获得的。 * 也可以通过中间网关来推送时间序列数据。 * 可以通过静态配置文件或服务发现来获取监控目标。 * 支持多种类型的图表和仪表盘。 目前总结了两篇，欢迎交流： * [一、Prometheus源码分析之：数据采集](http://ldaysjun.com/2019/11/13/...阅读全文
