今天看了下内核使用的malloc和free，受益颇丰，现在回想起来以前看golang的runtime中内存的管理部分感觉清晰了很多。linux0.11部分内核的方法名也叫malloc，之后的版本为了和用户程序的区分改成了kmalloc，但分桶思想大概相同 首先明确几个变量和数据结构 free_bucket_desc 这个是当前未使用的桶描述符的链表 _bucket_dir，通描述符目录，每个大小的通描述符的目录，其中size记录了桶的大小，bucket_desc是指向桶描述符的指针。每个bucket_desc都有next指针来组成一个链表 bucket_desc，关键对象，一个描述符被第一次使用的时候，会申请一页地址，并且根据该描述符所在的大小将该页切割成不同的块，每个块初始化的时候前4个字...阅读全文
package main import ( "fmt" "io" "net/http" "os" "regexp" "strconv" "strings" ) func HttpGet(url string) (result string, err error) { client := &http.Client{} req, err1 := http.NewRequest("GET", url, nil) if err1 != nil { err = err1 return } req.Header.Add("User-Agent", "test2") resp, err2 := client.Do(req) if err2 != nil { err = err2 return } defe...阅读全文
前言 本次更新主要集中在日志管理、任务触发、爬虫展示等优化，以及加入 Node.js SDK。 更新日志 功能 / 优化 Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. 日志管理优化. 日志搜索，错误高亮，自动滚动. 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页. 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505 页面加载占位器. Bug 修复 定时任务配置失去焦点. #519 无法用 CLI 工具上传爬虫. #524 产品规划 结果展示 支持其他数据库 爬虫 支持 Git 仓库同步 更好的 Scrapy 支持 更好的长任务支持 可配置爬虫 可配...阅读全文
声明：本文内容纯属博主自己查找和归纳的个人所需的知识点，仅作参考，如有错误，博主强烈希望您指出。如果您是某个知识点的原创博主，如有需要，可联系本人加上链接。本文内容会根据博主所需进行更新，希望大家多多关照。 MySQL底层数据结构 B+树 存储引擎之二：InnoDB与Myisam InnoDB Myisam 事务 支持 不支持 外键 支持 不支持 锁 表锁、行锁 表锁 总行数 需要扫描整个表 直接读取 文件 .idb数据文件和它的.frm文件，表的大小只受限于操作系统文件的大小，一般为 2GB .frm文件存储表定义。数据文件的扩展名为.MYD (MYData)。索引文件的扩展名是.MYI (MYIndex)。 使用环境 都符合要求的情况下，改动多的时候 都符合要求的情况下，查找多的时候 自...阅读全文
