GOPA 发布 v0.10.0 版本

是时候发布一个版本了,v0.10.0 版本包括一些很不错的特性和改进,值得关注的: 管道可以通过 API 动态创建和修改,并且可以根据目标网址的规则动态应用。 支持 Chrome 浏览器模拟抓取,Ajax 渲染的页面也可以抓取了。 完善搜索界面,支持移动端和提供搜索提示。 支持用户登陆,使用 Github OAuth 来进行身份认证。 下载地址: https://github.com/infinitbyte/gopa/releases/tag/v0.10.0 包括 windows、linux 和 windows 三个平台的包。

一个爬虫:GOPA/狗爬

我以前搭建过一个 elasticsearch 资源的聚合网站,s.medcl.com,聚合了 elasticsearch 的相关资源,有文档,有 Google Group 的讨论(现在换 discuss 了),还有 PPT 等等,方便搜寻资料,因为时间太久,后面不知道死哪里去了,现在发现没有还真是很麻烦,有时候找一些资料很麻烦,要跑好几个网站去找,所以我把这个资源的搜索站重新弄起来… …

Go build之当前目录

刚接触GO,写个GOPA(https://github.com/medcl/gopa)玩玩,遇到点小问题,在ide下面编译ok,在命令行下面编译找不到package,搜了半天木有找到现成的办法,自己写个批处理成功搞定。 我的项目路径是:C:\Projects\Go\gopa\src> 转到该目录,执行build,结果报找不到package,package当然是存在的

首先查看一下系统的GO环境变量

系统的环境变量GOPATH没有包含我的项目路径,有人建议在环境变量里面加上我的项目路径,但是这不够优美。 其实写个批处理处理一下环境变量就行了。 src目录下面新建一个build.bat批处理文件

linux下面也是一样的解决,在makefile如下

新建一个build.sh,处理环境变量和依赖(狗爬依赖的包)

linux下面,转到src下,执行./build.sh 摘抄的常用windows下的环境变量 附录:下面贴上一些常用的环境变量及作用 %ALLUSERSPROFILE% 局部 返回所有“用户配置文件”的位置。   %APPDATA% 局部 返回默认情况下应用程序存储数据的位置。   %CD% 局部 返回当前目录字符串。   %CMDCMDLINE% 局部 返回用来启动当前的 Cmd.exe 的准确命令行。   %CMDEXTVERSION% 系统 返回当前的“命令处理程序扩展”的版本号。   %COMPUTERNAME% 系统 返回计算机的名称。   %COMSPEC% 系统 返回命令行解释器可执行程序的准确路径。 […]