新浪微博数据集抓取脚本

分享个刚写的python脚本,用来抓取新浪微博的数据,其实这个脚本写了很久了,之前用这个脚本抓了几十G的数据,扔硬盘里一直没有用,前阵子win8刚出来,头脑一热就装了,还全格式化了那块盘,后面想要用的时候,才发现忘记把里面抓到数据拷出来了,悲催啊,还好脚本还在,今天完善了下,共享给大家,主要有如下功能: 支持多线程下载 用户id通过文件加载 按时间分目录 通过用户id取模划分子目录(如果你的id够多的话,避免单个文件夹下太多文件) 支持参数配置skip_count 支持下载完之后自动关机 支持命令行参数配置,具体查看帮助: -h 打包下载

新浪微博RSS订阅Feed生成服务

2011-12-4, 更新,支持自定义rss标题,服务放在SAE上一段时间了,速度比较快,大家都用这个新地址吧: http://rssing.sinaapp.com 2011-8-10, 更新:支持微博的个性化域名,忘记烦人的用户Id吧,rss标题更改为个性化域名,下面以姚大姐的为例: http://medcl.net/sinarss/yaochen 什么?不知道什么是个性化域名? —下面的都是浮云(很久之前的更新日志了)——— 最近弄博客的Lifestream,需要收集几个RSS地址,我想把新浪微博的RSS也集成上去,可是,新版新浪rss地址是什么?官方一找,谁知官方没有提供,没有办法,只有自己搞了,用ASP.NET提供一个页面,传上你的用户ID,然后就可以生成xml格式的文档,将这个地址拿到你的RSS阅读器或者其他什么玩意都可以。 源码:http://bitbucket.org/medcl/sina-twitter-rss-feed-generator/downloads http://www.box.net/shared/059xe6z2sk 网址如下: http://medcl.com/SinaRss.aspx?uid=1451057603 将uid=后面的数字换成你自己的用户Id就可以了 这个ID不知道? 登陆到进入到你的微博首页,点击我的粉丝,这个时候可以看到地址栏,里面就有你的用户ID了。 更新: 2010.3.7 增加编码设置参数,默认utf-8哦,使用方法: GB2312编码: http://medcl.com/SinaRss.aspx?uid=1451057603&encode=gb2312 UTF8编码: http://medcl.com/SinaRss.aspx?uid=1451057603&encode=utf-8 2010.3.30 源文件提供下载,方便大家自己部署,下载地址:http://www.box.net/shared/059xe6z2sk 2010.4.17 严重:空间搬家了,暂时不支持ASP.NET环境,原来的相应地址请换成http://lakeyon.com/SinaRss.aspx?uid=1451057603&encode=gb2312 【将medcl.net换成lakeyon.com即可,谢谢】 2010.4.21 添加代理,原地址继续使用,实际跳转到lakeyon.com 2010.5.9 添加参数originalimage来指定是否显示微博里面的原图,使用方式:显示原图: http://medcl.com/SinaRss.aspx?uid=1451057603&encode=&originalimage=true ps:大图有时候显示不正常显示缩略图:http://medcl.com/SinaRss.aspx?uid=1451057603&encode=&originalimage=false 2010.5.21 添加参数quotation来制定是否去掉引号,默认去掉,可选false或true如:http://medcl.com/SinaRss.aspx?uid=1451057603&quotation=false 2010.5.22 显示@转发来源及添加转发来源连接,限制标题长度50,添加参数titlelimit来限制标题长度,如:titlelimit=120,如果需要使用完整标题,使用参数fulltitle=true完整的例子可能如下(ps:参数都为可选,可一个和多个,fulltitle和titlelimit是有冲突的,当fulltitle为true,titlelimt失效):限制标题长度120: http://medcl.com/SinaRss.aspx?uid=1451057603&titlelimit=120显示完整标题:http://medcl.com/SinaRss.aspx?uid=1451057603&fulltitle=true 2010.6.27 写rss到文件,10分钟有效期 2010.6.30 源码和部署文件发布地址迁移到http://bitbucket.org/medcl/sina-twitter-rss-feed-generator/downloads 2010.8.17 […]

新浪微博PC客户端-微博发布工具

小提示:2011.2.27 此工具已停止更新,新的更加好用的客户端走这边: http://log.medcl.net/item/2011/02/launchy-plugin-sina-microblogging/  这两天没事写了个新浪微博的电脑客户端发布工具,支持多个账号的登录和关注的批量添加,更多新功能敬请期待… 下载地址:http://medcl.net/soft/sinatinyblogger/  我的微博http://t.sina.com.cn/medcl 使用说明: 1.基本使用 在输入框输入微博内容,按回车即可发布 2.发布话题 发表话题跟网页上操作是一样的,话题用”#”括起来,后面接内容就行如: #旁门左道#大家都在微博嘛 3.插入图片 在输入框,点击右键,选择上传图片,然后在输入框输入微博内容,注意,上传图片之后记得输入微博内容哦,否则会发送不成功 4.截屏上传 使用快捷键win+c (键盘上的windows键和字母C一起按),然后选择屏幕上要截取的范围,双击所选区域,完成截图,然后在输入框输入微博内容,按回车发送微博 5.分享视频 其实和网页上分享方式类似,直接将优酷、土豆的地址贴到输入框,发送即可,网页会自动显示播放窗口 2009-1-3 版本1.0.0.30 添加全局快捷键 win+q;使用迷你模式,去掉关注添加、多账号等功能,简单才好用 2009-1-3 版本1.0.0.32 增加评论、粉丝新消息提示功能 增加截屏功能,全局快捷键win+c;截屏之后,输入相关文字,回车发布微博即可 2009-1-3 版本1.0.0.32 增加本地图片上传功能 2009-1-4 版本1.0.0.37 界面微调 2009-1-5 版本1.0.0.42 添加代理设置和调整图标 2010-3-13 版本1.0.0.50 修改windows xp下插入图片的异常  固定此版本下载(不支持自动更新): 新浪微博客户端 […]