最近有个项目，想通过大预言模型的微调来进一步增强RAG的效率，才有了几天的折腾，虽然最后还是没有达到预期，还是记录一下这个过程，没准后期还得再来一遍。 unsloth是一个大语言模型微调工具，支持多种包括刚开源的Qwen2、llama3等主流开源模型，可导出为GGUF（这样就可以直接在ollama中使用了，巨方便），项目地址：https:……

特别提醒：请谨慎使用。 很有意思的一个开源项目，现在也可以在stable diffusion中使用了 特别注意，使用秋叶一键安装包来安装roop插件可能会面临python版本不兼容的问题，强行安装会导致sd分分钟崩给你看，切勿轻易尝试（可先备份一键安装包内的python）。 先来看看roop能干啥 参考图： 使用roop换脸生成如下图： ……

尽管知道我这台老本子可能运行不了图片生成这类吃GPU的ai工具，但还是抱着尝试的心态体验了一次。 目的：体验Stable Diffusion本地ai生成环境：macbookpro，macOS12，intel芯片2.4G四核，8G内存，集成显卡。需要安装包：python3.10以上 先说结果：生成一张不复杂的图片，需要10-20分钟，期间机……

最近项目（TP6）中要做一些数据采集，找到了QueryList这个采集框架，还蛮容易上手的，主要是把采集到的数据，在入库之前做了下处理，官方文档中还有更高级的玩法（见官方文档：http://www.querylist.cc/docs/guide/v4/processing-data），直接在规则部分，通过过滤器来处理数据，记录一下：

背景说明：最近在做一个网站推广的项目，想获取这个网站的所有url地址，生成一个网站地图，就拿python练练手。 思路：爬网站所有url，也就是获取网页-》分析网页-》提取所有a标签-》最终获取url，再将获取的url作为源信息来查找新的url。 从网页中提取a标签属性值最快的方法有两个，一个是正则，一个用CSS选择器。Beautiful……

需求是这样的，总会遇到几个巨大无比的数据库备份文件，工具导入的时候经常就是各种问题，要么是慢，要么是丢数据（反正我是遇到了），如果有个办法能快速的把大文件按数据库或数据表拆分成单个小文件，然后分批或者有选择的导入到数据库不是很好？说干就干了 环境 win10工具：python3.7+pycharm要分割的文件大小：6G，sql文件 直接上……

后台运行爬虫，就想到了selenium，但是以往在用她的时候会把浏览器也打开，就想能不能后台操作，结果百度了下还真有： 逻辑：模拟用户浏览行为：搜索、浏览（滚动条+页面停留时间）、浏览不同页面等找一堆代理定一一堆请求头（包括浏览器类型、终端机型等）执行模拟操作然后一个死循环 附：chromedriver安装可以到http://npm.ta……

这家伙有点大，直接用清华镜像站来安装： 相当快就安装好了，接下里指定文件保存路径 执行后会生成一个默认的配置文件jupyter_notebook_config.py，只需要在里面修改路径就行啦找到 #c.NotebookApp.notebook_dir，注意把前面注释去掉，然后修改路径，我这里写的是： c.NotebookApp.note……

今天突然有个需求,就是把提取图片里面的文字,找了python的一些库,除了安装库还要安装其他的识别文字的驱动什么的,感觉太麻烦了,后面找到了百度ai的api,申请个id,就可以开始干了,当然也要安装模块: pip install baidu-aip 效果杠杠的(python sdk文档 https://ai.baidu.com/docs#……

pymysql是python中操作mysql数据库的一个优秀的模块，使用起来也是非常的简单和方便，只用记住几个下面标注红色的部分的用法就ok了。 从数据库的增删改查操作来学习pymysql： 上面的代码是连接数据库，眼熟就对了，基本都是一个套路，有个地方需要说明下的是，后面的字符集，前几天在抓某宝商品评论的时候就遇到一个问题，评论内容里面……