Linux 磁盘清理
查看当前目录下各目录磁盘占用: 1du --max-depth=1 -h Conda 清理缓存 12conda clean -p # 只清理package conda clean -a # package、cache、index都清理 Ollama 删除模型 12ollama list # 列出所有的模型 ollama rm gemma:7b # 删除模型 Huggingface 清理缓存 1huggingface-cli delete-cache # 注意这是全清 请注意,使用上述命令会清除 huggingface 缓存目录下所有缓存,如果不希望删除所有的,建议先扫描,然后手动删除: 12huggingface-cli scan-cache # 扫描缓存目录、模型等 rm -rf /home/raykr/.cache/huggingface/hub/models--liuhaotian--llava-v1.5-7b # 手动删除对应缓存 Snap 删除旧照 ubuntu 上的 snap...
Ubuntu 配置 Frpc 内网穿透
1. 下载 Frpc Github 地址:Releases · fatedier/frp 2. 配置 Frpc 将文件解压后,将 frpc 和 frpc.toml 复制到 ~/Applications/frp 下,修改 frpc.toml 配置如下: 123456789serverAddr = "xxxx" # 远程 frps 地址 serverPort = 7000 # 远程 frps 端口 [[proxies]] name = "xxxx" # 当前本机服务的名称 type = "tcp" localIP = "127.0.0.1" localPort = 22 # 本机端口 remotePort = xxxx # 对应远程端口 3. 配置 frpc.service 服务 创建 frpc.service 文件: 1sudo vim...
解决ollama在开启系统代理后无法访问的问题
问题说明 在同一段代码里既使用了 openai 的 api,又使用了本地的 ollama,但是我必须开启系统代理才能访问 openai 的 api,但是此时 ollama 就会报错 400。 原因是系统代理影响了 Ollama 的请求,需要针对性设置下,其中一个简单的方法是使用 no_proxy 环境变量。 设置环境变量 no_proxy 来绕过本地请求。例如,将 localhost 和 127.0.0.1 加入 no_proxy 环境变量中,系统代理将不会影响到本地的 Ollama 请求: 1export no_proxy=localhost.0.0.1 而我将这个设置和开启代理绑定在了一起: 12alias proxy_on='export https_proxy=xxx http_proxy=xxx; export no_proxy=localhost,127.0.0.1' alias proxy_off='unset https_proxy; unset http_proxy'
RT-Attack:文生图模型的越狱攻击
论文信息 标题:RT-attack: jailbreaking text-to-image models via random token 时间:2024.08.27 来源:arXiv 论文:https://arxiv.org/abs/2408.13896 网站:无 一句话总结:本文提出了一种利用随机搜索(random search) 的 两阶段(two-stage) 的 基于查询(query-based) 的 黑盒(black-box) 面向文生图模型的 Jailbreak 攻击方法。 这篇文章我想换一种写法。通过详细线性记录原文摘录、个人思考,完整展现从头到尾精读一篇文章的过程,以巩固这种方法论。 Abstract Recently, Text-to-Image(T2I) models have achieved remarkable success in image generation and editing, yet these models still have many potential issues, particularly in...
EasyJailbreak:一个大模型越狱攻击框架
论文信息 标题:EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models 时间:2024-03-18 来源:arXiv 论文: arxiv.org 网站: https://github.com/EasyJailbreak/EasyJailbreak 一句话总结:实现了 13 种 jailbreak 算法,默认包含了 5 种数据集,2 种指标(ASR 和 perplexit),可以方便快速的构建起一个 Jailbreak 的原型。 前置知识 通过一篇论文的 Related Work 部分,可以帮助我们快速了解相关的背景知识,甚至积累该领域的基础知识,这一篇文章中就针对 Jailbreak 各种实现方法总结为三类,分别是人类设计(Human-Design),长尾编码(Long-tail Encoding)和提示词优化(Prompt Optimization)。 Human-Design:就是人类手动制作的 Jailbreak...
Latex 日常使用技巧
表格或图片横跨两栏 只需要将 figure 和 table 加个 * 号即可。 123\begin{table*}[h!t] ... \end{table*} 123\begin{figure*}[h!t] ... \end{figure*} Zotero 导出 Bib 时使用 Better Bibtex 一些类似于 ACM-Reference-Format 的参考文献,会要求 year,address 等字段,而在 zotero 中使用 Better BibLatex 导出的 bib 文件中,是缺乏相关字段的,只有 date,因此会报错,并且显示的参考文献会出现很多缺失内容。而使用 Better Bibtex 就会有相关字段。 建议一直使用 Better Bibtex 进行导出。 Google 论文里存放 Prompt 的 Box 样式 使用方法如下,请先定义 AIbox: 123456789101112131415\tcbset{ aibox/.style={ width=\linewidth, top=8pt, bottom=4pt, ...
本地下载 Huggingface 模型时提示需要授权
报错信息 Cannot access gated repo for url https://hf-mirror.com/meta-llama/Llama-2-7b-hf/resolve/main/config.json. Access to model meta-llama/Llama-2-7b-hf is restricted. You must be authenticated to access it. 原因是 meta-llama/Llama-2-7b-hf 这个模型需要授权,需先去 huggingface.co 官网上获取授权,然后在本地使用 huggingface-cli login 输入 token 后才可正常使用。 12pip install -U "huggingface_hub[cli]" # 安装huggingface-cli huggingface-cli login token 的获取方式为:huggingface 主页 -> Settings -> Access Tokens -> 新建一个 Read 权限的...
处理Latex中ACM-Reference-Format的一些格式问题
删除 ACM Reference Format 信息 解决方法:在 \begin{document} 下添加以下信息: 123\settopmatter{printacmref=false} % Removes citation information below abstract \renewcommand\footnotetextcopyrightpermission[1]{} % removes footnote with conference information in first column \pagestyle{plain} % removes running headers 参考链接 Latex中ACM-Reference-Format顺序与论文引用顺序不一致solution-CSDN博客
从奖励的角度分析大模型“越狱”的本质
论文信息 标题:Jailbreaking as a Reward Misspecification Problem 时间:2024-07-12 来源:arXiv 论文: https://arxiv.org/pdf/2406.14393 网站: https://github.com/zhxieml/remiss-jailbreak 一句话总结:既然对齐是在最大化奖励函数,如果该奖励函数有问题,模型自然无法避免地存在安全漏洞。大模型 " 越狱 " 的本质可能是源于 AI 训练过程中的 " 奖励错误规约 "(Reward Misspecification)。 为什么会出现越狱问题? 目前的对齐往往是在后训练阶段进行,通过 SFT 或者 RLHF 引入示范性回答或偏好反馈来缓解预训练预料中的安全风险。其本质都是提升模型生成 3H 回复的概率、降低生成有害回答的概率。 因此,可以将对齐看作是一个优化问题,即带有 KL 散度约束的奖励最大化问题。 关键点就在奖励上,如果奖励函数出现问题,模型自然无法避免存在安全漏洞。 ...