解决ollama在开启系统代理后无法访问的问题
问题说明 在同一段代码里既使用了 openai 的 api，又使用了本地的 ollama，但是我必须开启系统代理才能访问 openai 的 api，但是此时 ollama 就会报错 400。 原因是系统代理影响了 Ollama 的请求，需要针对性设置下，其中一个简单的方法是使用 no_proxy 环境变量。 设置环境变量 no_proxy 来绕过本地请求。例如，将 localhost 和 127.0.0.1 加入 no_proxy 环境变量中，系统代理将不会影响到本地的 Ollama 请求： 1export no_proxy=localhost.0.0.1 而我将这个设置和开启代理绑定在了一起： 12alias proxy_on='export https_proxy=xxx http_proxy=xxx; export no_proxy=localhost,127.0.0.1' alias proxy_off='unset https_proxy; unset http_proxy'
RT-Attack：文生图模型的越狱攻击
论文信息 标题：RT-attack: jailbreaking text-to-image models via random token 时间：2024.08.27 来源：arXiv 论文：https://arxiv.org/abs/2408.13896 网站：无 一句话总结：本文提出了一种利用随机搜索（random search） 的 两阶段（two-stage） 的 基于查询（query-based） 的 黑盒（black-box） 面向文生图模型的 Jailbreak 攻击方法。 这篇文章我想换一种写法。通过详细线性记录原文摘录、个人思考，完整展现从头到尾精读一篇文章的过程，以巩固这种方法论。 Abstract Recently, Text-to-Image(T2I) models have achieved remarkable success in image generation and editing, yet these models still have many potential issues, particularly in...
EasyJailbreak：一个大模型越狱攻击框架
论文信息 标题：EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models 时间：2024-03-18 来源：arXiv 论文： arxiv.org 网站： https://github.com/EasyJailbreak/EasyJailbreak 一句话总结：实现了 13 种 jailbreak 算法，默认包含了 5 种数据集，2 种指标（ASR 和 perplexit），可以方便快速的构建起一个 Jailbreak 的原型。 前置知识 通过一篇论文的 Related Work 部分，可以帮助我们快速了解相关的背景知识，甚至积累该领域的基础知识，这一篇文章中就针对 Jailbreak 各种实现方法总结为三类，分别是人类设计（Human-Design），长尾编码（Long-tail Encoding）和提示词优化（Prompt Optimization）。 Human-Design：就是人类手动制作的 Jailbreak...
Latex 日常使用技巧
表格或图片横跨两栏 只需要将 figure 和 table 加个 * 号即可。 123\begin{table*}[h!t] ... \end{table*} 123\begin{figure*}[h!t] ... \end{figure*} Zotero 导出 Bib 时使用 Better Bibtex 一些类似于 ACM-Reference-Format 的参考文献，会要求 year，address 等字段，而在 zotero 中使用 Better BibLatex 导出的 bib 文件中，是缺乏相关字段的，只有 date，因此会报错，并且显示的参考文献会出现很多缺失内容。而使用 Better Bibtex 就会有相关字段。 建议一直使用 Better Bibtex 进行导出。 Google 论文里存放 Prompt 的 Box 样式 使用方法如下，请先定义 AIbox： 123456789101112131415\tcbset{ aibox/.style={ width=\linewidth, top=8pt, bottom=4pt, ...
本地下载 Huggingface 模型时提示需要授权
报错信息 Cannot access gated repo for url https://hf-mirror.com/meta-llama/Llama-2-7b-hf/resolve/main/config.json. Access to model meta-llama/Llama-2-7b-hf is restricted. You must be authenticated to access it. 原因是 meta-llama/Llama-2-7b-hf 这个模型需要授权，需先去 huggingface.co 官网上获取授权，然后在本地使用 huggingface-cli login 输入 token 后才可正常使用。 12pip install -U "huggingface_hub[cli]" # 安装huggingface-cli huggingface-cli login token 的获取方式为：huggingface 主页 -> Settings -> Access Tokens -> 新建一个 Read 权限的...
处理Latex中ACM-Reference-Format的一些格式问题
删除 ACM Reference Format 信息 解决方法：在 \begin{document} 下添加以下信息： 123\settopmatter{printacmref=false} % Removes citation information below abstract \renewcommand\footnotetextcopyrightpermission[1]{} % removes footnote with conference information in first column \pagestyle{plain} % removes running headers 参考链接 Latex中ACM-Reference-Format顺序与论文引用顺序不一致solution-CSDN博客
从奖励的角度分析大模型“越狱”的本质
论文信息 标题：Jailbreaking as a Reward Misspecification Problem 时间：2024-07-12 来源：arXiv 论文： https://arxiv.org/pdf/2406.14393 网站： https://github.com/zhxieml/remiss-jailbreak 一句话总结：既然对齐是在最大化奖励函数，如果该奖励函数有问题，模型自然无法避免地存在安全漏洞。大模型 " 越狱 " 的本质可能是源于 AI 训练过程中的 " 奖励错误规约 "（Reward Misspecification）。 为什么会出现越狱问题？ 目前的对齐往往是在后训练阶段进行，通过 SFT 或者 RLHF 引入示范性回答或偏好反馈来缓解预训练预料中的安全风险。其本质都是提升模型生成 3H 回复的概率、降低生成有害回答的概率。 因此，可以将对齐看作是一个优化问题，即带有 KL 散度约束的奖励最大化问题。 关键点就在奖励上，如果奖励函数出现问题，模型自然无法避免存在安全漏洞。 ...
Hexo 代码高亮换用 shiki 并支持双色主题
起因 Hexo 自带的代码高亮插件 highlight.js 和 prism.js 提供的代码高亮太弱了，我最常用的 bash/shell 高亮几乎可以忽略不计，并且 python 的高亮也不是特别好看。 Shiki（式，一个日语词汇，意为 “样式”） 是一款美观而强大的代码语法高亮器，它与 VS Code 的语法高亮引擎一样，基于 TextMate 的语法及主题。Shiki 能为几乎所有主流编程语言提供非常准确且快速的语法高亮。 在 Github 上搜索 hexo-shiki，可以搜索到 hexo-shiki-plugin 库，正是可以将 shiki 集成到 hexo 的插件。在我使用过程中，还有根据切换 light 和 dark 主题的时候顺带切换代码块主题的需求，因此需要在设置上进行一下调整，记录一下。 配置 Hexo-shiki-plugin 插件 1、安装插件 1npm install hexo-shiki-plugin --save 2、配置插件 插件基本配置项请参照 GitHub - nova1751/hexo-shiki-plugin 设置。 ...
Speculative RAG：Google 提出的多草稿 RAG “降本增效”
论文信息 标题：Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting 时间：2024-07-11 来源：arXiv 论文： https://arxiv.org/pdf/2407.08223 网站： https://github.com/liambarstad/speculative_rag 一句话总结：使用小型专家 LM 对 prompt 先生成多个草稿（drafts），再用大型通用 LM 进行验证、选择。 Speculative RAG 与其他 RAG 的区别 （a）Standard RAG：将所有文档合并到提示中，增加了输入长度，减慢了推理速度。 （b）Self-Reflective RAG：需要对 LM 进行专门的指令微调，以具备自我反思能力。 （c）Corrective RAG：使用外部评估检索器来提高文档质量，仅关注上下文信息，不提高推理能力。 （d）Speculative RAG：利用一个 larger Generalist LM 去 verify 多个...