Roger的博客 | Roger Blog | renjie-github Blog

Transformer模型优化及加速概览

本文主要翻译总结自博客，内容上做了些许扩充，感兴趣的建议看原文。背景介绍 Transformer 模型在当今NLP的地位自不必说，在CV、多模态等领域，基于 Transformer 也开始崭露头角。但在实际使用中，往往会因为 Transformer 的模型复杂度为$\rm{O}(N^2)$而限制了其使用场景。为了能让该模型具备处理更长文本序列的能力，从不同的优化角度出发诞...

Posted by Roger on April 24, 2022

图神经网络简介

GNN

本文翻译总结自博文，感兴趣的建议自己看原文介绍真实世界中很多物体是由它们与其它事物的联系来给出定义的，一组对象以及它们相互之间的联系可以被很自然地用图来表征。作用于图数据上的神经网络叫做图神经网络（GNN，Graph Neural Network），随着GNN表达能力的不断提高，我们已经开始看到它在实际生活中发挥作用：如抗生素发现、物理仿真、虚假新闻检测、流量预测及推荐...

Posted by Roger on April 9, 2022

Gumbel-Softmax

可微的离散变量采样

介绍由于基于反向传播的参数梯度的计算无法用在不可微的层上，导致具有离散变量的随机网络很难训练。之前的关于随机梯度估计的工作主要集中在：用蒙特卡洛方差约减技术扩充的得分函数估计用于Bernoulli变量的有偏路径导数估计（biased path derivative estimator）然而，还没有专门针对类别变量（Categorical Variable）的梯度...

Posted by Roger on March 24, 2022

REST API

concepts

Restful API 基本介绍 REST API（也叫作RESTful API）是一个遵守REST架构风格并且允许RESTful Web服务之间交互的应用程序接口（API）。REST全称是REpresentational State Transfer，当一个client通过一个RESTful API发送请求，它事实上transfer a representation of the st...

Posted by Roger on March 6, 2022

Git常用命令

Git common commands

Git常用命令 Git基本配置配置用于提交的作者名、邮箱 1 2 git config --global user.name "Roger" git config --global user.email "Roger@***.com" 创建一个本地Git仓库 1 git init 克隆一个仓库 1 2 git clone /path/to/repo git clone username...

Posted by Roger on September 11, 2021

模型训练性能调优笔记

Table of Content Table of Content PyTorch 开启异步数据加载及数据增强开启cuDNN AUTOTUNER 增大batch size 拿掉后面紧跟Batch Norm的卷积层的bias 用parameter.grad = None代替model.zero_grad() ...

Posted by Roger on August 15, 2021

置信域策略优化算法

TRPO & PPO

置信域策略优化算法算法概述置信域策略优化算法（TRPO(2015)，Trust Region Policy Optimization）是强化学习中的一种策略梯度（Policy Gradient）算法，其通过限制KL散度（或策略改变范围）来避免每次迭代中，策略参数过大的变化。PPO算法是在TRPO基础上的改进，在实际使用中实现更简单，计算量更小。这类算法在每一次迭代时都需要进行参数更新，因...

Posted by Roger on June 26, 2021

向量相似度查找方法汇总

Vector Similarity Search

向量检索简介目前很多机器学习应用都是基于embedding开展的，这些embedding或者作为下游任务的输入特征，或者存储起来用于相似度查找（如基于相似性的检索）。一般相似性查找都是基于最近邻搜索的方法来寻找相似item，出于效率的考虑，实际中一般都会使用ANN（Approximate Nearest Neighbor）来做这件事。通常，最近邻搜索问题被定义为：给定空间M中点集...

Posted by Roger on June 19, 2021

Tour of Scala

学习笔记

Tour of Scala分章要点笔记为什么学习Scala For Spark！Spark是用Scala语言开发的。与Java相比，可以少写很多冗余代码。 01 Scala语言特点函数式静态类型可扩展可与Java互操作（运行于JRE） 02 Scala数据类型 Scala中，Any是任何类型的父类型，其定义了特定的通用方法，如：equals，hashCode...

Posted by Roger on April 4, 2021

Linux之：系统进程及资源管理，计划任务

common commands

基本介绍本文用于Linux系统进程查询、管理。系统资源查看 1. ps命令：查看系统所有进程 ps aux：使用BSD（Unix）系统格式，a代表查看所有前台进程，x代表查看所有后台进程，u代表显示产生进程的用户 ps -le：使用Linux系统格式，-l代表显示详细信息，-e代表显示所有进程 ps aux显示信息从左到右：用户 PID ...

Posted by Roger on March 14, 2021

Roger Blog