Evanescence's Blog

模型速览 PNPNet(Periodic-Non-Periodic Network)和AutoPNPNet是作者提出的深度学习模型，用于挖掘数据内部的周期性来增强预测准确率。作者提出了FourierNet：一种基于Fourier的神经编码器来捕捉周期性特征；ChebyshevNet：使用Chebyshev神经编码器来建模非周期性特征。作者将这两种架构结合构成PNPNet和AutoPNPNet。模型效果优于SOTA（会有论文不是SOTA的吗？而且这里的SOTA是FT-Transformer(2021, Yury Gorishniy)）。 PNPNet detects periodic and non-periodic features a priori, feeding them into separate branches, while AutoPNPNet automatically selects features through a learned mechanism. Q1：PNPNet如何使用滤波器与傅里叶变换获取periodic and non-periodi...

模型速览TabICL: In-Context Learning for Tabular Data是对于TabPFN的一次拓展，其名字取自于In-Context Learning(ICL)，主要是使用ICL对于数据量大于10K的表格数据进行预测。其可以处理500K的数据量的同时，速度是TabPFNv2的十倍。为了适配任意大小的表格数据，TabICL 将 单元格（cell） 作为基本处理单位： 每一列被看作是一组单元格值的集合，用于捕捉该特征的分布与语义； 每一行则由多个相互依赖的特征值构成。TabICL 采用两阶段架构，以实现高效的表格数据的 In-Context Learning（ICL，上下文学习）。 第一阶段：将每一行（不包含目标标签）编码为稠密向量（dense vector embeddings），每一个嵌入向量都被设计为能捕捉整个表格的信息。该阶段的本质是压缩列维度，从而显著降低后续 ICL 的计算复杂度与内存开销。 第二阶段：将这些紧凑但信息丰富的嵌入向量与其对应的标签结合，执行 ICL。因此，TabICL 的核心在于第一阶段的嵌入策略，它需要将行数据转换为具有语义...

使用代理国内需要访问github或者使用pip安装新的包时，经常需要修改代理，这里主要覆盖一些常用的代理使用代码 git的代理12git config --global http.proxy "127.0.0.1:7890"git config --global https.proxy "127.0.0.1:7890" WSL使用代理12export http_proxy=http://127.0.0.1:7890export https_proxy=http://127.0.0.1:7890 进程处理在我们进行后端开发时，可能会忘记中止后端，这时便需要使用这个代码来杀死特定进程，空出特定端口 1234//查看端口进程PIDnetstat -ano | findstr :5173//杀灭特定PID进程taskkill /PID 12345 /F Cover image icon by Dewi Sari from Flaticon

Tokenizer输入数据(tensor: $\text{batch_size}\times \text{categories}(\text{d_numerical})$)后tokenizer获得$x \in \mathbb{R}^{ \text{batch_size}\times (1+ \text{d_numerical}+\text{categories})\times {d_{token}}}$ 12345678910111213141516171819202122232425262728class Tokenizer(nn.Module): def __init__( self, d_numerical: int categories: ty.Optional[ty.List[int]], d_token: int, bias: bool, ) -> None super().__init__() if categories is None: d_bias = d_numerical self.category_offsets = None sel...

Introduction作者在这篇文章中提出了一种新的特征交互方式。这种方式基于一种新型的图估计器，这种估计器可以自动估计特征之间的关系并通过连接相关特征来构造图像。一种特别的 跨层读取(Cross-level Readout) 收集了通过T2Gformer预测的不同层的突出特征并获取全局信息并作出预测。T2Gformer优于深度神经网络并与非深GBDT能力相近。T2Gformer的优势在于特征交互项的提取，所以作者在引入中便提及：已有的特征选择方法可以被分为“软”与”硬”版本。”软”版本本质上运用特征间的全连接交互项，例如乘法交互项、特征交叉与基于注意力的交互。但是表格特征本质上就带有异质性，所以全连接交互是一个次优的选项因为其盲目地将所有特征融合在一起。DANets使用了”硬”版本，其将相关的特征分组并将交互限制在被分组的特征内，虽然DANets取得了非常有潜力的成果，他的特征选取操作依旧不能解决组内交互的问题，因此同一组的特征被无差别的融合，使得模型表达能力下降。作者设计了Graph Estimator(GE)来组织表格特征为一个特征关联图(FR-Graph)，更进一步的，...

表格数据(tabular data)是日常生活中最常见的数据格式，为了挖掘表格数据中的有效信息，提出了很多相关的算法。这篇综述概括了表格数据的机器学习与深度学习方法，原文来自于南京大学LAMDA实验室中的LAMDA-tabular课题组，文章地址。 1-3对于tabular data的一些简单介绍，略过 4 特定方法的分类作者将模型分为三类：特化方法(specialized methods), 迁移方法(transferable methods), 广义方法(general methods)。 Specialized method作者从3个角度入手讲述特化模型的方法：Feature Aspect：特征角度来看，模型主要针对数据特征的关系进行建模。Sample Aspect：从样本特征来看，模型通过最大化每个样本最邻近样本的作用来预测。Objective Aspect：从客观角度，修改损失函数和整体目标(Overall objective)来引导模型特定的模式与偏好，注入inductive bias(推断偏倚)。 Feature Aspect特征角度来看，模型主要针对数据特征的关...

图是我们身边非常常见的结构，最近的一些研究让我们能够使用图结构的优势，在许多领域，如抗生素的研究、物理仿真、虚假新闻的识别，交通预测和推荐系统都有了最新的研究与实践。这篇学习/总结博客参考了biliili上李沐的带读以及A Gentle Introduction to GNN这篇文章探索并解释了现代图神经网络，我们将工作分为4个部分：1. 什么类型的数据可以以图的形式记录；2. 图结构的特点与优势：相较于CNN或者传统深层神经网络；3. 建造一个GNN模型：从一个骨架到SOTA；4. 提供一个GNN playground供读者探究(会超链接回原文章)。 What a Graph is图是一系列实体之间的关系如果我们用图论的知识来看，图的描述其实有多种方式，如：邻接矩阵、集合的表示。我们这里采用相对容易接受的集合表示方法：一个图主要由 节点(Nodes) 和 边(Edges) 构成。以下图为例：其中存在5个节点，与6条边。其中点集合为$V = { A,B,C,D,E }$。边集合为$E = { AB, BC,CD,DE,AE, CE }$上图边为无向的...

在这篇文章中，你将会了解到：什么是bias，为什么我们在研究中存在bias，以及如何消除bias。We sometimes call the potential outcome that happened, factual, and the one that didn’t happen, counterfactual.$Y_{0i}$ is the potential outcome for unit i without treatment, it can also be written as $Y_{i}(0)$$Y_{1i}$ is the potential outcome for unit i with treatment, it can also be written as $Y_{i}(1)$we define the individual effect as $Y_{1i}-Y_{0i}$ , which can not be accumulated for the counterfactual. so we can only accumulate Average ...

非参数检验非参数检验的适应条件 等级顺序资料 偏态资料 未知分布资料 各组资料的变异度大，方差不齐，变换也不能达到齐性 数据一端或两端有不确定值的资料 初步分析可以举几个例子：1. 不满足参数检验的要求；2. 血糖水平高于最高值会显示high 非参数检验的缺点容易出现第II类错误，即假阴性概率增大，本应显示出显著性差异的结果但是却并没有出现显著性差异。 两组配对设计资料的比较Wilcoxon符号秩和检验 符号检验 配对设计差值的符号秩检验：其实就是对差值进行符号检验 单样本资料的符号秩和检验Wilcoxon符号秩和检验。对标单样本正态检验 成组设计两样本比较的秩和检验Wilcoxon秩和检验 成组设计多个样本比较的秩和检验Kruskal Wallis H检验 原始数据的多个样本比较对标参数检验中的ANOVA，用于揭示多组数据的中位数是否完全相同 多个样本两两比较的秩和检验对标参数检验中的SNK-Q, LSD-T检验 回归与相关回归与相关并不相同，从概念上讲，相关其实是一种双重映射，而回归是单射。从直觉上讲，相关其实是一个相对模糊的概念，并不具有因果性，而回归其实是显示出一种...

CLIP将计算机视觉与自然语言处理相结合，获得更加优秀的迁移性能与zero-shot效果。同时打破了固定标签的定式。 Abstract针对目前已有的计算机视觉系统，大部分都是使用固定的标签集合，这限制了它的泛化性能和可用性。于是作者选择通过图片的语言文本来进行图像识别。作者爬取了4亿张图片以进行模型的预训练。在预训练完成后，作者在30多个任务上进行了测试。在ImageNet数据集内，CLIP模型在zero-shot的情况下便已经与训练完成的Resnet50打成平手。 IntroductionGPT作为一个”Text-in-text-out”的经典案例，反映了弱监督工作的可行性，于是作者决定提出使用图片与文字结合，进行CLIP模型的研究。已有相关研究VirTex, ICMLM和ConVIRT方法虽然接近，但是数据集规模较少，而有些弱监督模型的准确率较高，其依赖的是极度大量数据集，所以作者考虑到是否能够同时满足以上条件，进而研究出新的方法。在预实验结果中，使用已有模型(ConVIRT)与新的数据，其模型在zero-shot上成功体现出极好的效果。同时模型效果与模型大小呈现正相关。 M...