计算机 on Xiangtao's log

DesktopPet：我给自己做的一个英文学习桌宠

15989119660@163.com (Xiangtao XIAO) — Tue, 29 Sep 2026 00:00:00 +0800

一个常驻 macOS 桌面的学习入口，可以聊天、划词查词、显示实时字幕并在课后整理笔记。这里记录了做这个项目时的需求取舍、模型对比和一些体会。

OpenClaw部署与应用

15989119660@163.com (Xiangtao XIAO) — Sat, 11 Apr 2026 00:00:00 +0000

https://docs.openclaw.ai/

OpenClaw部署

服务器与系统环境

腾讯云轻量应用服务器 4核CPU，4GB内存，70G系统盘

ubuntu 22.04.5 LTS 64bit，根据chatGPT推荐兼容性最好

安装OpenClaw

更新系统并下载依赖

# 更新系统
sudo apt update && sudo apt upgrade -y
# 安装基础依赖
sudo apt install -y git curl wget unzip build-essential
# 安装nvm
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash
source ~/.bashrc
# 安装node.js
nvm install --lts
nvm use --lts
# 验证安装成功，查看版本号
node -v
npm -v

下载OpenClaw

npm install -g openclaw@latest

启动OpenClaw

# 初始化配置并安装
openclaw onboard --install-daemon
# install-daemon 自动将 OpenClaw 的 Gateway 服务安装为后台守护进程，静默运行，
# 开机自动启动及崩溃自动重启

from chatGPT

AI Agent（从 Chatbot 到生产级 Agent）

15989119660@163.com (Xiangtao XIAO) — Sat, 14 Mar 2026 00:00:00 +0000

AI Agent（从 Chatbot 到生产级 Agent）

AI Agent是LLM应用的高级形态，能够自主规划、执行任务并与环境交互。

经典论文：

Yao, S., et al. (2022). “ReAct: Synergizing Reasoning and Acting in Language Models.” ICLR. [论文链接] - ReAct框架，Agent核心范式
Wei, J., et al. (2022). “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” NeurIPS. [论文链接]
Wang, G., et al. (2024). “A Survey on Large Language Model based Autonomous Agents.” arXiv. [论文链接] - Agent综述

一、整体演进路径

Chatbot → Tool Use → Agent → Production Agent（工业级）

演进说明：

Chatbot: 仅能对话，无法执行外部操作
Tool Use: 能调用单一工具
Agent: 能自主规划并执行多步骤任务
Production Agent: 工业级，具备错误处理、权限控制、监控等能力

二、核心概念拆解

1️⃣ Chatbot

LLM + Prompt

Prompt Engineering

15989119660@163.com (Xiangtao XIAO) — Thu, 12 Mar 2026 00:00:00 +0000

Prompt Engineering

https://www.coursera.org/learn/chatgpt-prompt-engineering-for-developers-project/home/welcome

Prompt Engineering（提示工程）是设计和优化输入提示（prompts）以引导大语言模型生成期望输出的技术。这一领域随着GPT-3的发布而兴起，是连接用户意图与模型能力的关键桥梁。

经典论文：

Brown, T. B., et al. (2020). “Language Models are Few-Shot Learners.” NeurIPS. [论文链接] - GPT-3论文，首次系统展示了prompt engineering的潜力
Wei, J., et al. (2022). “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” NeurIPS. [论文链接]

1. Prompting Principles（提示原则）

Principle 1: Write clear and specific instructions（编写清晰具体的指令）

清晰性（Clarity）和具体性（Specificity）是prompt设计的核心原则。研究表明，模糊的指令会导致模型输出不确定性增加，而具体的指令能显著提升输出质量。

Tactic 1: Use delimiters to clearly indicate distinct parts of the input

分隔符（如 ```、"""、—、<>）能帮助模型识别输入的不同部分，避免混淆。这在处理包含多段文本或代码的任务时尤为重要。
Tactic 2: Ask for a structured output

要求结构化输出（如JSON、HTML、Markdown表格）便于后续程序处理，是构建AI应用的最佳实践。
Tactic 3: Ask the model to check whether conditions are satisfied

让模型先验证条件再执行任务，可以减少错误输出。
Tactic 4: “Few-shot” prompting - give examples

Few-shot prompting通过提供少量示例来引导模型理解任务格式和期望输出。

经典论文：
- Brown, T. B., et al. (2020). “Language Models are Few-Shot Learners.” NeurIPS. [论文链接] - 首次提出few-shot learning概念
- Min, S., et al. (2022). “Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?” EMNLP. [论文链接]

RAG (Retrieval-Augmented Generation)

15989119660@163.com (Xiangtao XIAO) — Sun, 08 Mar 2026 00:00:00 +0000

RAG

RAG (Retrieval-Augmented Generation) 是一种结合信息检索与文本生成的AI架构，通过检索外部知识库来增强LLM的回答能力。

经典论文：

Lewis, P., et al. (2020). “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.” NeurIPS. [论文链接] - RAG开山之作
Guu, K., et al. (2020). “REALM: Retrieval-Augmented Language Model Pre-Training.” ICML. [论文链接]
Izacard, G., & Grave, É. (2021). “Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering.” EACL. [论文链接] - RAG的另一种实现

1. Context Window（上下文窗口）

概念

Context Window 指的是 大语言模型在一次推理时能够读取和理解的最大文本长度。

经典论文：

Dai, Z., et al. (2019). “Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context.” ACL. [论文链接] - 突破固定上下文长度的开创性工作

通常包含：

Transformer概念与理解

15989119660@163.com (Xiangtao XIAO) — Fri, 20 Feb 2026 00:00:00 +0000

Transformer模型彻底改变了自然语言处理领域，成为现代大语言模型的基石。本文从产品视角深入解析Transformer的核心概念。

bitwarden_rs+nginx反向代理配置记录

15989119660@163.com (Xiangtao XIAO) — Wed, 10 Mar 2021 00:00:00 +0000

bitwarden是一个开源的密码管理器，可以部署在私有服务器上。官方的bitwarden对服务器配置要求较高，网友开发了bitwardenrs适用于小用户，对配置要求低不怎么占内存。本次采用安装docker后在docker上安装bitwardenrs和nginx，通过nginx反向代理实现HTTPS加密访问bitwarden的方法。

服务器配置：Tencent Hong Kong centOS 7.6 1C1G 25GSSD 30M峰值带宽

服务器上已经运行bitnami wordpress堆栈，因此80和443端口都被apache占用，挂了个人博客。网络上大部分blog都采用nginx做反向代理，由于不懂技术因此也用nginx照做。

安装Docker

docker是一个虚拟机，他打包了多个不同主流应用，可以很方便的安装这些应用，并且每个应用都是以容器的形式存在，与宿主机的环境是隔离的，这些应用的配置与运行可以干净的删除不会对宿主机造成影响。

docker中有images 镜像和container 容器，比如我可以在宿主机下载一个nginx镜像，然后我制作两个容器：nginx_1 和 nginx_2，两个容器中都可以通过镜像安装nginx应用，两个nginx是分开的，可以各自用于不同用途，方便管理。

yum install -y docker #安装docker
systemctl docker #启动docker

安装bitwarden_rs

docker有几个需要事先理解的概念，比如 目录映射。我们可以让容器的目录去映射一个宿主机的目录，简单来讲就是用一个宿主机的目录当做容器应用的目录，这样要修改应用配置或者上传文件只要动宿主机的目录就可以。

我们在run 应用的时候添加以下形式的配置：

-v /library:/library #':'前是要映射的宿主机目录，后面是容器应用的实际目录

端口映射：容器是一个虚拟环境，比如nginx监听的80和443端口，在我的宿主机中这两个端口被Apache占用了，因此我可以分配另外两个端口与容器的80端口和443端口进行映射。

这样一来避免了端口冲突，比如访问//domain:4444实际上就会通过容器的443端口被nginx监听到。需要注意的是通过这种方式要在防火墙打开4444端口，否则浏览器还是无法访问的。

-p 8088:80/tcp 4444:443/tcp #8088映射到80 4444映射到443 映射端口根据需要选择空闲端口即可

mkdir /data/bitwarden #建立宿主机映射目录
docker run -d \
 --rm \
 --name bitwarden \
 -p 8085:80 \
 -p 3012:3012 \
 -e SIGNUPS_ALLOWED=true \
 -e WEB_VAULT_ENABLED=true \
 -e DOMAIN=//mydomain.cn \
 -v /data/bitwarden:/data \
 bitwardenrs/server:latest

上面命令的各个参数含义如下：
-d 在后台运行
--rm 容器停止运行后，自动删除容器文件
--name bitwarden容器的名字为bitwarden
-p 8085:80 容器的端口80映射到8085，在Nginx配置
-p 3012:3012 容器的端口3012映射到3012
-e SIGNUPS_ALLOWED=true 设置环境变量SIGNUPS_ALLOWED=true允许用户注册
-e WBE_VAULT_ENABLE=true 设置环境变量WBE_VAULT_ENABLE=true
-e DOMAIN=//mydomain.cn设置域名,需要替换成自己申请的域名
-v /data/bitwarden:/data 容器的/data/目录映射到宿主机的/data/bitwarden目录

安装nginx

mkdir /data/nginx #建立宿主机映射目录

# 安装nginx
docker run \
 --rm \
 --name nginx \
 -d \
 -p 8088:80/tcp \
 -p 2443:443/tcp \
 nginx

# 由于不知道nginx目录下的内容，我们将容器的目录复制到宿主机目录/data下
docker cp nginx:/etc/nginx /data
# 创建用于存放ssl证书的文件夹，将申请到的.cert和.key证书文件上传到这个文件夹
mkdir /data/nginx/certs

修改/data/nginx/conf.d/default.conf文件添加以下内容，启用https访问并对bitwarden进行反向代理

wordpress配置问题记录

15989119660@163.com (Xiangtao XIAO) — Thu, 15 Oct 2020 00:00:00 +0000

Linux基本语法

复制 cp 要复制的文件路径目标路径 cp -r 递归复制整个目录

删除 rm -f 强制删除 -r 递归删除目录

改名 mv 原文件新文件名

更改文件权限 chmod 777（完全写入权限）要更改的目录或文件

vim编辑器显示行号：输入指令：set number

跳转到制定行：输入指令：n（要跳转的行号）

WP-Super-Cache问题解决

将插件wp-super-cache中的wp-cache-config.php与advanced-cache.php复制到wp-content目录下。

临时更改wp-content权限为777

在wp-config.php中增加以下内容：1.在require_once(ABSPATH.’wp-settings.php’);前增加define(‘WP_CACHE’, true); 2.增加define(‘WPCACHEHOME’, ‘插件wp-super-cache绝对路径’);

修改完成后应该可以进入设置界面，在专家模式下更新设置如果出现要求更新Mod_write规则则按要求进行更新。

对于采用bitnami的wordpress堆栈环境，由于其对文件访问权限的安全设置较严，安装时同样会弹出以上情况的警告。无需理会，连接到服务器执行以下指令：（事实上应当优先采用这种更改权限的做法，未生效再尝试上方操作）

sudo chmod g+w /YOURADRESS/apps/wordpress/htdocs/wp-config.php

之后禁用插件并重新激活即可。完事以后要将文件权限复原，执行：

sudo chmod g-w /YOURADRESS/apps/wordpress/htdocs/wp-config.php

更多内容，在bitnami.com官方文档的trouble shooting部分有详细介绍。

交互装置入门基础知识

15989119660@163.com (Xiangtao XIAO) — Thu, 15 Oct 2020 00:00:00 +0000

欧姆定律 - I=U/R

面包板的用法 - 面包板通常指免焊面包板，板子上有很多小插孔，专为电子电路的无焊接实验设计制造。由于各种电子元器件可根据需要随意插入或拔出，免去了焊接，节省了电路的组装时间，而且元件可以重复使用，所以非常适合电子电路的组装、调试和训练。百度百科

上拉/下拉电阻 - 如果一个线路中的电压处于不确定的状态（例如一个引脚不和任何其它回路连通时），那我们就说它的电压是浮动的，他会随着时间不断变化，跳动，而且很容易受到外界环境的影响。处于这种不确定状态的电路会被随机解释为高或者低电平。这种现象也叫电子噪声。为了让某个引脚保持高电平或者低电平，我们可以将该引脚接地或者接一个大阻值电阻（arduino的引脚内置了上拉电阻，如果需要外接上拉电阻，arduino建议的上拉电阻为10KΩ）。参考

二极管 - 二极管是用半导体材料(硅、硒、锗等)制成的一种电子器件。它具有单向导电性能，即给二极管阳极和阴极加上正向电压时，二极管导通。当给阳极和阴极加上反向电压时，二极管截止。因此，二极管的导通和截止，则相当于开关的接通与断开。其电路图如图所示。

电容 - 两个相互靠近的导体，中间夹一层不导电的绝缘介质，这就构成了电容器。当电容器的两个极板之间加上电压时，电容器就会储存电荷。电容器的电容量在数值上等于一个导电极板上的电荷量与两个极板之间的电压之比。电容器的电容量的基本单位是法拉(F)。在电路图中通常用字母C表示电容元件。百度百科

Arduino 入门基础知识总结

15989119660@163.com (Xiangtao XIAO) — Tue, 13 Oct 2020 00:00:00 +0000

根据arduino uno板子的接口进行解释，如图

L指示灯 - 接13号引脚（13号引脚内置了电阻），arduino出厂烧录了闪烁程度，板子通电后L灯闪烁。

TX/RX指示灯 - 串口通信时闪烁，分别在传输数据与接收数据时闪烁。

上排0~13接口 - 数字I/O口，可以接受以及接受数字信号（二进制形式表示的信号），arduino用电平高低来表示0,1，低电平（-0.5~~1.5V）表示0，高电平（3~~5.5V）表示1。用 pinMode(pin, mode) 函数来指定要用的引脚编号以及其配置模式（INPUT 输入0，OUTPUT 输出1，INPUT_PULLUP输入上拉模式）。在输入模式下，可以用 digitalRead(pin) 读取输入的数字信号；在输出模式下，用 digitalWrite(pin, value) 来指定引脚及输出的电平高低（LOW 0， HIGH 1）。

？digitalRead()函数返回什么，！digitalRead()代表什么？如果代表true，则digitalRead（）返回一个false，人体热释电持续输出低电平，在检测到人时输出高电平（范围和持续时间可以用电位器来调节），则正常情况下！digitalRead是！低电平，其代表了什么，还是说没有输出值，做个试验检测。

PWM Pulse Width Modulation 脉冲宽度调制 ~符号

- 模拟信号Output，模拟信号用连续变化的物理量来表示信息，上排接口中有 ~ 标志的接口可用于输出模拟信号。Arduino用05V的电压来表示模拟信号，通过输出周期固定（约490HZ）的方波，通过改变高低电平在每个周期中的比例（占空比）来得到近似输出不同电压的效果。具体方法为调用analogWrite(pin, value)函数，pin为指定引脚，value是PWM的脉冲宽度，范围为0255（将5v电压模拟成255段进行调整，8位精度，255=11111111）。

下排A0~A5 - 模拟信号输入引脚，用analogRead(pin)函数读取引脚上输入电压的大小。模拟输入引脚带有ADC（Analog-to-Digital Converter，模/数转换器）功能，arduino的模拟输入功能有10位精度，可以将读取到的0~~5V电压转换为0~~1023（1023的二进制为1111111111）的整数形式表示。

TX/RX引脚（1,0号） - transmit/receive，用于串行通信，Arduino的USB口通过一个转换芯片（通常为ATmege16u2）与这两个串口的引脚连接。该转换芯片通过USB接口在计算机上虚拟出一个用于与arduino通信的串口。串行通信是相对于并行通信的概念，并行通信占用的I/O口较多，而arduino的I/O口资源较少，因此采用串行通信方式。

下排左侧 - VCC表示电源，有3.5和5V两个接口，GND（阴极，接地）两个比较常用。

NameSilo Web hosting 云主机建站服务购买与使用体验

15989119660@163.com (Xiangtao XIAO) — Mon, 25 May 2020 00:00:00 +0000

namesilo的域名在众多服务商里价格是比较实惠的，.com域名只要$8.99，近年新推出了web hosting服务，价格也比较实惠，最便宜的一个网站20G存储空间的套餐每月只要$2.39元（年套餐）。最近有一个做网站的需求，腾讯的学生优惠已经用过了，又不想备案，正好找到这个便宜的尝试一下。

购买

namesilo的hosting购买服务在namesilo新版网站，进入 namesilo.com 首页就能看见

总共有3个套餐，可以按年或者按月购买，按年购买会更便宜。购买过程非常简单，选择对应套餐点击Get Started。

然后会让你选择域名，这一步也提供3种选择：

1.如果你没有域名的话，可以直接搜索选择一个可注册的，然后和云主机套餐打包在namesilo购买；

2.如果你在其他注册商处（比如腾讯云等）已经购买了域名，输入你购买的域名进行绑定即可，注意要输入你希望是主网站的域名比如www.test.com，namesilo会自动增加域名解析；

3.你也可以选择将其他注册商处购买的域名转移至namesilo（不过注意如果你是新购买的域名通常有一个期限限制域名转出）。

我选择了绑定我在腾讯云购买的域名，选择好域名后点击continue即跳转到确认订单页面（注意：确认订单页面在旧版网站，新旧网站功能混在一起确实比较容易让人迷惑），不用犹豫点击确认订单，然后在付款页面选择Alipay，输入你的支付宝账号然后扫二维码付款即可。

域名解析

！！！购买完成以后，在新版网站是找不到你购买的host的，这点很让人迷惑，在新版网站，你可以选择点击自己的账户信息来跳转到旧版网站，然后在侧边栏选择hosting manager，即可进入主机管理页面，在这里你会看到自己购买的主机，名称就是你之前绑定的域名。

点击链接图标，就进入了你的主机的cpanel管理面板。第一次登陆要设置账号密码邮箱配置等，cpanel支持中文（在偏好-更改语言处选择语言），可视化界面简单易懂，网上已经有很多介绍。

购买完成后就可以前往控制面板进行相关设置了，namesilo根据你在购买时绑定的域名已经自动为该域名添加了域名解析，包括test.com,www.test.com,ftp.test.com以及mail解析等，如果购买套餐时你选择在namesilo购买一个新域名，那么一切已经就绪，在cpanel面板选择安装wordpress即可开始建站。如果像我一样绑定了其他注册商处的域名，虽然namesilo已经添加了相关解析，但这些解析是基于namesilo自家DNS服务器才会生效的，这里有两种选择：

1.到购买域名的域名注册商处将域名的DNS解析服务器地址改为namesilo的DNS服务器地址使解析生效：

NS1.DNSOWL.COM
NS2.DNSOWL.COM
NS3.DNSOWL.COM

2.如果不希望更换DNS服务商，在cpanel面板的域名Zone找到自动添加的所有域名解析，然后将他们全部复制添加到自己的域名注册商处的域名解析中，同样可以让解析生效。

做完这些，在cpanel面板安装好wordpress，在浏览器输入你的域名就可以看到wordpress主页了！

SSL证书实现HTTPS

购买的主机已经添加了自签名的SSL证书，但是自签名证书在用浏览器访问时会报不安全，一个第三方签名还是有必要的，namesilo自家在已购主机管理页面就有SSL证书购买服务，不过要花钱，有很多免费提供签名的第三方机构，我直接申请了腾讯云提供的TrustAsia 1年期免费证书（在云产品-SSL证书处申请即可）。

申请下来后下载证书得到.key及.crt证书文件（host使用的是apache服务器，要选对版本），找到cpanel面板的：安全-SSL/TLS选项，删除已有自签名证书文件，上传自己的证书文件，然后选择[管理SSL主机]，选择证书对应的域名，点击按域自动填充，上传的证书会被自动选中填充，点击安装证书即可。

在cpanel面板的：域-域选项找到自己的域名，选择启用Force HTTPS Redirect，至此，网站即可安全的用HTTPS进行访问了。

CloudFlare CDN加速

在cpanel安装好wordpress后，就是进入wordpress后台搭建网站，但是实测在中国境内网页的访问速度很慢，并且容易丢包。为了提高访问速度，需要将网页进行静态缓存以及CDN加速。

类似七牛云等国内免费CDN服务要求你的主域名是备案了的，没有备案要选择海外CDN， CloudFlare 提供个人免费版CDN加速服务，推荐这个教程，注意登录cloudflare的外国官网，中国网站注册是企业版的，注册完就有客服打电话给你谈业务了…CloudFlare的CDN需要将DNS服务器地址转成他们家的，生效时间大概十分钟不到。

在wordpress安装一个静态缓存插件，比如wp fast cache，在CDN选项选择cloudflare，需要输入API码，然后在cloudflare的Overview的侧边栏点击get your API token，选择global API，点击view，复制API代码到wordpress中即可，一路点击确认，cdn配置就完成了。

配置CDN及静态缓存后，网站的访问速度得到很明显的改善，访问变的更稳定，虽然相较国内的网站速度稍慢，但是对于像个人博客之类的小网站完全可以接受了。

邮箱

namesilo的host已经配置好了邮箱服务，发送邮件没问题，但是我用163发的邮件它却收不到，在wordpress设置中更换邮件地址，发现验证邮件也发不到我的邮箱上。因此使用了第三方的SMTP服务，下载了wp SMTP mail插件，SMTP服务用的是腾讯云的企业邮。

将原本的地址解析中的邮件地址解析删掉，添加腾讯企业邮的地址进去，就可以使用腾讯企业邮箱的服务了，方法很简单，注册一个腾讯企业邮箱账号（免费的），然后按指导设置完成即可。增加一个业务邮箱账号，比如mail@designaxt.com，然后得到对应的邮箱密匙，在wp SMTP mail选择其他SMTP，输入密匙，腾讯企业邮的服务器地址及端口号，保存更改就可以用腾讯的服务发邮件了，其他家应该类似。

Gensim训练词向量与Embedding相关知识

15989119660@163.com (Xiangtao XIAO) — Fri, 22 May 2020 00:00:00 +0000

在进行文本分类的时候，预处理我们可以自己做一个词向量模型，也可以采用预训练的模型。采用预训练的模型比如谷歌基于goole news训练的Word2vec模型，由于在大量文本数据中训练过，所以词的概率分布会比较准确，当自己的数据集比较小的时候，用预训练数据有利于提升模型的准确度。

以下内容使用了tensorflow。

训练文本生成word2vec模型

自己训练模型一般有以下几步：

处理数据集，首先gensim的Word2Vec()方法需要的输入是句子顺序的单词，比如我爱你而不是我爱你，所以要将文本数据分词处理，在这个过程中，我们可以去除停用词，英文全部小写，语法统一等处理，可能对词向量的训练比较有帮助。
完成文本的处理以后，我们得到一个分词后的文本数据集，比如一个列表[‘she’, ‘is’, ‘beautiful’]，在gensim模块中可以简单的使用model=gensim.models.word2vec.Word2Vec()得到训练的模型。
该方法有一些参数：
sentences-即数据集；sg-设置训练算法，0代表CBOW，1代表skip-gram算法；
size-指特征向量的维度，默认为100，大的size需要更多数据，效果更好，但是过大则浪费资源，效果提升不明显；
window-当前词与预测词在一个句子中的最大距离，默认是5，比如我今天成功完成工作，对于成功，如果设置窗口为2，可能去预测的词就是我今天完成和工作，注意是最大值而不是一定选取四个词。最后模型输出的是一个概率分布，即一个词出现在其他词边的概率是多少，我们也就可以据此去发现相似的词。
min_count-去除词频小于min_count的词；
hs-1采用hierarchy softmax，0采用negative sample；
iter-迭代次数
workers-参数控制训练的并行数¨C9C 更多参考： //www.cnblogs.com/kjkj/p/9825418.html

其他训练词向量有相似的方法和思路，网上有很多资料。

使用预训练词向量

首先加载获取到准备好的模型，然后我们的目标是得到一个embedding_metrics即词向量矩阵，词向量矩阵的shape为（vocab_size, embedding_dim），它是我们要用于训练的数据的每个词（更具体的说是词表中的词）在训练好的模型中的词向量组成的矩阵。

接下来处理训练数据，即用tokenizer处理训练后的数据得到词表，然后将每条文本数据转变为用词表索引数字代替各单词表示的列表，这里给词编码的顺序是词频由高到低，再进行padding使句子输入变为定长，最后我们利用word_index和模型生成embedding_metrics，数据的准备就基本完成了。这些步骤使用tensorflow提供的api可以很简单的实现。

生成代码及相关解释如下：

embedding_matrix = np.zeros((len(word_index) + 1, word2vec.vector_size))

#  len(word_index) + 1，加1是因为word_index的标记是从1开始而非0，这样词索引与词向量刚好对应，并且对于padding后为
#  0的填充位置可以有对应的映射。

for word, index in word_index.items():
    try:
        embedding_vector = word2vec.wv.getitem(str(word))
        embedding_matrix[int(index)] = embedding_vector
    except KeyError:
        print("vector not found for word - %s" % word)

Embedding层做了什么？

Embedding层就是以one hot为输入、中间层节点为词向量维数的全连接层！而这个全连接层的参数，就是一个“词向量表”即我们的embedding_metrics，也就是说，其实onehot的作用就是查表，选择onehot表示的词对应的词向量，然后输出到下一层去。如果我们不用预处理的词向量，就是放一个空矩阵在embedding层（或者说是随机初始化参数），然后在训练网络过程中更新参数。

Embedding(len(vocab) + 1, embedding_dim, input_length=50, weights=[embedding_matrix], trainable=False)
# (len(vocab) + 1, embedding_dim)与embedding_matrix的shape是一致的。

参考：

NLP分类效果衡量指标(F1/p/r)

15989119660@163.com (Xiangtao XIAO) — Fri, 22 May 2020 00:00:00 +0000

概念

为什么要计算F1：避免样本分布带来的偏差，综合考量分类效果，假如有100个样本，其中1个正样本，99个负样本，如果模型的预测只输出0，那么正确率是99%，这时候用正确率来衡量模型的好坏显然是不对的。

真实 1真实 0预测 1True Positive(TP)False Positive(FP)预测 0False Negative(FN)True Negative(TN)

查准率(precision)，预测正确的样本在所有预测为1的样本中的比例，该值反映有多少其他类被错误的归为该类。
召回率(recall)，预测正确的样本在所有真实为1的样本中的比例，该值反映有多少该类被预测为其他类了。
F1(F1-Score)，精准率和召回率的调和平均数。

Micro-F1与Macro-F1

针对多标签分类而言衡量分类效果

Micro-F1：直接计算所有类别的Precision和Recall，然后计算F1。（类别有权重，分到样本数多的类别有更大的影响力）
Macro-F1：计算出每一个类的Precision和Recall并分别计算F1，最后将F1平均。（各类别的F1权重相同）

代码实现

二分类

def f1(y_hat, y_true):
    '''
    输入张量y_hat是输出层经过sigmoid激活的张量
    y_true是label{0,1}的集和
    model指的是如果是多任务分类，single会返回每个分类的f1分数，multi会返回所有类的平均f1分数（Marco-F1）
    如果只是单个二分类任务，则可以忽略model
    '''
    epsilon = 1e-7
    y_hat = tf.round(y_hat)#将经过sigmoid激活的张量四舍五入变为0，1输出

    #  输入的数据是矩阵，标签为单行矩阵，预测值为单列矩阵，如果不是需要转换

    tp = tf.cast(tf.matmul(y_true,y_hat), 'float')
    #tn = tf.sum(tf.cast((1-y_hat)<em>(1-y_true), 'float'), axis=0)
    fp = tf.cast(tf.matmul(1-y_true,y_hat), 'float')
    fn = tf.cast(tf.matmul(y_true,1-y_hat), 'float')
    print('tp: ', tp[0][0].numpy(),'fp: ',  fp[0][0].numpy(),'fn: ',  fn[0][0].numpy())
    p = tp/(tp+fp+epsilon)#epsilon的意义在于防止分母为0，否则当分母为0时python会报错
    r = tp/(tp+fn+epsilon)

    f1 = 2</em>p<em>r/(p+r+epsilon)

    result = [f1[0][0].numpy(), p[0][0].numpy(), r[0][0].numpy()]
    return result

多标签

import tensorflow as tf
def f1(y_hat, y_true, model='multi'):
    '''
    输入张量y_hat是输出层经过sigmoid激活的张量
    y_true是label{0,1}的集和
    model指的是如果是多任务分类，single会返回每个分类的f1分数，multi会返回所有类的平均f1分数（Marco-F1）
    如果只是单个二分类任务，则可以忽略model
    '''
    epsilon = 1e-7
    y_hat = tf.round(y_hat)#将经过sigmoid激活的张量四舍五入变为0，1输出

    #tf.cast()转换张量数据类型
    tp = tf.reduce_sum(tf.cast(y_hat</em>y_true, 'float'), axis=0) #取axis维数据求和
    #tn = tf.sum(tf.cast((1-y_hat)<em>(1-y_true), 'float'), axis=0)
    fp = tf.reduce_sum(tf.cast((1-y_hat)</em>y_true, 'float'), axis=0)
    fn = tf.reduce_sum(tf.cast(y_hat<em>(1-y_true), 'float'), axis=0)

    p = tp/(tp+fp+epsilon)#epsilon的意义在于防止分母为0，否则当分母为0时python会报错
    r = tp/(tp+fn+epsilon)

    f1 = 2</em>p*r/(p+r+epsilon)
    f1 = tf.where(tf.is_nan(f1), tf.zeros_like(f1), f1)
    if model == 'single':
        return f1
    if model == 'multi':
        return tf.reduce_mean(f1)

参考

//blog.csdn.net/zjn295771349/article/details/84961596

多标签分类(multi-label)分类方法笔记

15989119660@163.com (Xiangtao XIAO) — Fri, 22 May 2020 00:00:00 +0000

概述

multi-label是相较multi-class的概念，有关研究相对较少，multi-label指一个数据可以被分为多个类，一个输入对应多个输出，例如一篇新闻可以被同时打上娱乐、体育等多个类，类的数目也不确定；

对于multi-label问题的处理，主要看到三种思路：

当类别之间没有较强的联系时，将multi-label转化为多个二分类问题，对于每个类专门训练一个分类器，然后将多个分类器对同个样本进行分类输出结果达到多标签的效果。
当类别之间有一定联系的时候，将multi-label转化为multi-class问题，比如用二进制编码表示三个类：[‘人’, ‘猫’, ‘狗’]，0表示不是该类，1表示是，则对于多标签分类可能有[0, 1, 1]的情况比如一张图片上既有猫又有狗，那么我们可以将每一个向量作为一个类别，比如[0, 1, 1]作为一个类，将[1, 0, 1]作为一个类，这样一来我们得到一个23个类，对单一样本输出的结果一定在这个类别空间中，这样就是一个多分类问题了，总共8个类，可以用长度为8的独热编码表示。
当然对于类别特别多(n个类)的数据集，这时候类别空间就是2n，显然类别太多了运算压力大，可以选择将类别输出的种类限制在训练集数据中存在的类别中，比如[1, 0, 0]在训练集中没有这个输出，就把他从类别中去除，当然这会影响模型的准确程度，因为它不再识别那些被踢出的可能性。
最后一种就是改进算法使其能够直接处理多标签问题，输出多个类。

多标签分类算法

对于神经网络，简单的做法是在最后输出层使用sigmoid激活函数，输出数目为类别数，每个输出都是一个概率，注意输出的多个类别的概率总和不再是1，因为是多标签问题，然后损失函数用binary_crossentrophy，相当于对每个输出分别判断属不属于该类，从而使每一个可能属于的类的概率都趋近1。

在简单的单层CNN算法的实验上效果并不是很好，确实得到了多输出的结果，但是出现了某个类概率接近1，另一个所属类概率虽然也比较突出但数值偏小，比如0.5左右的样子，同时属于3个或4个类效果就更差些，可以通过修改阈值比如threshold=0.3，大于0.3就算做该类，但改善不明显。应该和数据集不同类对应存在的样本不同有关。

Natural Language Processing相关概念理解

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

NLP一般流程

文本预处理->词向量与文本表示->特征选择与特征抽取->分类算法

词向量与文本表示

词袋模型（BOW）

将所有词汇放进一个袋子里，假设有n个词，则每个句子表示为一个长度为n的词频向量，词频即对应词在句子里出现的次数，如果没有出现就是0。这种方法句子里的语义信息被完全遗失了。

word based encodings

另一种思路是表示句子，这样就可以把词在句子中的位置关系考虑进去，例如 “我喜欢猫”和 “我喜欢狗”分别表示为（0 1 2）和（0 1 3），这里的数字不再是词频，而是对应单词被分配的编码，如果词重复了，显然在数组中对应的数字也会重复。

padding

句子长度不同时，需要将他们转化为统一长度的向量输入到神经网络中训练，这时就要padding，设置一个长度n，如果句子长度小于n，就在数组左侧或右侧填充0，如果句子长了，就把左侧或右侧多余的部分忽略，具体方位由自己选择。

词向量模型（word embedding）

考虑词与词之间的位置关系。原本用随机分配的数字代表每一个词，词与词之间是完全独立的，而embedding使得每一个词成为了一个n维空间中的向量，如果两个词的含义相近，那么相应的向量距离也就进，这样就考虑到了词的含义。

word2Vec ： 底层采用基于CBOW和Skip-Gram算法的神经网络模型。

CBOW模型：

CBOW模型的训练输入是某一个特征词的上下文相关的词对应的词向量，而输出就是这特定的一个词的词向量。由于CBOW使用的是词袋模型，因此上下文的几个词都是平等的，也就是不考虑他们和我们关注的词之间的距离大小，只要在我们上下文之内即可。

这样我们这个CBOW的例子里，我们的输入是上下文选定的词向量，输出是所有词的softmax概率（训练的目标是期望训练样本特定词对应的softmax概率最大），对应的CBOW神经网络模型输入层有4个神经元，输出层有词汇表大小个神经元。隐藏层的神经元个数我们可以自己指定。通过DNN的反向传播算法，我们可以求出DNN模型的参数，同时得到所有的词对应的词向量。这样当我们有新的需求，要求出某4个词对应的最可能的输出中心词时，我们可以通过一次DNN前向传播算法并通过softmax激活函数找到概率最大的词对应的神经元即可。

Skip-Gram模型：

Skip-Gram模型和CBOW的思路是反着来的，即输入是特定的一个词的词向量，而输出是特定词对应的上下文词向量。

这样我们这个Skip-Gram的例子里，我们的输入是特定词，输出是softmax概率排前几的词，对应的Skip-Gram神经网络模型输入层有1个神经元，输出层有词汇表大小个神经元。隐藏层的神经元个数我们可以自己指定。通过DNN的反向传播算法，我们可以求出DNN模型的参数，同时得到所有的词对应的词向量。这样当我们有新的需求，要求出某1个词对应的最可能的4个上下文词时，我们可以通过一次DNN前向传播算法得到概率大小排前4的softmax概率对应的神经元所对应的词即可。

词向量模型突出特点：

在词向量模型中，词向量与词向量之间有这非常特殊的特性。例如现在存在国王、男生、女人、皇后四个词向量，那么一个完善的词向量模型，就存在“国王-男人+女人=皇后”这样的关系。

参考：词袋模型（BOW，bag of words）和词向量模型（Word Embedding）概念介绍

NLP数据准备相关代码记录

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

csv文件

什么是csv文件

csv既逗号分隔符文件，行数据用’,‘分隔，列数据用换行符’\n’分隔

读取与写入csv文件

with open(filename, 'r', encoding='gbk') as rf:
    reader = csv.reader(rf, dialect=csv.excel)
#  按行读取，读取的是存储为excel可读格式的csv文件，这个文件可以用excel打开查看

with open(r'clean_data\clean_data_0.5_no_repeat.csv', 'w', encoding='gbk', newline='') as f:
    writer = csv.writer(f, dialect=csv.excel, delimiter=',')
    for data in final_dataset:
        writer.writerow(data)
#    按行写入，写入格式也是csv.excel，会把一个二维列表自动存储为表格，行列对应，存储的内容是原封不动的

csv文件存储格式与换行问题

用以上方法读取的csv文件每一行每一列取出的都是字符串’str’格式，对于字典要用eval()函数自动转回原本对应的格式，而int等也要用对应函数转换

newline=’’“设置存储的行与行之间没有空行，否则会隔行存储。

json格式

json格式文件特点

json格式文本对{对象:值}，例如： {“name”: “John Doe”, “age”: 18, “address”: {“country” : “china”, “zip-code”: “10000”}}，和字典有些相似，存储的值可以是字符串，数组，字典等，这个格式好处在于可以存储结构相对复杂的数据并且易于存取。

json与str，json的读取

在实际操作中似乎直接把json放在列表里就可以和其他数据一样存储到csv文件中，在使用csv.writer方法时，双引号的问题被自动解决了，取出以后和其他数据一样都是str，使用json.loads()方法即可转换为json格式数据，写入的时候可以用同样的方法转换。

转换后的json格式数据按对象取值的方法与字典相似，即data[‘对象名’]->值

python集合、列表、字典

在处理重复数据时（这里指字符串或数值的数据），可以采用集合进行存储，因为集合中元素不能重复，可以很简单的使用set()或list()方法将集合和列表相互转换，因此可以利用集合去重后在转换为list存储。

要注意的是，创建空的集合要使用a = set()方法，如果是a={}则是一个空的字典。

当存储集合时如果集合为空会存储一个空集，内容为set()。

集合增加元素要用add()方法，集合没有列表的append()方法。

在处理数据时，字典一个很大的用处在于给出的key是有语义的，这提高了代码的可读性，list[1]中的数据是什么我们是不知道的，而dict[‘key’]则很好懂。

tensorflow输入数据格式转化

constant方法生成张量，tensorflow搭建的算法输入数据都是相应格式的张量，而不是列表，因此如果采用csv.reader读取csv文件而不是tensorflow自带的方法读取csv文件的话，要用对应的tensorflow或者numpy方法将数据转化为张量，通常为[None,*]None为数据量比如有2000条训练文本，None就是2000，后面的就是处理后的数据格式，比如设置的padding，maxlen=500的embedding size=12后的文本数据，格式就是[None,500,12]，label数据格式也要与之相对应。

tensorflow自带的读取csv文件的方法可以直接得到tensor格式的数据，但是由于我要处理的csv文件是文本文件并且包含json，这个时候还是先用csv的方法处理完比较好。

TensorFlow基础API

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

看网课视频老师讲的一些，实际上官方文档有非常详细的介绍

import numpy as np
import tensorflow as tf

# tf基础api：常量
t = tf.constant([[1., 2., 3.], [4., 5., 6.]])
# index索引操作
print(t)
print(t[:, 1:])
print(t[..., 1])
#%%
# ops算数操作
print(t+10)
print(tf.square(t))
print(t @ tf.transpose(t)) # 乘转置
#%%
# numpy conversion
print(t.numpy())
print(np.square(t))
np_t = np.array([[1., 2., 3.], [4., 5., 6.]])
print(tf.constant(np_t))
#%%
# Scalars tensor可以使0维、1维...
t = tf.constant(2.718)
print(t.numpy())
print(t.shape)
#%%
# strings
t = tf.constant('cafe')
print(t)
print(tf.strings.length(t))
print(tf.strings.length(t, unit='UTF8_CHAR'))
print(tf.strings.unicode_decode(t, 'UTF8'))
#%%
# string array
t = tf.constant(['cafe', 'coffee', '咖啡'])
print(tf.strings.length(t, unit='UTF8_CHAR'))
r = tf.strings.unicode_decode(t, 'UTF8')
print(r)
#%%
# ragged tensor
r = tf.ragged.constant([[11, 12], [21, 22, 23], [], [41]])
# index op
print(r)
print(r[1])
print(r[1:2])
#%%
# ops on ragged tensor
r2 = tf.ragged.constant([[51, 52], [], [71]])
print(tf.concat([r, r2], axis=0))
r3 = tf.ragged.constant([[13, 14], [15], [], [41, 42, 43]])
print(tf.concat([r, r3], axis=1))
# ragged tensor 变成 普通tensor 空位用0补齐，注意0永远在正常值的后面
print(r.to_tensor())
#%%
# sparse tensor 0可以在正常值前面
s = tf.SparseTensor(indices=[[0, 1], [1, 0], [2, 3]],
 values=[1., 2., 3.],
 dense_shape=[3, 4])
print(s)
print(tf.sparse.to_dense(s)) # 稀疏矩阵转密集矩阵，这样的稀疏矩阵不能用ragged tensor来表示
#%%
# ops on sparse tensors
s2 = s * 2.0
print(s2)

try:
 s3 = s + 1
except TypeError as ex:
 print(ex)

s4 = tf.constant([[10., 20.],
 [30., 40.],
 [50., 60.],
 [70., 80.]])
print(tf.sparse.sparse_dense_matmul(s, s4))
#%%
s5 = tf.SparseTensor(indices=[[0, 2], [0, 1], [2, 3]], # 没有排好序的稀疏矩阵无法被转换为密集矩阵
 values=[1., 2., 3.],
 dense_shape=[3, 4])
print(s5)
s6 = tf.sparse.reorder(s5) # 对s5进行排序
print(tf.sparse.to_dense(s6))

#%%
# Variable 变量
v = tf.Variable([[1., 2., 3.], [4., 5., 6.]])
print(v)
print(v.value())
print(v.numpy())
#%%
# assign value 变量重新赋值
v.assign(2*v)
print(v.numpy())
v[0, 1].assign(42)
print(v.numpy())
v[1].assign([7., 8., 9.])
print(v.numpy())
#%%
# 不能用=号，只能用assign()重新赋值
try:
 v[1] = [7., 8., 9.]
except TypeError as ex:
 print(ex)
# 'ResourceVariable' object does not support item assignment

卷积神经网络(CNN)理论与实现

15989119660@163.com (Xiangtao XIAO) — Thu, 21 May 2020 00:00:00 +0000

一、理论

卷积神经网络结构：（卷积层+（可选）池化层）*N+全连接层*M（M>=0），卷积层的输入输出是矩阵，全连接层输入输出是向量，在卷积层的最后一层做一个展平。

主要用于分类任务

全卷积神经网络：（卷积层+（可选）池化层）*N+反卷积层*K，可以做物体分割类任务

卷积操作

解决参数过多导致的计算资源不足，容易过拟合的问题。解决方法：局部连接（基于图像的区域性）、参数共享（基于图像特征与位置无关）

卷积核是反向传播计算出的参数，卷积：卷积核与输入做点积乘法。步长：卷积核每次在输入上滑动的距离。padding：使输出size不变。

池化操作

类似卷积，计算方式不同，最大值池化：池化核滑动覆盖区域的最大值作为结果输出。

特点：常使用不重叠（kernal-size=步长）、不补零的操作。参数即为步长和池化核大小。用于减少图像尺寸，从而减少计算量。一定程度平移鲁棒。损失了空间精度。

二、实现

embedding_dim = 16
batch_size = 128
cnn_model = keras.models.Sequential([
    keras.layers.Embedding(vocab_size,
 embedding_dim,
                input_length=max_length),
    keras.layers.Conv1D(filters=256,kernel_size=2,kernel_initializer='he_normal',
              strides=1,padding='SAME',activation='relu'),
    keras.layers.GlobalMaxPooling1D(),
    keras.layers.Dropout(rate=0.5),
    keras.layers.Dense(12, activation='sigmoid')
])
cnn_model.summary()
cnn_model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

Conv1D

在文本中，卷积的某一维大小往往为embedding长度，即在宽度上不需要窗口移动，宽度就是整个窗口，所以conv1d默认卷积的宽度就为embedding维度，长度通过kernel_size来指定的，此处为2，即卷积核的大小为2*embedding_size。strides为步长，此处为1，即卷积核每隔一个单词移动一次。filters是卷积核的个数，即输出的维度。padding有valid和same两种选择，valid在长度方向（宽度方向不padding）不进行padding，而same则在长度方向进行padding，保证输入句子长度和卷积后输出的句子长度一致。

//blog.csdn.net/bobobe/article/details/87923618

tensorflow fit()方法：参考

//blog.csdn.net/crazyman2010/article/details/103705318

TextCNN

//blog.csdn.net/u014732537/article/details/79573174

MNIST手写数字识别实践

15989119660@163.com (Xiangtao XIAO) — Wed, 20 May 2020 00:00:00 +0000

from __future__ import absolute_import, division, print_function, unicode_literals
import tensorflow as tf

mnist = tf.keras.datasets.mnist

(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 加载数据

x_train, x_test = x_train / 255.0, x_test / 255.0
# /255：将RGB数值归一化

#%%

print(y_train.shape)

#%%
model = tf.keras.models.Sequential([
 tf.keras.layers.Flatten(input_shape=(28, 28)), # 张量扁平化，将28*28的图片矩阵转化为784的向量
 tf.keras.layers.Dense(128, activation='relu'), # 全连接层，128个神经元，激活函数为relu（The Rectified Linear Unit）
 # y=max(0,x)
 tf.keras.layers.Dropout(0.2), # 防止过拟合，drop out 80% of inputs，使用0.2*cell_size个神经元进行训练
 tf.keras.layers.Dense(10, activation='softmax') # 全连接层输出 softmax激活函数
])

model.compile(optimizer='adam', # 梯度下降策略 adam
 loss='sparse_categorical_crossentropy', # 损失函数 sparse:y独热化编码 交叉熵
 metrics=['accuracy'])

# metrics 列表，包含评估模型在训练和测试时的性能的指标，典型用法是metrics=[‘accuracy’]。
# 如果要在多输出模型中为不同的输出指定不同的指标，可向该参数传递一个字典，例如metrics={‘output_a’: ‘accuracy’}

model.fit(x_train, y_train, epochs=5) # 训练5轮

model.evaluate(x_test, y_test, verbose=1)
# Verbosity mode. 0 = silent, 1 = progress bar.
# fit()用于使用给定输入训练模型.
# evaluate()用于评估已经训练过的模型.返回损失值&模型的度量值.

TensorFlow2.0安装

15989119660@163.com (Xiangtao XIAO) — Tue, 19 May 2020 00:00:00 +0000

清华镜像源安装

pip install tensorflow-gpu==1.12.0 -i //pypi.tuna.tsinghua.edu.cn/simple #可改成任意版本

CPU版本安装

pip install tensorflow -i //pypi.tuna.tsinghua.edu.cn/simple

Pycharm环境配置

（一）导入TensorFlow模块测试

import tensorflow as tf
hello = tf.constant()
sess = tf.Session()
sess.run(hello)

结果如下：ModuleNotFoundError: No module named ’tensorflow'

（二）加入运行路径

设置项目的编译器为python安装位置的python.exe，勾选导入所有的模块，显示如上图所示。再次运行出现同样的错误，查了一些资料应该是电脑的CPU太老了，我下载的tensorflow2.1.0版本不支持。

（三）安装2.0.0版本并测试

运行代码： pip unintall tensorflow
重新运行安装代码：pip install tensorflow==2.0.0 -i //pypi.tuna.tsinghua.edu.cn/simple

再次测试成功！

由于笔记本没有英伟达显卡，配置较低，只安装了CPU版本，后续使用有较好配置的电脑尝试安装GPU版本。确实CPU版本速度比较慢。

机器学习入门基本概念理解

15989119660@163.com (Xiangtao XIAO) — Sat, 16 May 2020 00:00:00 +0000

张量

张量=容器

张量是现代机器学习的基础。它的核心是一个数据容器，多数情况下，它包含数字，有时候它也包含字符串，但这种情况比较少。因此把它想象成一个数字的水桶。

0维张量=数字；1维张量=向量；2维张量=矩阵；3维张量=公用数据存储在张量，彩色图片等…

one-hot vector

独热编码，用于分类标记。比如（猫，狗，鼠）对应（1,0,0）代表猫，（0,1,0）代表狗…将离散型特征采用独热编码，会使得特征之间的距离计算更加合理。

softmax函数

softmax函数的作用主要是：1.通过将模型的预测结果转化到指数函数上将预测结果转化为非负数；2.归一化处理，使各种结果概率之和等于1.

//blog.csdn.net/lz_peter/article/details/84574716

交叉熵

对于单标签多分类问题，p(x)表示是否为标记的类，如果用独热编码表示分类，则取值0或1；q(x)则是预测结果为该类的概率。用交叉熵做损失函数，值越小，表示模型预测结果与实际情况一致性越高。

单标签多分类问题所有类别概率和为1，多标签二分类问题所有类别和不为1，交叉熵的计算针对的是单个类别（即二分类），然后单张样本计算多个二分类交叉熵的和。

//blog.csdn.net/tsyccnh/article/details/79163834

欧式空间

欧几里得空间就是在对现实空间的规则抽象和推广（从n<=3推广到有限n维空间）。

欧几里得几何就是中学学的平面几何、立体几何， 在欧几里得几何中，平行线任何位置的间距相等。

而中学学的几何空间一般是2维，3维（所以，我们讨论余弦值、点间的距离、内积都是在低纬空间总结的），如果将这些低维空间所总结的规律推广到有限的n维空间，那这些符合定义的空间则被统称为 欧几里得空间（欧式空间，Euclidean Space）。而欧几里得空间主要是定义了 内积、距离、角（没错，就是初中的那些定义），理解了这些再去理解数学定义就很明确了。

//www.zhihu.com/question/27903807/answer/699570097

梯度弥散与梯度爆炸

靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛；

而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。

在上面的四层隐藏层网络结构中，第一层比第四层慢了接近100倍！！

这种现象就是梯度弥散（vanishing gradient problem）。而在另一种情况中，前面layer的梯度通过训练变大，而后面layer的梯度指数级增大，这种现象又叫做梯度爆炸(exploding gradient problem)。

总的来说，就是在这个深度网络中，梯度相当不稳定(unstable)。

//www.cnblogs.com/yangmang/p/7477802.html

batch_size

batch的选择首先决定的是下降的方向，batch_size越大，下降的方向越准确。

综合考虑数据集的大小，数据集比较小的时候，用整个数据集作为batch_size就可以，这时候下降的方向也是最精准的，数据集比较大的时候，相对小的batch可以达到和用整个数据集相似的全局学习率，综合考量学习的效果以及电脑内存是否撑得住，目的是尽量让学习效果和效率同时最大化。

在合理范围内，增大 Batch_Size 有何好处？

内存利用率提高了，大矩阵乘法的并行化效率提高。
跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。
在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。

batch_size增大到一定程度后，再增大则效率变差，下降方向也基本不再变化。

//blog.csdn.net/starzhou/article/details/53692248

学习率

梯度下降的伪代码如下：

重复已下过程，直到收敛为止{ωj=ωj-λF(ωj) /ωj}

λ就是学习率，学习率过小，优化效率可能很低，学习率过大则有可能越过最优值，收敛到局部最优解。

关于解决学习率的一些问题，如选择合适的学习率，动态调整学习率，归一化等参考：

//www.cnblogs.com/mazhujun/p/9633576.html

如何通俗地解释欧氏空间？ - 知乎 //www.zhihu.com/question/27903807/answer/699570097

UEditor部署到个人站点

15989119660@163.com (Xiangtao XIAO) — Fri, 15 May 2020 00:00:00 +0000

一、下载UEditor

//ueditor.baidu.com/website/download.html

在以上链接下载，选择自己需要的语言版本，我用的是jsp，就下载jsp版本。将下载的压缩包解压，可以直接将解压的文件导入到Eclipse中自己的项目中，导入到文件夹WebContent中即可。

二、配置

将jsp/lib中的jar包全部复制到WEB-INF/lib下

修改输入字符数统计、上限，自定义工具栏可以参考官方说明文档，配置项可在ueditor.config.js中修改。

修改图片上传路径等在官方说明文档中有详细的介绍。

注：这里仅仅是在一个项目中使用UEditor，还用别的使用方法，也可以直接部署到tomcat中。

三、在页面中插入Ueditor编辑器

首先要引用文件

<link rel="stylesheet" type="text/css" href="<%= request.getContextPath() %>/thirdparts/utf8-jsp/themes/default/css/ueditor.change.css">
<script type="text/javascript" charset="utf-8" src="<%= request.getContextPath() %>/thirdparts/utf8-jsp/ueditor.config.js"></script>
<script type="text/javascript" charset="utf-8" src="<%= request.getContextPath() %>/thirdparts/utf8-jsp/ueditor.all.min.js"> </script>
<script type="text/javascript" charset="utf-8" src="<%= request.getContextPath() %>/thirdparts/utf8-jsp/lang/zh-cn/zh-cn.js"></script>

接着在需要插入编辑器的位置插入以下代码

<textarea id="content" name="content" style="width:100%;height:500px"></textarea>
<script type="text/javascript" charset="utf-8">
UE.getEditor('content',{toolbars: [[ 'fullscreen', 'source', '|', 'undo', 'redo', '|','bold', 'italic', 'underline', 'fontborder', 'strikethrough', 'superscript', 'subscript', 'removeformat', 'formatmatch', 'autotypeset', 'blockquote', 'pasteplain', '|', 'forecolor', 'backcolor', 'insertorderedlist', 'insertunorderedlist', 'selectall', 'cleardoc']]});
</script>

toolbars控制工具栏显示哪些工具

textarea是显示编辑器的容器，其id与UE.getEditor(‘id’,{})要一致。

不一定要是textarea，div等都可以，可以自己试一试，我没有深入研究，凑合着用了。

理解MVC模式

15989119660@163.com (Xiangtao XIAO) — Fri, 15 May 2020 00:00:00 +0000

M：Model

V：View

C：Controller

在JSP开发中，JSP仅负责控制页面的显示内容，Javabean仅负责存储数据，在Javabean中，数据以设计好的格式存储着，这也是为什么他叫模型，JSP可以方便的从Javabean中取得数据进行显示，Servlet则负责从数据库中读取数据，向数据库存储数据，对数据进行逻辑处理，之后将数据存储在javabean中以供显示。

MVC与三层架构：界面、业务逻辑、数据库存取是不一样的。MVC要实现的目标是将软件用户界面和业务逻辑分离以使代码可扩展性、可复用性、可维护性、灵活性加强。

看到有另一种说法： //blog.csdn.net/zuiyingong6567/article/details/80150834

同样是MVC，对于各层的理解有一些不同。尤其是对于数据库的连接，在PPT上看到的是C存取数据库，而网上一些资料显示是M存取数据库，而要求C尽量简单，仅仅负责在V与M间协调，大部分业务逻辑的处理，数据存取都放在Model中进行。