cs_notes

Missing Semester IAP 2020

https://www.youtube.com/playlist?list=PLyzOVJj3bHQuloKGG59rS43e29ro7I57J

1 Course Overview + The Shell

计算机工具高效利用

课程目标

• 了解 Shell 的基本概念和用法
• 掌握常用 Shell 命令的使用
• 熟悉 Shell 的路径、目录和文件操作
• 学习 Shell 的管道和 root 用户概念

Shell 简介

Shell 是计算机系统的操作界面，是用户与计算机系统交互的主要方式。Shell 是一个命令行解释器，它接受用户的命令并将其转换为计算机可以理解的格式。

基本命令

Shell 提供了许多基本的命令，可以用于执行各种操作。常见的基本命令包括：

• date：显示当前日期和时间
• echo：显示指定的文本
• pwd：显示当前目录
• cd：切换目录
• ls：列出目录内容

参数和重定向

Shell 命令可以使用参数来指定操作的对象或内容。例如，ls -a 命令可以列出所有目录，包括隐藏目录。Shell 还可以使用重定向来将命令的输出重定向到文件或设备。例如，date > date.txt 命令将当前日期和时间写入文件 date.txt。

路径

路径是指文件或目录在文件系统中的位置。路径可以是相对路径或绝对路径。相对路径相对于当前目录，绝对路径从根目录开始。

目录和文件操作

Shell 提供了许多命令来执行目录和文件的操作。常见的目录和文件操作命令包括：

• mkdir：创建目录
• rmdir：删除空目录
• cp：复制文件
• mv：移动或重命名文件
• rm：删除文件

man 手册

man 手册是 Shell 命令的参考手册。通过 man 手册，可以查阅 Shell 命令的使用方法和参数。

管道

管道符号	可以用于将一个命令的输出作为另一个命令的输入。管道可以用于串联多个命令，实现更复杂的操作。

root 用户

root 用户是 Linux 系统的最高权限用户。root 用户可以执行任何操作，包括修改系统配置和删除文件。

2 Shell Tools and Scripting

Bash 脚本基础

变量

Bash 脚本中的变量可以用来存储数据。变量定义使用 ``= 符号，例如：

foo=bar

访问变量时使用美元符号加变量名，例如：

echo $foo

条件判断

Bash 脚本中的条件判断使用 if 关键字，例如：

if [ $foo = "bar" ]; then
  echo "foo 等于 bar"
fi

常见的条件判断符号包括：

• -eq：判断是否相等
• -ne：判断是否不等
• -gt：判断是否大于
• -ge：判断是否大于或等于
• -lt：判断是否小于
• -le：判断是否小于或等于

函数

Bash 脚本中的函数可以用来重复使用代码。函数定义使用 function 关键字，例如：

function funcName() {
  echo "This is a function"
}

调用函数使用函数名即可，例如：

funcName

输入/输出

Bash 脚本中的输入/输出可以用来读取数据和写入数据。常用的输入/输出方式包括：

• 标准输出：通过 echo 命令打印到标准输出
• 标准错误：通过 >&2 将输出重定向到标准错误
• 重定向：使用 > 将输出重定向到文件
• 追加：使用 >> 将输出追加到文件
• Here document：使用 << 标记将数据作为标准输入传给命令

通过这些方式可以进行输出，并通过重定向控制输出的目标文件或设备。

Shell 是计算机系统中重要的工具。通过学习 Shell 的基本知识和用法，可以提高计算机工作效率。 好的，以下是整理后的 Markdown 笔记：

3 Editors (vim)

Vim 介绍

Vim 是一个强大的文本编辑器，具有丰富的功能和特性，适合编程和其他文本处理工作。Vim 使用模式编辑，有普通模式、插入模式、可视模式等多种模式，可以根据不同的需求进行切换。

模式编辑

Vim 的模式编辑是其最独特的特性之一。在普通模式下，用户可以输入命令来控制 Vim 的行为，例如移动光标、删除文本、替换文本等。在插入模式下，用户可以输入文本。在可视模式下，用户可以选择文本进行操作。

常用命令

Vim 提供了丰富的命令，可以用来执行各种操作。常用的命令包括：

• 导航命令：用于移动光标，例如 hjkl、cw、n、N 等。
• 编辑命令：用于删除、替换、复制、粘贴文本，例如 dd、c、y、p 等。
• 搜索命令：用于查找文本，例如 /、?、n、N 等。
• 文件管理命令：用于打开、保存、关闭文件，例如 :e、:w、:q 等。

Vim 文件管理

Vim 支持多文件编辑，可以使用多个窗口和标签页来查看和编辑不同的文件。

实用命令

Vim 还提供了一些实用命令，例如帮助命令、历史命令等。

学习建议

学习 Vim 需要时间和精力，但长期使用后效率会远高于其他编辑器。建议初学者先学习 Vim 的基本概念和常用命令，然后再逐步深入学习。

Vim 的未来

Vim 的模式编辑概念被其他编辑器所采用，例如 neovim、Emacs 等。这些编辑器结合了 Vim 的模式编辑和其他编辑器的优点，成为了编程人员的常用工具。

Data Wrangling

数据处理概述

数据处理是指将数据从一种格式转换为另一种格式，以便更容易使用或分析。数据处理是数据挖掘的第一个步骤，也是非常重要的一步。

Linux 命令行工具

Linux 命令行提供了许多强大的工具，可以用于数据处理。常用的工具包括：

• grep：用于搜索文本中的模式
• sed：用于编辑文本
• sort：用于对文本进行排序
• uniq：用于去除重复行
• head：用于显示文件的开头部分
• tail：用于显示文件的结尾部分
• awk：用于处理文本文件
• bc：用于文本中的计算

数据处理示例

一些数据处理的示例，包括：

• 使用 grep 提取日志文件中的用户名
• 使用 sed 替换文本中的字符串
• 使用 sort 对文本进行排序
• 使用 uniq 去除重复行
• 使用 head 显示文件的开头部分
• 使用 tail 显示文件的结尾部分
• 使用 awk 过滤特定用户名
• 使用 bc 在文本中进行计算

5 Command-line Environment

任务控制

• 使用控制 C/断等信号控制后台任务
• 通过 jobs 命令查看任务状态
• 使用 fg/bg 命令切换任务到前台/后台

终端多路复用器

• 使用命令 tmux 创建不同的会话和窗口完成工作
• 快速切换会话

点文件

• 使用配置文件如 bashrc、vimrc 等定制命令行环境和编辑器参数
• 介绍别名 alias 和自定义提示符等内容

远程机器工作

• 使用 ssh 登录远程服务器
• 将本地终端连接至远程环境工作

实用配置示例

• 命令别名
• 提示自定义

开源点文件配置

• 作为参考

软链接管理点文件

• 将配置文件统一放在版本控制目录下

6 Version Control (git)

介绍

• 版本控制系统：跟踪文件和文件夹的变化，以便在需要时恢复到以前的版本。
• Git：分布式版本控制系统，每个用户都有自己的完整副本。

数据模型

• 对象：Git 中的基本数据单元，包含文件内容、元数据和引用。
• 树：对象的集合，表示文件结构。
• 提交：树的集合，表示文件历史记录。

内部存储

• 对象存储在 Git 数据库中，以 SHA-1 哈希值命名。
• 引用指向对象，用于跟踪历史记录。

操作

• 初始化 Git 仓库：使用 git init 命令。
• 添加文件：使用 git add 命令。
• 提交文件：使用 git commit 命令。
• 查看历史记录：使用 git log 命令。
• 图形日志：使用 git log --oneline --graph 命令。
• 暂存区：用于临时存放尚未提交的变更。
• 引用：用于跟踪分支和标签。

7 Debugging and Profiling

调试

• 调试：在软件开发过程中发现和修复错误的过程。
• 调试方法：
  • 打印语句（Printf debugging）：在代码中插入打印语句，输出变量的值或日志信息，以便定位错误。
  • 断点调试器（Debugger）：可以暂停代码的执行，查看变量的值或内存状态，以便定位错误。
  • 系统日志：在操作系统或应用程序中记录的错误信息，可以用于调试。
  • 静态代码分析工具：可以分析代码的结构和语法，以便发现错误。

性能分析

• 性能分析：评估软件的性能，找出性能瓶颈，并进行优化的过程。
• 性能分析方法：
  • 时间分析：记录代码的执行时间，以便分析性能瓶颈。
  • 代码剖析器：可以分析代码的执行流程和性能数据，以便分析性能瓶颈。
• 性能分析工具：
  • 基于追踪的分析器：记录代码的执行流程，以便分析性能瓶颈。
  • 基于采样的分析器：随机采集代码的执行数据，以便分析性能瓶颈。
• 性能优化：
  • 代码优化：优化代码的结构和算法，以提高性能。
  • 硬件优化：使用更高性能的硬件，以提高性能。

8 Metaprogramming

构建系统

• 构建系统：用于自动化软件构建过程的工具。
• Makefile：最常用的构建系统之一。
• 目标：构建系统要生成的文件或目标。
• 依赖：目标所需的其他文件或目标。
• 规则：定义如何构建一个目标。

软件依赖管理

• 软件依赖管理：用于管理软件项目中所需的第三方库和软件包的工具。
• 版本控制：用于跟踪软件项目中文件的更改历史。
• 仓库：存储软件项目文件的版本控制系统。

连续集成

• 连续集成：CI：一种软件开发实践，通过自动化构建、测试和部署来确保软件项目中代码的质量。
• CI 服务：提供 CI 功能的工具或平台。
• README 文件：项目的说明文件。
• 状态徽标：显示项目 CI 状态的图标。
• GitHub Pages：GitHub 提供的免费静态网站托管服务。

测试

• 测试：用于验证软件项目中代码正确性的活动。
• 测试套件：一组测试用例。
• 单元测试：测试单个代码单元的测试。
• 集成测试：测试多个代码单元如何协同工作的测试。
• 回归测试：测试软件项目中已知的 bug 是否已修复。
• mocking：模拟软件系统中某些组件的技术。

9 Security and Cryptography

随机性和熵

• 随机性：一个随机变量取值的概率是均匀的。
• 熵：一个随机变量的不确定性。
• 密码强度：密码的熵越高，强度越高。

杂凑算法

• 杂凑算法：将任意长度的数据转换为固定长度的数据。
• 应用：
  • 文件校验
  • 数据完整性验证
  • 密码哈希

对称密钥密码学

• 对称密钥加密：使用同一密钥进行加密和解密。
• 原理：
  • 加密：将明文与密钥进行异或运算。
  • 解密：将密文与密钥进行异或运算。
• 应用：
  • 文件加密
  • 通信加密

密钥衍生函数

• 密钥衍生函数：从明文密码生成密钥。
• 应用：
  • 提高密码安全性
  • 方便密钥管理

OpenSSL 使用

• 使用 OpenSSL 对文件进行 AES 加密和解密。

10 Potpourri

键盘映射

• 使用软件进行键盘按键的重新映射，比如将 Caps Lock 键映射为 Esc 键等，以提高效率。

守护进程

• 解释了计算机背后运行的守护进程机制，以及如何通过 systemctl 指令管理各种守护进程。

用户空间文件系统

• 介绍了通过 FUSE 技术实现的用户空间文件系统，例如 SSHFS 等。

备份

• 提醒用户需要做好数据备份，避免因硬盘故障等原因导致数据损失。

API

• 介绍如何通过 API 与外部服务进行集成，例如调用天气 API 获取天气预报。

命令行参数

• 讲解常见命令支持的各类参数，如 -h -v 等。

窗口管理器

• 介绍了 tiling 窗口管理器这一不同的窗口布局方式。

VPN

• 谨慎使用 VPN，不要认为它一定更安全。

Markdown

• 简单介绍 Markdown 这种文本标记语言。

11 Q & A

操作系统相关主题的学习方法

• 推荐参考 MIT 开源的操作系统课程或编写自己的简单内核来学习。

常用工具的优先顺序

• 强调学习文本编辑器效率和版本控制系统。

Python 脚本 versus Bash 脚本的使用场景

• Python 脚本适用于较复杂的任务，Bash 脚本适用于较简单的任务。

源脚本与直接执行脚本的区别

• 源脚本可以让当前 shell 环境执行，直接执行在子 shells 中。

不同系统路径下软件的存放位置

• /bin：存放可执行文件
• /lib：存放共享库
• /etc：存放配置文件
• /home：存放用户主目录

使用系统包管理器还是语言特定的包管理命令

• 建议使用后者获取最新的软件版本。

性能调优工具

• 建议从 print 语句开始排查性能问题，也提到了 valgrind、perf 等工具。

浏览器插件推荐

• uBlock Origin：广告拦截
• Stylus：CSS 样式修改
• 密码管理器：密码管理

数据处理工具

• curl：网络请求
• jq：JSON 处理
• vim：文本编辑器
• Python pandas：数据分析

Docker 与虚机的区别

• Docker 通过容器共享内核获得更高效率。