机器学习入门之工具篇
分享
扫一扫
文章平均质量分 89
本专栏包含了Python基础（运行环境、编程规范、基本语法）、Numpy、Pandas、Linux和Git常用命令、TensoFflow、Pytorch的入门教程以及最常用的软件和网站。希望能对初学机器学习以及入门AI比赛的同学有所帮助。
优惠券已抵扣
余额抵扣
还需支付
¥49.90
¥99.00
购买须知?
本专栏为图文内容，最终完结不会低于15篇文章。
订阅专栏，享有专栏所有文章阅读权限。
本专栏为虚拟商品，基于网络商品和虚拟商品的性质和特征，专栏一经购买无正当理由不予退款，不支持升级，敬请谅解。
herosunly
985院校硕士毕业，现担任算法工程师一职，获得CSDN博客之星第一名，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得多项AI顶级比赛的Top名次，其中包括阿里云天池比赛第一名，科大讯飞分类挑战赛第一名，CCF信息分类比赛比赛第二名，开放原子分类比赛二等奖，CCF家族分类第四名，科大讯飞阿尔茨海默症预测挑战赛第四名，科大讯飞事件抽取挑战赛第七名。在技术创新领域拥有多项授权发明。曾辅导多位非科班出身的同学成功进入算法行业就业。希望和大家一起成长进步。
展开
-
机器学习之学习路径、学习方法、常用工具、Python、Numpy、pandas、sklearn、Tensorflow、Pytorch、Git入门教学大纲
学习方法核心思想Python基础2.1 Python运行环境(Jupyter Notebook)2.2 编程规范2.3 基本语法2.4 函数式编程2.5 面向对象2.6 文件操作数据处理常用库Numpy数据处理常用库Pandas(DataFrame、Series等)Linux常用命令Git和Github.........................................................原创 2020-10-09 20:17:28 · 15017 阅读 · 62 评论
-
保姆级人工智能学习成长路径
0. 前言1. 第一阶段：编程语言学习2. 第二阶段：机器学习基本理论3. 第三阶段：深度学习理论与实战4. 第四阶段：细分领域深入学习5. 第五阶段：集大成者 最近有很多小伙伴想学习人工智能，其中不少同学渴望从事相关职业。虽然网上的资料很多，但是很多内容不够接地气，导致他们看不懂，所以很迷茫，不知何去何从。作为获得AI比赛Top名次的老司机，就给大家讲讲如何系统学习人工智能，最终达到一名合格的算法工程师。希望大家能够跟随我一步步迈进人工智能的殿堂，一起冲鸭~~~...原创 2021-07-02 07:32:29 · 21433 阅读 · 115 评论 -
从零入门机器学习之开宗明义：编程与数据思维
大家好，我是herosunly。985院校硕士毕业，热衷于机器学习算法研究与应用。曾获得各种AI比赛的Top名次，并拥有多项发明专利。本文是从零入门机器学习的第一篇文章，主要内容是讲解思维与方法。之所以不是一上来就讲解具体的知识点，主要原因在于市面上讲解知识点的课程数不胜数，主要原因在于市面上讲解知识点的课程数不胜数，但都缺乏体系化的设计与结构。1. 学习之道2. 编程思维 2.1 不同level之间进行转化 2.2 代码是检验想法的重要标准3. 数据思维 3.1 核心思维 3.2 应用方法原创 2022-10-26 17:43:13 · 33308 阅读 · 5 评论 -
从零入门机器学习之基础概念讲解：深入浅出讲解计算机基本概念
本文是从零入门机器学习的第二篇文章，主要内容是讲解计算机基本概念，之所以要讲解上述内容，主要是由于在后续学习和工作中都会用到以上概念，所以必须提前进行学习。希望能对大家有所帮助。文章目录1. 硬件1.1 PC -> 服务器-> 集群 -> 云1.2 CPU1.2.2 查看CPU的统计信息1.2.2 查看单个CPU的信息1.3 硬盘1.4 内存2. 计算机网络常用概念2.1 IP地址2.2 MAC地址2.3 域名2.4 DNS服务器2.5 URL2.6 安全查询3. 参考文献原创 2022-11-05 10:27:34 · 37907 阅读 · 7 评论 -
从零入门机器学习之Linux系统详解
本文是从零入门机器学习的第三篇文章，主要内容是详解Linux系统的常用用法，之所以要讲解上述内容，主要是由于在后续学习和工作中都会用到Linux系统，除了极个别的情况，都是在Linux环境下进行代码开发和环境部署的，所以让新手提前了解，尽早练习。希望能对大家有所帮助。文章目录0. 不同操作系统之间的设计理念1. Windows远程登录Linux的软件和Linux环境模拟器2. Linux命令简要说明3. 参数的左手原则4. 文件和目录的基本操作5. 进程和系统状态6. 快捷键7.8.原创 2022-11-05 21:30:04 · 25701 阅读 · 5 评论 -
将sklearn转换成c/c++的实战代码
本文主要介绍了将sklearn转换成c/c++的实战代码，希望对将sklearn模型进行部署的同学们有所帮助。文章目录1. 背景描述2. 安装方法3. 实战代码 3.1 训练转换+预测的完整代码 3.2 生成c/c++可加载的模型文件 3.3 加载新生成的模型文件原创 2023-09-14 07:15:00 · 37738 阅读 · 80 评论 -
详解step、iteration、batch_size、epoch
今天给大家带来的文章是详解step、batch_size、iteration、epoch，希望能对学习机器学习的同学们有所帮助。文章目录1. 前言2. 宏观理解3. 概念细致理解原创 2024-01-18 08:15:00 · 85650 阅读 · 34 评论 -
提取中文时间并表示成时间戳的实战代码
本文主要介绍了提取中文时间并表示成时间戳的实战代码，希望能对同学们有所帮助。文章目录1. 问题描述2. 安装方法3. 实战代码原创 2023-09-02 07:30:00 · 46868 阅读 · 100 评论 -
使用ltp进行三元组提取的实战代码
本文主要介绍了使用ltp进行三元组提取的实战代码，希望对学习三元组提取的同学们有所帮助。需要说明的是，ltp进行三元组提取不需要数据标注，效果并非特别好，可作为baseline进行使用。文章目录1. 前言2. 安装方法3. 实战代码 3.1 提取三元组 3.2 根据三元组重构文本原创 2023-04-20 07:45:00 · 116456 阅读 · 33 评论 -
提取acc文件字幕的解决方案
本文主要介绍了提取acc文件字幕的解决方案，希望对同学们有所帮助。需要提前说明的是，最好是在GPU环境下运行，否则用CPU可能会速度比较慢。文章目录1. 背景介绍2. 安装方法 2.1 安装GPU环境 2.1.1 安装(更新)GPU驱动 2.1.2 安装(更新)CUDA 2.1.3 安装(更新)cuDNN 2.2 创建虚拟环境 2.3 安装Python库 2.3.1 安装pytorch 2.3.2 安装whisper...原创 2023-04-10 07:45:00 · 122397 阅读 · 11 评论 -
在局域网和阿里云Linux上搭建Anaconda和Jupyter Notebook
1. 安装Anaconda 由于Anaconda最新版本的Python默认环境为3.7。而3.7版本有点高，部分库如Tensorflow是无法在3.7版本上正常使用的，所以最好使用3.6或者3.5版本。我采用的是操作系统版本为Centos 7、Python版本为3.6、Anaconda版本为3-5.2.0-Linux-x86_64.sh。Anaconda的下载地址为https://mirror...原创 2019-08-27 10:53:10 · 8636 阅读 · 2 评论 -
新学编程之掌握基本概念
1. 为什么要学习基本概念2. 如何学习基本概念2.1 理解基本概念的字面意思2.1.1 学习神器一2.1.2 学习神器二2.2 边实践边思考2.3 构建属于自己的知识框架3. 编程基本概念3.1 Python vs Anaconda3.2 变量3.3 Unicode 和 UTF-8 的不同之处.........原创 2021-02-25 19:08:42 · 12206 阅读 · 11 评论 -
学习方法论
工欲善其事，必先利其器。在开始学习具体知识之前，为了提高学习效率，特意花一些时间来讲讲学习方法。具体方法并不是最重要的，最大的希望能给大家带来一定的启发（抛砖引玉）。 个人的学习习惯是，首先理解关键概念的字面意思，然后再通过后期不断的实践和练习，逐渐加深对概念的理解。举例来说，现在谈到的是学习。对于学习来说，我们最容易想到的就是学而时习之，不亦乐乎。从上句可以看出，学习可以分为学和习，学很容易理解，习指的是不断的实践。我的体会是，在不断的学习和实践中一定要形成自己的理解。 话说回来了，那如何能够原创 2020-10-09 21:04:46 · 25870 阅读 · 6 评论 -
万文多图之搜索引擎使用教程
1. 写在前面的话2. 搜索引擎的选择3. 搜索符号语言3.1 精确搜索(双引号)3.2 指定网站搜索(site:)3.3 或运算(OR)3.4 非运算(减号)3.5 改变运算顺序(小括号)3.6 同义词(波浪号)3.7 通配符(星号)3.8 范围表示符(两个点)3.9 时间范围表示符(datarange:)3.10 指定文件格式(filetype:)3.11 英语单词详细解释(define:)3.12 查找相关网站(related:)3.13 在URL、标题、主题、正文中搜索原创 2021-10-21 20:42:06 · 27612 阅读 · 50 评论 -
两万文字多图详解常用软件工具使用(持续更新)
1. 写在前面的话2. 实用工具2.1 Chrome2.1.1 Chrome双开2.1.2 视频加速2.2 Autoruns(开机启动项管理工具)2.3 Everything2.3.1 使用正则表达式2.4 Ditto2.5 云笔记2.6 大文本编辑器2.7 winscp2.7.1 登录自动输入密码2.8 winsshd2.9 TeamViewer或者向日葵2.10 Sublime Text 32.10.1 将tab转换为4个空格2.10.2 安装package contr原创 2019-07-16 08:18:04 · 35706 阅读 · 6 评论 -
2022年超好用工具总结
1. you-get(视频下载)1.1 You-Get简介1.2 You-Get安装1.3 You-Get使用1.3.1 查看视频下载支持格式1.3.2 下载视频1.3.3 使用误区2. FFmpeg(多媒体格式转换)2.1 FFmpeg的安装2.2 FFmpeg的使用2.2.1 从mp4中提取音频(acc)2.2.2 合并多个音频/视频2.2.3 mp4转mp32.2.4 裁剪mp33. 白描(图片OCR)3.1 电子表格识别3.2 图片文字提取4. MobaXterm.原创 2021-01-04 17:13:03 · 23691 阅读 · 33 评论 -
Numpy和scipy学习汇总
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。今天给大家带来的文章是Numpy和scipy学习汇总，希望能对同学们有所帮助。原创 2020-03-11 11:07:25 · 11274 阅读 · 2 评论 -
万文多图详解Linux常用命令(持续更新)
文章目录0. windows远程控制Linux的软件1. Linux命令简要说明2. 参数的左手原则3. 文件和目录的基本操作3.1 cd(Change the current directory to dir)3.2 ls(list directory contents)3.3 chmod(change mode)3.4 pwd(print name of current/working directory)3.5 增删改查3.5.1 mkdir(创建目录)3.5.2 touch(创建文件)3.5.3 r原创 2020-10-14 22:30:41 · 11716 阅读 · 6 评论 -
Linux常见Bug解决方案
1. 系统对应硬盘损坏，但是其他硬盘可用2. ping: www.baidu.com: Temporary failure in name resolution3. openssh-server has no installation candidate4. ssh root failed(ssh连接root用户失败)5. IDRAC无法正常使用6. 挂载其他硬盘......原创 2022-08-18 17:50:47 · 11788 阅读 · 2 评论 -
cp命令太慢？实践证明存在更快的Linux命令
文章目录1. 前言2. 命令一： cp3. 命令二：tar4. 命令三：rsync5. 命令四：cpio6. 结论1. 前言 在Linux环境下进行文件复制，通常就是用cp命令。对于绝大多数人来说，由于它的通用性，该命令已经倒背如流。近来工作要频繁对文件进行复制，然后再进行处理。可不幸的是，常用的cp命令用起来却是好慢好慢。 为了提高效率，便打开谷歌搜索，寻找更好的解决方案。经过调研，得到了其余几个复制的命令，为了帮助大家，特意将命令分享如下(如果不想了解过程的，想直接看结论的同学可以直接翻到文原创 2021-05-08 11:03:25 · 18267 阅读 · 61 评论 -
Linux文本处理神器awk实战案例
1. 什么是awk2. 打印不同列的内容3. 打印行号和列号4. 修改输入和输出分隔符5. 输入多个文件6. 修改某一列的值7. 条件筛选后打印8. 运算9. 正则表达式原创 2021-07-03 14:36:24 · 17426 阅读 · 58 评论 -
两万文字教你掌握Git和GitHub的使用
1. 什么是Git和GitHub?2. 安装Git和GitHub2.1 安装GitHub2.2 安装Git3. Git初尝试3.1 总结3.2 练习4. Git重要特性4.1 帮助、日志和比较4.2 忽略文件4.3 总结4.4 练习5. 分支5.1 总结5.2 练习6. GitHub6.1 Markdown6.2 Pull Requess6.3 Pages6.4 Forking6.5 总结6.6 练习.....................原创 2021-07-14 16:46:54 · 17357 阅读 · 11 评论 -
Python运行环境详细总结
1. Python运行环境概述2. Jupyter Notebook2.1 安装2.2 基本操作2.3 基本单元cell2.3.1 命令模式的快捷键2.3.2 编辑模式下的两种命令2.4 黑科技操作3. 安装、升级和删除库3.1 pip3.2 conda原创 2020-10-09 22:12:57 · 14288 阅读 · 11 评论 -
深入浅出讲解Python库的五种安装方法
1. pip命令安装1.1 Releases介绍1.2 高效使用pip命令方法2. conda命令安装3. wheel文件安装4. 源代码安装5. 离线安装 Python库的安装方法共有5种，分别适用于不同的应用场景，为了方便理解，先用最通俗易懂的语言进行描述。.........原创 2022-07-14 07:00:00 · 37523 阅读 · 4 评论 -
Jupyter Notebook 14个问题及解决方案
0. ip能ping通，但是端口连不通1. Refusing to serve hidden directory, via 404 Error2. no connection to kernel jupyter3. 更换密码4. 安装R的kernel5. 如何关闭jupyter notebook进程6. jupyter notebook无法远程访问7. ERR_UNSAFE_PORT8. No module named functools_lru_cache9. ...10. .....原创 2020-03-03 11:20:51 · 16913 阅读 · 1 评论 -
万文多图之Pycharm的使用图解
文章目录1. 新建项目2. 窗口介绍3. Pycharm设置4. Pycharm菜单中的功能1. 新建项目 Pycharm是根据项目组织的，项目相关的配置文件存放在项目文件夹下的.idea文件夹(隐藏文件夹)中。 新建环境可以通过Virtualenv进行创建，也可以通过Conda进行创建。 下方状态栏如下所示说明Pycharm正在对选定的Python解释器进行索引工作，在这个过程中，Pycharm的自动补全和代码高亮都暂时无效。2. 窗口介绍新建文件File: 空文件Dir原创 2020-10-19 19:04:35 · 71453 阅读 · 12 评论 -
查看python库的版本(本质原因、Windows和Linux环境下的操作方法)
1. 潜在误区2. 本质原因及正确查看方法2.1 Linux环境下的操作方法2.2 Windows环境下的操作方法3. 总结原创 2022-04-09 08:00:00 · 6377 阅读 · 2 评论 -
Python编程规范
文章目录1. Python编程规范2. 检查工具3. 代码布局4. 表达式中的空格5. 命名规则6. 注释1. Python编程规范 编程规范是体现职业素养的一部分，其重要性不言而喻。那我们应该遵循什么样的编程规范呢？ 对于Python语言，最常见的规范的PEP 8编程规范。 从谷歌搜索输入栏中，输入Python Code Style，第一个就是PEP 8编程规范：https://www.python.org/dev/peps/pep-0008/，由于篇幅有限，本文只总结了部分最常用的编程规范原创 2020-10-09 22:40:55 · 11858 阅读 · 4 评论 -
Python基本语法(基本语句与函数、基本数据类型、新学错误总结)
文章目录1. Python基本语句和函数1.1 赋值语句1.2 循环与判断1.3 BIFs(内建函数)2. Python数据类型2.1 数值类型1. Python基本语句和函数1.1 赋值语句# 简单赋值a = 100# 多变量赋值a, b, c = 99, 100, 101print(a, b, c)# 变量交换(其他编程语言没有的特性)a, b = b, aprint(a, b)1.2 循环与判断for 迭代循环(此处和其他编程语言不一致)while 条件循环三元表原创 2020-10-10 08:52:19 · 24234 阅读 · 6 评论 -
Python函数(结构、返回值、参数、参数传递方式、函数式编程、高阶函数、闭包、装饰器)
文章目录1. 初识Python中的函数1.1 函数的结构1.2 函数的返回1.3 函数的参数1.4 参数传递的处理1.5 变量作用域(L->E->G->B)2. 各种函数2.1 匿名函数lambda2.2 偏函数2.3 高阶函数3. 闭包4. 装饰器1. 初识Python中的函数1.1 函数的结构1.2 函数的返回1.3 函数的参数1.4 参数传递的处理1.5 变量作用域(L->E->G->B)2. 各种函数2.1 匿名函数lambda2.2 偏函数2原创 2020-10-10 20:25:56 · 21187 阅读 · 2 评论 -
Python面向对象
1. 关于类与对象操作的BIFs1.1 打印对象的所有属性2. 面向对象OOP2.1 类的创建与内部结构2.2 类的继承与多态2.3 OOP三大特性总结3. 模块与包原创 2020-10-11 20:59:41 · 11246 阅读 · 10 评论 -
Python限制函数执行时间的实用解决方案
本文主要介绍了Python限制函数执行时间的实用解决方案，希望对大家有所帮助。文章目录1. 背景介绍2. 不推荐的解决方案3. 最佳解决方案原创 2023-02-03 15:53:39 · 14532 阅读 · 6 评论 -
Python Unicode实战
1. 各种编码的简要发展史2. Python Unicode实战2.1 操作单个字符2.1.1 判断单个字符所属类型2.1.2 判断单个字符是否属于中文2.1.3 判断是否是空白符2.1.4 判断是否是控制符2.1.5 是否为标点符号2.2 字符串处理2.2.1 将文本转换成Unicode2.2.2 清理文本中的无效字符2.2.3 清理文本中的重音符号2.2.4 根据标点符号进行分句 首先说明一下，本文代码以Python3版本为主（暂时不考虑和Python2的代码兼容）。原创 2021-08-27 11:52:50 · 16076 阅读 · 5 评论 -
Python字符串匹配神器TheFuzz库的实战详解
TheFuzz库对应的源码链接为https://github.com/seatgeek/thefuzz。需要说明的是，TheFuzz是FuzzyWuzzy的升级版本，后者在2020年后已经不再进行更新，所以请及时切换到TheFuzz库。1. 安装方法2. 两大模块fuzz和process2.1 模块一：fuzz2.2 模块二：process2.2.1 process.extractOne(提取出相似度最高的选择)2.2.2 process.extract(提取出相似度高的多个选择)3.实战案例原创 2022-06-24 16:28:27 · 35103 阅读 · 2 评论 -
Python文件操作(json、csv、tsv、excel、pickle文件序列化)
1. 文件类型1.1 曾经遇到的坑1.2 文本文件 vs. 二进制文件1.3 Linux file命令2. 文件读写2.1 普通文本文件2.2 json文件2.2.1 原生json库2.2.2 pandas.read_json2.3 csv、tsv等格式文件2.4 excel文件2.5 文件序列化2.6 读取大文件3. 文件路径迭代3.1 os.walk3.2 glob4. 对输入文件名(argv)进行处理5. 文件内容搜索5.1 逐行遍历匹配内容............原创 2020-10-14 19:42:50 · 11698 阅读 · 10 评论 -
Python对象序列化与反序列化的魔法方法(__getstate__()和__setstate__())
1. 前言2. 对序列化进行修改2.1 对其中已有属性进行修改2.2 添加新的属性3. 对反序列进行修改3.1 在__setstate__()中对__dict__属性进行修改3.2 在__setstate__()中没有语句对__dict__属性进行修改4. 对序列化与反序列化都进行修改4.1 正常修改4.2 结果形成嵌套结构4.3 添加新属性原创 2022-04-06 17:53:02 · 7639 阅读 · 6 评论 -
两万文字详解Python正则表达式(语法、验证方法、使用案例、练习题、常见错误)
1. 正则表达式的定义和应用2. 正则表达式验证网站3. 语法4. Python(re模块)案例5. 正则表达式练习题6. 常用正则表达式7. 常见错误原创 2020-10-21 17:14:24 · 16765 阅读 · 14 评论 -
查看python源码位置方法以及潜在误区
1. 潜在误区2. 本质原因及正确查看方法3. 总结今天有个新来的实习生让我帮他看个问题，他想通过找到python源码位置来学习官方源码，但是却不幸报错。他想查看的是collections模块中Counter类所处的文件路径，直接使用代码却出现错误AttributeError: type object 'Counter' has no attribute '__file__'。在我的谆谆教导下，不仅帮助他解决了问题，而且通过发现本质更加深入的理解了几个核心概念。原创 2022-04-03 10:00:00 · 2536 阅读 · 0 评论 -
Python消除警告的实用解决方案
本文主要介绍了Python消除警告的实用解决方案，希望对新手有所帮助。文章目录1. 问题描述2. 解决方案 2.1 尝试方案一 2.2 尝试方案二 2.3 最终解决方案1. 问题描述 最近在使用文本处理模块textacy中的textacy.extract.pos_regex_matches函数，由于对大量文本均用到了该函数，所以出现了海量的警告信息。原创 2022-10-09 12:48:57 · 48441 阅读 · 6 评论 -
Python代码练习详细讲解(编程规范、算法、压力测试等)
文章目录0. 写在前面的话1. 题目2. 解答0. 写在前面的话 初学者学习Python，最重要的就是刻意练习(技术无他，唯有熟尔)。为了帮助初学的同学检验自己的Python水平，特意出十道代码练习题。练习题涉及到之前讲多的大多数核心知识点，但由于题目有限，可能会遗留部分重要知识，所以希望能把功夫用在平时，不断提升和积累自己的代码能力。虽然将答案附在最后以供参考，但希望一定要自己亲手练习，然后比较自己的代码和我的代码之间的差异之处，差异之处也就是需要提高之处。比如编程规范、算法、压力测试等。(注：此篇原创 2020-10-16 15:29:38 · 12869 阅读 · 14 评论