空之影的技术博客

最近在入门 Embodied AI ，在实验室中了解到 Meta 的Habitat模拟器。这是一个用于agent仿真的模拟平台，并且刚出了Habitat 3.0版本。无奈新版本嘛，难免有各种各样的bug，刚好网上也找不到太多资料，于是我总结了habitat-lab开发库配置过程中遇到的一部分bug。一方面给自己总结记录，另一方面帮助大家避开一些坑。 Linux环境（配置Ubuntu 22.04 + GPU 3090） 笔者一开始是打算用自己的windows机器跑下实例代码，发现居然没法 conda install habitat-sim，看样子不支持windows环境。于是用linux服务器进行接下来的实验，参考habitat-lab的官方github主页进行安装。 创建conda环境 我们采用默认的conda安装方式，先执行 conda create -n habitat python=3.9 cmake=3.14.0conda activate habitat 配置底层模拟器 habitat-sim，也就是habitat-lab的核心模拟器。 ...

这篇文章深度解析了美国自然科学领域的一篇论文，《The development of embodied cognition: six lessons from babies》 ，其中的定义被 Meta 认为是目前火热的 "Embodied AI" (具身智能) 的官方定义。有趣的是，最近我还看到另一篇文章描述了人类的经验并不一定适用于机器，也就是 OpenAI 推崇的 《The Bitter Lesson》 。这两种观点都很值得参考借鉴。 “Embodied AI”的定义： 一种先进的人工智能类型，它通过与周围环境的互动来实现学习。这种AI不依赖于静态数据集（如ImageNet、COCO、VQA等），而是涉及具有物理或虚拟实体的智能系统（例如robots or trained assistants）的研究。 “Embodied AI”和“Internet AI”的区别： Embodied AI（实体化人工智能）: 实体化AI指的是那些具有物理实体的AI系统，比如机器人或者具有传感器和执行器的智能设备。 这类AI通过与现实世界直接互动来学习和适应。它们 ...

同步电脑端和手机端日历教程（基于Outlook邮箱） 电脑端配置 步骤1：应用栏搜索“日历”软件并打开 步骤2：登录Outlook邮箱（切记一定选择Office 365） 手机端配置 步骤1：打开电子邮件app 步骤2：登录Outlook邮箱（切记一定选择Exchange） 一定要勾选同步日历选项（默认是勾选了的），登陆成功就OK啦 手动同步 一般半分钟内会自动同步，如果同步延迟，可以进行手动同步。 电脑端 手机端 附录：日程管理Q&A 这篇博客灵感来自于我和GPT-4的对话，相信各位读者也可以借助GPT-4实现日程管理的私人定制。 起因：发现自己生活一团糟 Q：我早上很有精神，但是下午和晚上时常犯困。并且我经常感到失控或者做事匆忙。你有什么建议吗？ A：时间管理是一个常见的挑战，但有方法可以帮助您克服它。首先，让我们来看看您的日常时间安排，以找出改进的空间。 现状：已有的生活方式 Q：我目前的时间安排如下： 时间段 活动 7:30 AM 起床 7:45 AM ...

导航 这篇文章是 Transformer 完整版复现代码的深度解析。 本博客的 Transformer 系列文章共计四篇，导航如下： Transformer 零基础解析教程，从Encoder-Decoder架构说起（1/4） Transformer 零基础解析教程，剥洋葱般层层剖析内在原理（2/4） Transformer 零基础解析教程，牛刀小试Pytorch简易版攻略（3/4） Transformer 零基础解析教程，完整版代码最终挑战（4/4）本篇 前言 由哈佛的NLP组撰写的 The Annotated Transformer，用代码对应论文《Attention is all you need》的各个部分基本复现和还原了论文模型中初始版本的 Transformer，并给出了两个机器翻译的例子。而本文内容是在 The Annotated Transformer 的 Colab 版基础上，进一步精读 《Attention is all you need》中的 Transformer 结构和源码。作者之所以选择它进行解读，是因为它 ...

导航 这篇文章是基于 Pytorch 的 Transformer 简易版复现教程。 本博客的 Transformer 系列文章共计四篇，导航如下： Transformer 零基础解析教程，从Encoder-Decoder架构说起（1/4） Transformer 零基础解析教程，剥洋葱般层层剖析内在原理（2/4） Transformer 零基础解析教程，牛刀小试Pytorch简易版攻略（3/4）本篇 Transformer 零基础解析教程，完整版代码最终挑战（4/4） 前言 该教程代码初始来源于Jeff Jung，我阅读了一些博客和视频后做了大量的注释和修改，更加方便阅读和复现。 代码中为了加快可读性和运行速度，并没有用到大型的数据集，而是手动输入了两对中文→英语的句子，还有每个字的索引也是手动硬编码上去的，主要是为了降低代码执行速度和阅读难度，哪怕用普通的笔记本CPU也能在1分钟以内完成，从而方便读者把重点放到模型实现的部分！ # ======================================""&qu ...

导航 这篇文章是关于Transformer的原理详细解读。 本博客的 Transformer 系列文章共计四篇，导航如下： Transformer 零基础解析教程，从Encoder-Decoder架构说起（1/4） Transformer 零基础解析教程，剥洋葱般层层剖析内在原理（2/4）本篇 Transformer 零基础解析教程，牛刀小试Pytorch简易版攻略（3/4） Transformer 零基础解析教程，完整版代码最终挑战（4/4） Transformer之前的翻译模型 在Transformer之前，递归神经网络(RNN)一直是处理序列数据的首选方法，大家做机器翻译用的最多的就是基于RNN的Encoder-Decoder模型。 图1: RNN的工作方式 输入: 输入向量 \(\vec{x_t}\) (编码词) 隐藏状态向量 \(\vec{h_{t-1}}\)（包含当前块之前的序列状态) 输出： 输出向量 \(\vec{o_t}\) 权重： \({W}\)—— \(\vec{x_t}\) ...

CS231n Assignment 1 作业1分为五个部分：KNN、SVM、Softmax classifier、2层神经网络、Higher Level Representations: Image Features. 建议作业完成顺序： k近邻分类：knn.ipynb & k_nearest_neighbor.py svm线性分类：svm.ipynb & linear_svm.py & linear_classifier.py softmax线性分类：softmax.ipynb & softmax.py 两层神经网络：two_layer_net.ipynb & neural_net.py k-Nearest Neighbor (kNN) 在knn.ipynb中，调用了k_nearest_neighbor.py文件。 k近邻分类算法步骤如下介绍： 记住所有训练图像 计算测试图像与所有训练图像的距离（常用L2距离） 选择与测试图像距离最小的k张训练图像 计算这k张图像所对应的类别出现的次数，选择出现次数最多 ...

Transformer教程系列介绍 大模型的发展正在逐渐从单一模态数据输入向多模态数据输入演进，文本、语音、图像、视频等多模态的联合训练学习，不同模态之间形成有效互补，这将有助于提升模型的效果和泛化能力，为迈向通用人工智能奠定更加坚实的一步。而提到多模态的算法模型，就不得不提到大名鼎鼎的 Transformer。 2017年, Google研究团队发表了论文 《Attention Is All You Need》，Transformer横空出世，并很快成为自然语言处理(NLP)领域的标杆模型，如机器翻译及后续的BERT、GPT系列等NLP大模型。Transformer也被应用到计算机视觉(CV)领域，用于图像分类、物体检测、图像生成和视频处理等任务，代表性如DERT、ViT等。此外，Transforme也被应用到了语音领域(ASR)，用于语音识别、语音合成、语音增强和音乐生成等任务。此外，NLP、视觉和语音构成的多模态场景，也是近年来Transformer应用的热点方向，例如视觉问答、视觉常识推理、语音到文本翻译和文本到图像生成等。 本文主要讲解Transformer之前的 ...

我的项目经历--目录 软件编程项目 无人机集群电磁仿真设计 可上传私人文档的ChatGPT Python爬取国家统计数据 app制作与安全性分析 绕过认证系统实验 AI玩俄罗斯方块 手写数字识别GUI 弱监督条件下的点云语义理解 马里奥DIY版 简易版魔塔 疫情地图小程序 硬件控制项目 玩具狗的多种开关方式 GPS欺骗 基于Arduino的音乐播放器 软件编程项目 “具⾝智能”商超场景解决⽅案 2023.7 - 2023.11 描述： 我们通过以下步骤解决无人机集群的目标电磁特征数据的获取问题，提出了解决无人机集群问题目标检测的创新思路。 首先，以 "Gremlin "无人机为代表的典型单架固定翼无人机为例，基于多级快速多极法（MLFMM）进行电磁计算。然后，利用雷达散射截面（RCS）仿真数据和二维反合成孔径雷达（ISAR）成像来验证上述仿真结果的结果准确性。最后，我们对无人机集群的RCS模拟数据进行了模拟和验证。 用到的编程语言和软件工具有： （1）Solidworks -- 建立两类无人机的三维模型 （2）Fek ...

Python 爬虫爬取国家统计局数据 本次实验以爬取“国家统计局”首页中的【上海市城乡居民收支基本情况】为例，国家统计局其他页面的爬取方法大同小异 1.爬虫基本流程 发起请求：通过http/https库向目标站点发起请求，即发送一个request，请求可以包含额外的headers等信息，等待服务器响应 获取相应内容：如果服务器能正常响应，会得到一个response，response的内容便是所要获取的页面内容，类型可能有HTML，json字符串，二进制数据（如图片视频）等类型 解析内容：得到的内容可能是HTML，可以用正则表达式，网页解析库进行解析，可能是json，可以直接转为json对象，可能是二进制数据，可以做保存或者进一步的处理 （本次实验得到的解析内容是json） 保存数据：可以存为文本，也可以保存至数据库，或者特定格式的文件 2.打开网页并分析 国家统计局的网站很奇怪，明明是https却会告警不安全，首次打开界面如下（本人使用的是谷歌浏览器） 点击“高级”-“继续前往”，方可进入首页 选择“季度数据”-“分省季度数据” 选择“人民 ...