ImageNet
ImageNet是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家李飞飞模拟人类的识别系统建立的。能够从图片识别物体。目前已经包含14197122张图像，是已知的最大的图像数据库。每年的ImageNet大赛更是魂萦梦牵着国内外各个名校和大型IT公司以及网络巨头的心。图像如下图所示，需要注册ImageNet帐号才可以下载，下载链接为http://www.image-net.org/
分类： 神经网络
语音识别商用开源代码与免费开放平台最全盘点分析
声学在线前几日盘点了语音识别业界相关的公司和技术，引起了众多朋友的关注。不少朋友都在咨询声学在线关于技术细节问题，因此，我们打算春节期间连续发布几篇深度文章，希望从语音识别领域的公司、技术、算法和专利的层面解读出语音识别的产生、发展、应用与瓶颈，以此提供给相关行业的朋友们作为参考。
目前朋友们最关心的就是当前有哪些语音识别开放平台，显然大家更担心被某个平台所绑架。为了促进语音识别的行业发展，我们更深入一步，不仅盘点当前的商业开放平台，也把这个领域的开源代码详细盘点一番，让更多的朋友了解这个行业。
语音识别领域的商用开源代码盘点
语音识别是一门交叉学科，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。但是随着深度学习技术的发展，云端的语音识别更多的偏向于计算机技术。显然，从事计算机技术研究的人员更加众多，这也是语音识别的快速发展的基础，因而也形成了语音识别的开源代码要比开放平台更多的现象。
提到语音识别的开源代码，首先就要提到三个非常著名的开源平台，即Kaldi、CMU Sphinx和Julius。笔者大概按其重要性做了以下排名，Sphinx、HTK之类曾经很红火，但是确实也有点太老了。而Kaldi是Apache licence，完全可以商用，美国和中国很多公司都是直接修改Kaldi生成的语音识别引擎。另外，很多巨头公司内部研究部门也是在用Kaldi做研发，关于这些欢迎留言讨论。
ROCm：AMD系开源HPC/超规模GPU计算/深度学习平台
ROCm的英文全称Radeon Open Compute platform，它是AMD在去年12月推出的一款开源GPU运算平台，目前已经发展到了1.3版本。MIOpen则是AMD为此开发的软件库，其作用是将程序设计语言和ROCm平台连接，以充分利用GCN架构。
本次发布的版本包括以下内容:
- 深度卷积解算器针对前向和后向传播进行了优化
- 包括Winograd和FFT转换在内的优化卷积
- 优化GEMM深入学习
- Pooling、Softmax、Activations、梯度算法的批量标准化和LR规范化
- MIOpen将数据描述为4-D张量 - Tensors 4D NCHW格式
- 支持OpenCL和HIP的框架API
- MIOpen驱动程序可以测试MIOpen中任何特定图层的向前/向后网络
- 二进制包增加了对Ubuntu 16.04和Fedora 24的支持
- 源代码位于https://github.com/ROCmSoftwarePlatform/MIOpen
- 参考文档
卷积神经网络CNN总结
卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。
「一图看懂」计算机视觉识别简史：从AlexNet ResNet到Mask RCNN
最近，物体识别已经成为计算机视觉和AI最令人激动的领域之一。即时地识别出场景中所有的物体的能力似乎已经不再是秘密。随着卷积神经网络架构的发展，以及大型训练数据集和高级计算技术的支持，计算机现在可以在某些特定设置（例如人脸识别）的任务中超越人类的识别能力。
Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
目前为止发现的性能最好，效果最好的人脸探测以及对齐的论文就是MTCNN了。
完整论文如下
继续阅读Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks
Ubuntu 16.04开启dlib对于AVX或者CUDA的支持
最近在使用openface来测试人脸识别，实际过程中发现识别速度非常缓慢，平均每帧的识别速度达到了秒级水平，这个是不可接受的。跟踪代码性能，发现是dlib部分非常缓慢。
根据dlib的文档，默认使用
|
1 |
$ sudo pip install dlib |
安装的dlib库，由于对具体硬件的要求（CPU需要支持AVX指令集），是没有开启AVX指令加速的，另外由于显卡的要求，也是默认不开启CUDA的支持。
如果想要开启这部分加速，需要手工编译安装才可以，具体操作如下：
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
$ cd ~ $ mkdir dlib $ sudo pip download dlib $ tar -zxvf tar -zxvf dlib-*.tar.gz $ cd dlib* #安装依赖的库 $ sudo apt-get -y install libopenblas-dev #移除我们以前安装过的dlib $ sudo pip uninstall dlib #开启AVX指令集支持 $ sudo python setup.py install --yes USE_AVX_INSTRUCTIONS |
上面的命令是使用AVX指令加速功能的，如果机器上安装了CUDA，则需要正确安装cuDNN 5.0以上的版本，否在编译的时候会报告
|
1 2 3 4 |
-- Checking if you have the right version of cuDNN installed. -- *** Found cuDNN, but it looks like the wrong version so dlib will not use it. *** -- *** cuDNN V5.0 OR GREATER NOT FOUND. DLIB WILL NOT USE CUDA. *** -- *** If you have cuDNN then set CMAKE_PREFIX_PATH to include cuDNN's folder. |
对于使用
|
1 |
$ sudo apt install nvidia-cuda-toolkit |
安装的CUDA-7.5来说,可以从这里下载cuDNN v6.0 (April 27, 2017), for CUDA 7.5，下载完成后，整个目录中的include目录中的文件解压缩到/usr/local/include/目录下，lib64目录中的内容整个解压缩到/usr/lib/目录下,并且在/usr/local/lib/目录下建立libcudnn.so的软链接
|
1 |
$ sudo ln -s /usr/lib/libcudnn.so /usr/local/lib/libcudnn.so |
都配置正确后，使用如下编译命令安装：
|
1 |
$ sudo python setup.py install --yes DLIB_USE_CUDA |
参考链接
Easily Create High Quality Object Detectors with Deep Learning
执行"luarocks install cutorch"发生错误"error: implicit declaration of function 'THLongStorage_calculateExpandGeometry'"
执行
|
1 |
$ luarocks install cutorch |
发生如下错误:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
[ 88%] Building C object lib/THC/CMakeFiles/THC.dir/THCStorageCopy.c.o In file included from generic/THCTensor.c:1:0, from /tmp/luarocks_cutorch-scm-1-8069/cutorch/lib/THC/THCGenerateAllTypes.h:17, from /tmp/luarocks_cutorch-scm-1-8069/cutorch/lib/THC/THCTensor.c:7: /tmp/luarocks_cutorch-scm-1-8069/cutorch/lib/THC/generic/THCTensor.c: In function ‘THCudaByteTensor_newExpand’: /tmp/luarocks_cutorch-scm-1-8069/cutorch/lib/THC/generic/THCTensor.c:304:3: error: implicit declaration of function ‘THLongStorage_calculateExpandGeometry’ [-Werror=implicit-function-declaration] THLongStorage_calculateExpandGeometry(tensor->size, ^ [ 90%] Building C object lib/THC/CMakeFiles/THC.dir/THCThreadLocal.c.o cc1: some warnings being treated as errors lib/THC/CMakeFiles/THC.dir/build.make:686: recipe for target 'lib/THC/CMakeFiles/THC.dir/THCTensor.c.o' failed make[2]: *** [lib/THC/CMakeFiles/THC.dir/THCTensor.c.o] Error 1 CMakeFiles/Makefile2:172: recipe for target 'lib/THC/CMakeFiles/THC.dir/all' failed make[1]: *** [lib/THC/CMakeFiles/THC.dir/all] Error 2 Makefile:127: recipe for target 'all' failed make: *** [all] Error 2 Error: Build error: Failed building. |
解决方法为：
|
1 2 |
$ luarocks install torch $ luarocks install cutorch |
参考链接
error: implicit declaration of function ‘THLongStorage_calculateExpandGeometry’
编译Torch 7时遇到错误"make[2]: *** [lib/THNN/CMakeFiles/THNN.dir/init.c.o] Error 1"
编译Torch 7时执行
|
1 |
$ sudo luarocks install nn |
遇到如下错误信息:
|
1 |
make[2]: *** [lib/THNN/CMakeFiles/THNN.dir/init.c.o] Error |
原因是缺少依赖包torch导致的，在安装nn之前需要先安装torch即可解决问题。
如下方式执行:
|
1 2 |
$ sudo luarocks install torch $ sudo luarocks install nn |
参考链接
编译Torch 7时执行luarocks install提示"Error: No results matching query were found."
编译Torch 7时执行luarocks install 提示错误信息：
|
1 |
Error: No results matching query were found. |
这个是由于系统上安装了多个luarocks而执行安装命令的并不是Torch 7代码目录下自带的luarocks导致的。
修正的办法就是设置搜索路径，把Torch 7代码目录下的install/bin/放到搜索目录（PATH）的最前面。
参考链接
luarocks install *错误之Error: No results matching query were found.