dataset

工程师和科学家们经常需要分析处理大量的数据。数据分析通常涵盖数据收集和管理，数据挖掘和分析，以及数据建模和仿真等工作。为了减少分析和理解这些数据所需要的时间，他们常常需要快速探究和可视化数据的能力，以及开发面向他们特定应用的定制化程序的灵活性

记得刚开始在写程式时公司是用VB那时LINQ刚出，于是就用了LINQ+ ADO.NET Entity Framework ，一开始也是相当不顺，但用久就习惯了。 后来也有人问我说用VB写LINQ语法不会卡卡的吗，我到觉得用ADO.NET Entity Framework 才会卡卡因为必需规划的很详细，不然很麻烦，所以后来我都用Datatable，可能在自由度会比较高，但是如果自己打错字就完了。 后来常会遇到有些相当麻烦的语法，想起了LINQ相当好用于是找了LINQ来搭配Datatable(当然dataset也可)，解决了许多已经捞出资料后做处理的问题，我觉得只要搭配的好不一定真的要用全新的功能，所以以下源代码给大家参考使用，当然里面只是小部分而且写法也可多变，只是让我自己在忘记时能快速查到使用方式

Spark读取文本文件并转换为DataFrame Spark ML里的核心API已经由基于RDD换成了基于DataFrame，为了使读取到的值成为DataFrame类型，我们可以直接使用读取CSV的方式来读取文本文件，可问题来了，当文本文件中每一行的各个数据被不定数目的空格所隔开时，我们无法将这些不定数目的空格当作CSV文件的分隔符（因为Spark 基于Spark的学生成绩分析系统 本文是本人硕士期间云计算课程的一次大作业，所以可能部分内容有充字数的嫌疑，还望各位看官无视。 Spark RDD的简单使用 RDD(Resilient Distributed Dataset)即弹性分布式数据集。RDD是Spark的核心，在Spark中，对数据的所有操作不外乎创建RDD、转化已有RDD以及调用RDD操作进行求值

作为.NET框架最重要的组件之一，ADO.NET扮演着应用程序与数据交互的重要的角色。本文将从宏观的角度来探讨ADO.NET，和大家一起了解ADO.NET来龙去脉以及ADO.NET的主要组成部分。 简单的讲，ADO.NET是一组允许.NET开发人员使用标准的，结构化的，甚至无连接的方式与数据交互的技术

初探 FFMPEG 视频转高质量 GIF 探索如何利用 ffmpeg 将视频转换为高质量 gif 文件 即画质足够清晰 同时文件在可接受范围. 多图警告⚠️ 本篇笔记主要总结了如何在 TensorFlow 如何构建高效的 Input Pipeline，目的是协调 CPU 文件预处理和 GPU 模型计算之间的调度，尽最大限度发挥 GPU 算力。其中涉及到 TFRecord 文件的读写，tf.image 模块对图像的处理，以及版本 1.4 前使用的生产者/消费者多线程文件读写流程，和 1.4 后官方主推的 Dataset 处理方式。后者已经开始逐步支持 eager 模式

从 AI 人工智能的应用面来说，我一向认为，台湾在医疗和教育培训方面的机会很大，因为台湾有很好的医疗人才和先进的医疗科技，在教育方面，也有很多的补教业者和培训机构，在场域的导入应用与 Dataset 方面，都有很好的基础。 在人工智能+教育方面的应用，目前国际上比较常用的词是 AI in Education，一般简称为 “AiED”。以中国大陆的人工智能发展来说，对于教育方面的关注度也是很高的，近期亿欧就出版了一份 “2018 人工智能附能教育产业研究报告”，对于 AiED 在中国大陆的发展现况与趋势，说明的非常清楚，对于 AiED 有兴趣的朋友，可以花点时间读一读….. 人工智能与教育的融合一直是备受关注的一个领域

谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。 首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同

工研院研发的“深度学习训练系统”让使用者在X86机器上可进行深度学习训练，达成dataset management、neural network management、DNN training monitoring 等工作。深度学习的训练仰赖高度平行运算来处理大量数据资料的训练，除了利用GPU的高效能多核心的运算处理，结合“深度学习训练系统”所搭载的深度学习框架(DNN Frameworks)以及提升效能训练的进阶功能，像是深度学习超参数自动调整、储存设备与内存之间高速资料流动等技术，提供深度学习模型开发者一个方便且有效率的深度学习训练环境，缩短训练时程同时依旧维持高准确度。 使用者可以透过DNN Training Appliance的系统软件堆叠，缩短深度学习训练时间、弹性并扩充使用多元深度学习资源、监控深度学习训练过程并进行分析及修正，借此改善使用者所需要的深度学习neural netwok

这篇 paper 将问题定义在 CLEVER dataset 与调整过的 Sort-of-CLEVER dataset 上面，要根据图片回答一个关于照片中物体间关联性的问题。架构上由三大 component 所组成，使用一个 CNN 与一个 LSTM 分别对图片与文字做资讯提取，并根据提取的资讯在 RN 中进行关系推理、输出最终推论结果。 而下式就是 RN 最简单的函示型态： 如上式， RN 考量的是“所有”物件对 (pair) 之间的 relation ，这代表着 RN 并不是聚焦于推论某一特定 relation 的存在性或意义， RN学习的是综合所有 relation ，推论所有 relation 的存在性与意涵

人工智能（AI）的发展，对各行各业影响深远，然而，经常见到AI专家的文章，都提到不易请到AI专才。有老板说要在香港请一个数据科学家（Data Scientist），难过登天，就算只是请一个对数据分析有点认识的，薪金也极高。主要原因，在于真正的AI人才，需要非常杰出的技术和沟通能力，才能帮助企业赚钱