智能互动录播直播系统解决方案

一、方案介绍

朗森智能科技公司的智慧多功能室录播系统要求：采用多机位拍摄方式，分别为老师全景、老师特写、学生全景、学生特写、板书特写，系统支持摄像机的增加，且无需额外增加其它软硬件设备，录制的视频可自动上传到教育局的视频应用云平台,可支持后期全区新增录播教室的无缝对接，最大限度的利用现有资源，减少重复建设。采用先进的学生单镜头图像识别定位跟踪技术和导播系统实行教师教学活动和师生互动的自动拍摄，自动生成专业的高清本地视频和网络视频文件。交互录播主机同时兼顾常态化全自动录制和互动教学功能，支持交互录播主机进行录播模式和互动模式的切换。互动模式下，可通过导播系统实现对本地摄像机画面、电脑画面、三个远端教室学生画面的实时预览和布局自由组合控制，并输出到远端互动点。

 1.11设计原则

充分利用有限的投资，在保证录播教室先进性的前提下，选用性能价格比最好的设备。

先进性

 一台设备即可完成视频录制、直播、点播、互动、编辑等操作；采用最新的电子云镜方案，两台枪机即可实现老师特写、老师全景、学生特写、学生全景四路画面的切换。

深途课堂评价系统无需师生佩戴任何检测设备，在不影响课堂教学的情况下，对课堂教学基础数据进行采集和即时分析。在系统后台量化表现出教师的活动行为、学生的活跃动态。

标准化和开放化

视频格式采用H.264国际标准编码格式，录播教室按照国际化建造应用最新的布线方法，根据现有的设备进行合理配套，使得新老设备均能正常使用，为了今后的发展事先预留出应用端口及软硬件升级换代，提供了开放性的解决方案。

可靠性和可用性

选用高可靠的产品和技术，充分考虑系统在程序运行时的应变能力和容错能力，确保整个系统的安全和可靠

灵活性和兼容性

选用符合国际发展潮流的国际标准的软硬件技术，设备选型考虑多用途，不同的视频设备及原有设备提供良好的兼容性

实用性和经济性

从使用性和经济性出发，着眼于近期目标和长期的发展，选用先进的设备，进行最佳性能组合，利用有限的投资构造一个性能最佳的多功能录播系统

扩展性和升级能力

录播设备具有良好的扩展性和升级能力，选用具有良好升级能力和可扩展洗的设备；支持多种视频格式、多种接口设备和多媒体的实际应用。

1.2建设必要性

l  教育课程的录制和编辑；

l  搭建实时和非实时的远程互动教学系统；

l  通过网络可进行大面积的教学直播课程，缓解师资压力；

l  数字化存储优秀教师的教学成果；

l  方便建立课件管理及点播系统；

l  建设课堂评价系统，对课堂行为做深入大数据分析，对教学管理提供有力数据支撑。

二、系统设计

2.1、系统组成

朗森智能录播系统分为精品录播教室和常态化互动录播教室，系统主要由互动录播一体机、智能导播软件、智能图像分析模块、视频采集、高清摄像机、音频采集设备及集中控制管理软件、资源管理平台软件、互动平台软件、课堂评价系统等构成。

精品互动录播拓扑图：

2.2、特色功能

同步录制

系统可将本地音视频、远端音视频及本地计算机屏幕同步录制到单个文件中，亦可单独录制成多个文件。支持多路信号任意组合，最高支持四路网络信号、四路互动信号、一路高清信号任意组合录制。支持三种模式切换：多流多画面、单流单画面及单流多画面。在多流多画面录制模式下，支持5画面同步录制；在单流单画面模式下，支持4选1的导播切换；在单流多画面模式下，支持画中画、双分屏、三分屏、多分屏画面同步录制。

实时直播

系统可通过网络将现场的视频、音频及计算机屏幕进行实时直播，支持RTMP/RTSP/TS三种不同类型的直播；支持RTMP/TS同时进行直播；单机支持200路以上并发，资源平台或学校自有平台均可调用直播链接，进行大规模直播讲堂。

实时互动

系统既可实现局域网内多点互动，延时1秒以内；亦可在广域网内实现多点互动功能，延时1秒左右；无需增加任何终端设备，真正实现录播、互动一体化。

全自动无障碍考勤

通过与数据库中学生原始数据进行比对，将识别出的人脸进行一一标注。即可对并未上课的同学进行缺勤记录。按课表时间进行自动考勤 ，系统按日进行考勤记录与显示 。任课老师显示授课考勤情况，学生按日期显示缺勤情况。

整体课堂活跃度分析

根据课堂教学行为的整体数据图形化统计，可以了解课堂教学行为的大概行为。如教师教学风格倾向，学生行为整体分布均衡性、离散情况等。图形化数据，即可一目了然。了解课堂整体时长、老师言语互动的大致课堂占比、学生言语互动的大致课堂占比、老师在课堂中多媒体的使用占比。从图形上了解整体课堂活跃情况。

学生课堂活跃度

评价系统关注学生在课堂中最基本的互动行为，进行一一甄别与分析。基于学生在课堂上师生互动、生生互动、上台答题等行为进行标注与记录，对某些特点时间点的运作进行截图记录。

大数据统计

平台基于班级、教室、老师、学生等多维度分析，支持输出不同类型数据报表。方便学校督学、督教。通过 对整体课堂教学行为的比较分析、挖掘课堂教学行为差异的隐含因素，帮助督导层发现课堂中的问题，完善教学督导的同时，从不同维度反映老师的课堂教学能力与学生的行为评价。不局限于单个教室、单个班级、单个老师、单个学生、对教学研究、学生行为研究、提供跟踪观察与比较分析数据。

设备精简

录播教室只需要一台11.6寸触控录播主机，加两个4K电子云台摄像机和一只全向麦即可实现4机位录播场景的拍摄，教室内无需繁杂的布线和设备。

智能、灵活的自动跟踪

系统采用智能图像分析算法，无须佩带特殊物品或领夹话筒即可实现主讲教师及学生的图像识别跟踪，支持多种策略设定及多种区域划分，满足不同应用场合的需要。无需工作人员的配合，即可实现多视频的全自动跟踪拍摄。

内置POE交换机

录播主机提供4个千兆网口，并且网口都支持POE供电，摄像机直连录播主机即可，无需另配POE交换机，一根网线即可完成视频传输、供电、指令传输等多种功能。

人性化在线导播

系统可支持网络、本地的人工在线导播方式。管理员通过网络登陆WEB远程导播界面、VGA输出的本地导播画面及专用桌面操作面板的形式，即可对现场的主讲视频、听众视频及主讲电脑屏幕中进行在线监看及导播切换

在线微课剪辑系统

系统内嵌简易微课剪辑系统，通过WEB远程导播系统可直接对录制好的视频进行简单的编辑，无需安装任何插件

三、系统详细介绍

3.1、系统整体模块介绍

3.1.1、录播系统

朗森智能录播主机采用一体化硬件设计，稳定可靠、操作便捷，同时集数据采集、视音频编码、导播软件内嵌、数据处理发布、存储、管理等功能于一体。

录播系统包含多个功能模块：录播管理模块、流媒体直播应用模块、点播应用模块、导播应用模块、流媒体编辑模块、资源管理模块、实时视音频互动模块等。通过各功能模块的应用实现智能导播、直播、点播、控制、互动、编辑及系统综合管理等。

3.1.1.1、高清图像采集模块

系统采用两台4K电子云镜枪机及录播主机组成图像拍摄和信号采集，两台摄像机即可实现4画面拍摄。录播主机对4路摄像机拍摄画面同时采集、编码，通过导播应用处理，生成用于直播和点播的流媒体信号。

3.1.1.2、导播控制应用模块

朗森智能实时导播软件内嵌于录播系统中，无需安装任何插件，开机即用；导播平台将多路RTSP网络流、VGA信号输入及输出监视画面集中显示，实现视频监视、切换、云台控制、录制/暂停、直播等功能

导播控制界面直观、简洁、明了。上方图像为直播输出及预监画面；下面分别为本地摄像机信号、远端互动信号、本地VGA信号。通过鼠标即可完成录播系统功能操作。输出图像流畅平滑，无抖动、花屏等现象，切换过程无缝，衔接自然，支持淡入淡出等14中转场特效，支持单分屏、双分屏、画中画、多分屏等多种页面显示效果，支持自定义页面布局，支持一键应用标题、字幕、片头片尾的OSD信息，支持鼠标拖动字幕位置。

3.1.1.3、视频录制模块

系统支持自定义录制格式，FLV/MP4可选，支持电影模式和资源模式同步录制，生成多个视频文件，支持单流单画面、单流多画面、多流多画面同步录制，支持自动清理磁盘文件。

3.1.1.4、课堂直播应用模块

1.  现场直播，授课教师在讲课的同时，局域网内用户登录到录播主机上，即可观看授课教师的直播课堂内容。

2.  直播并发，即采用转发服务器实时直播并发，可减少录播主机对外直播的负担，并保证视频实时性和直播转发的稳定可靠，达到多点同时收看视频的效果。

系统内置小型流媒体直播服务器，单机并发最大支持200路，同时支持RTMP、TS、RTSP直播流地址进行直播推送。

3.1.1.5、实时互动模块

朗森智能互动录播系统内嵌实时互动系统，无需外置MCU互动终端，即可实现本地/远端双向音视频互动应用。

互动系统最大支持一拖四实时互动教学，即一间主讲带四间听讲；任意互动教室都可做为主讲或听讲，延时小于1s。

3.1.1.6、系统管理模块

朗森智能后台管理模块基于B/S架构，使用浏览器即可实现直播管理、点播管理、互动管理、视频编辑、用户权限管理等功能。

3.1.1.7、课堂评价系统

人脸识别做为生物识别技术的一种，由于其无侵害性和对用户最自然、直观，成为最容易被授受的生物特征识别方式。

评价系统结合现有教学走班考勤需求、摒弃人脸考勤机逐一识别时间长无法广泛应用。研发基于超小像素人脸识别技术,针对课堂中的教学个体进行实时甄别，达到不扰乱教学，考勤不耗时的目的。

3.1.2、智能图像识别跟踪系统

 先进的光流轨迹算法 智能跟踪4.0

系统核心算法采用人体行为识别光流轨迹理论，结合稀疏编码算法，模拟人体视网膜对光的流迹感应，大幅度提升机器视觉的准确率，跟踪效果更加精准。

高精度背景建模 全新侦测技术

以800万高清摄像机图像分析为依据，采用多种先进算法融合，采用全息图像建模分析技术，自动探测、分析、驱动跟踪多个运动目标，实现对教学主体的准确跟踪，教学行为的全景与特写完美呈现。

 基于DSP的目标实时处理和跟踪

采用高速浮点的DSP芯片，基于阀值分割与边缘检测的对象轮廓提取算法，来模拟目标的实时跟踪，可以在实际应用中满足实时性的要求，跟踪性能优越。

 基于神经网络的目标跟踪

利用多方向递归神经网络来建立分析模型和挖掘对整体跟踪有用的可靠信息，解决预测误差累积和跟踪漂移问题。

3.1.3、音频拾取及声音处理系统

音频系统为实现课堂现场拾音、处理、合成及输出工作，教师、学生上课无需佩戴任何辅助工具，在教室的每一个角落发言，系统均能讲声音捕捉拾取并传输到数字音频处理系统中。数字音频处理系统内置音频矩阵、扩展器、噪声门、均衡器、压缩器、混音器、回声抑制、反馈抑制器、噪声抑制器、电频表等模块，具有强大的音频处理能力，并大大地减少了外围设备。除了能完成最基本的音频处理功能外，并具有自己独有的场景管理等功能特点。

系统中使用数字音频处理器可针对不同使用功能的声学特性要求场景（如单独录课模式、多媒体互动模式、大教室扩声模式等）编辑存储，根据现场使用情况选择与之符合的声场模式，保证了兼容性，从而达到良好的声音效果，具体表现为：

l  提高语音清晰度和可懂度，以使讲话的每个词都十分清楚；

l  声场均匀分布，对所有座位要有均匀的响度；

l  对要有稳定的系统频率响应和均匀的音色；

l  保证声音的真实感，使语言和音乐有舒适空间，得到真实的表现。

3.2、主要设备

3.2.1、录播主机

朗森智能互动录播主机，是一款功能齐全的录制、直播和互动设备，具有同步录制、实时导播、实时直播、在线点播、在线编辑、自动跟踪等多种功能；全部功能集中在一台设备内，通过11.6寸触摸显示器和IE访问的方式皆可直接进行管理。

主机采用一体化硬件设计，嵌入式系统，结构精简，集数据采集、数据处理发布、互动、管理于一体；壁挂式触控面板设计，采用了优化处理，进一步提升了系统的处理能力；嵌入式系统设计稳定可靠、性能优越，局域网内电脑均能通过浏览器访问，更显人性化设计。数据采集采用了模块化设计，专业DSP硬件采集芯片，对RTSP网络信号、VGA信号进行采集、编码。

方案特点

l  教室设备较少，布线简单；

l  教室设备集中化管理；

l  对装修环境要求较低，普通教室即可部署、适应范围广；

l  使用简单，可实现常态化互动教学应用，维护较少；

l  大规模录播部署、常态化录播建设等。

资源管理平台，立足全校教育资源整合，以前端各录播教室为基础建设，支持在教育网、互联网环境下高清晰度教学资源传播，实现大规模教学考研活动，高清教学资源点播，以促进基础教育数字化教学资源的共建共享，形成覆盖本校的教学资源管理应用体系。

朗森智能集中控制系统采用BS架构设计，用户可通过局域网内任意电脑访问，便于用户对多间录播教室统一管理，深途集中控制系统可对各个教室的录播设备进行统一控制，能实现对各个教室的录播系统进行远程启动、停止，实时监看、远程录制等操作，达成监控、录播一体化

（一）实时巡课：

以教室为单位,实时监看每个教室的主画面，单个监看页面可同时监看不少于16间教室；

（二）管理控制

1.录播教室管理，可以任意添加教室，分级目录展示，如：目录以市-->区、县-->学校-->班级等无限极分类；

2.教室列表支持树型结构排列，显示总共接入的教室间数，单个教室显示直播画面、教室名称，并可显示录播主机IP、主机序列号等信息；

（三）远程设备管理

1.远程开关机，支持批量开关也可支持单个开关；

2.远程控制，支持单间教室的远程控制，如远程导播，录制，云台控制等；

3.可查看录播教室各种状态（远程控制、正在远程访问、未开机）；

4.具可通过直播画面实时监看使用状态下（录播教室开机）的录播教室；

5.支持远程进入录播主机导播界面，实现单个教室的录制导播功能。