EL LATIDO:
Inicio » Creación de contenidos » Caringo SWARM - Una plataforma de almacenamiento para producción, distribución y colaboración a escala masiva

Caringo SWARM - Una plataforma de almacenamiento para producción, distribución y colaboración a escala masiva


Alertame

Los desafíos para la inmediatez
El abrumador acceso a los medios bajo demanda, en cualquier momento y en cualquier lugar a través de banda ancha de Internet, dispositivos de mano, servicios de transmisión por secuencias, televisión inteligente y dispositivos IoT (Internet de las cosas) en evolución ha cambiado para siempre el tiempo de comercialización y el modelo de monetización para proveedores de contenido. OTT (over-the-top) proveedores de servicios, compañías de cable, broadcasters, proveedores de medios de transmisión, operadores y similares. Todas las compañías que forman parte de la cadena de creación de contenido-agregación-a-entrega se enfrentan al desafío creciente de entregar de forma transparente y eficiente contenido de alta calidad, listo para entrega, basado en archivos en múltiples formatos de archivos a través de una gran cantidad de plataformas de medios y puntos de venta a destinos globales específicos de la manera más rápida posible, al tiempo que garantiza su calidad y seguridad, y reduce continuamente el intervalo de tiempo entre dispositivos. Además, con presupuestos ajustados, muchos proveedores de contenido vuelven a trabajar en casa mientras presionan a los proveedores de servicios de postproducción para tiempos de flujo de trabajo más rápidos (los espectadores esperan "acceso inmediato") imponiendo una carga adicional a los proveedores de servicios que ya enfrentan la consolidación de la industria.

Actualmente, cada organización de M & E busca agilizar los procesos mientras reduce los costos de CapEx y OpEx. Los clientes presionan a las casas de correos para que almacenen el contenido del cliente sin costo o por una tarifa nominal, y para proporcionar acceso inmediato y entrega de activos digitales. Como resultado, uno de los principales componentes de costos en curso con el que las empresas están luchando es el almacenamiento, la administración y la disponibilidad de activos digitales a lo largo de su ciclo de vida, a pesar del aumento exponencial de los activos y el tamaño de los archivos. Además de aumentar continuamente la capacidad de almacenamiento y su administración, las empresas también deben abordar los aumentos en la huella del centro de datos, la complejidad de la infraestructura, el aire acondicionado y el uso de la energía y muchas otras implicaciones.

Entonces, ¿puede gestionar la expectativa de almacenamiento gratuito cuando su presupuesto está bajo ataque y los márgenes ya están comprimidos? ¿Puede proporcionar una búsqueda segura y acceso inmediato para sus clientes? ¿Puede convertir su dilema de almacenamiento en una ventaja competitiva? La respuesta es un rotundo "SÍ" a las tres preguntas. Para entender por qué, el destacado de la compañía de este mes se centra en Caringa, un pionero en el espacio de almacenamiento de objetos desde 2005, y una de las principales plataformas de almacenamiento de objetos y titulares de nubes en el panorama de Media & Entertainment (M & E).

Quien es Caringo?
Caringo es un proveedor líder de software de almacenamiento de objetos que brinda a los usuarios control sobre cualquier volumen, flujo o tamaño de datos no estructurados; reduciendo significativamente el costo de propiedad, mientras se extrae el máximo valor y rendimiento del hardware. Producto estrella de Caringo, enjambre, elimina la necesidad de migrar datos en soluciones dispares para la protección y preservación de datos a largo plazo, administración, organización y búsqueda a gran escala. Estos beneficios se entregan a través de la arquitectura simétrica de Swarm que permite una escalabilidad masiva, protección de contenido elástico y automatización de la administración. El resultado es una plataforma de software de almacenamiento de objetos que es ideal para flujos de trabajo actuales y futuros en la industria de M & E.

Antes de continuar, retrocedamos el tiempo para apreciar mejor la importancia de compañías como Caringo y los beneficios de las arquitecturas de almacenamiento de objetos para la industria de M & E.

La evolución de Caringo y el "momento Aha"
Caringo fue concebido por Jonathan Ring, Paul Carpentier y Mark Goros, quienes habían trabajado juntos en compañías de construcción anteriores. Paul Carpentier, el fundador del almacenamiento de contenido direccionable, vendió FilePool a EMC, que construyó una familia propietaria de dispositivos de hardware llamada EMC Centera (direccionable por contenido). almacen (CAS) plataforma para el archivo de datos, introducida alrededor de 2003).

En ese momento, los servidores basados ​​en productos básicos tenían una amplia base y el costo del espacio en disco bruto por gigabyte bajaba rápidamente. Además, los antiguos proveedores de servidores de archivos heredados estaban anclados con sistemas que no podían escalar fácilmente a petabytes y más allá sin crear silos de almacenamiento separados. Fue entonces cuando el equipo fundador de Caringo reconoció que llegaría un momento en que el Software-Defined Storage (SDS) basado en productos básicos, en el futuro cercano, dominaría el mercado. Además, previeron la necesidad de un espacio abierto, Sosegado el acceso a Almacenamiento definida por software en la tecnología de servidor comoditized. Como resultado, se formó Caringo en 2005 y se creó el primer almacenamiento real definido por software o nube de almacenamiento privado.

"Sabíamos que el mercado de Software Defined Storage / Cloud Storage llevaría tiempo construir y evolucionar el mercado, por lo que nos enfocamos en el uso eficiente del capital para construir la mejor tecnología en el mercado", dijo Jonathan Ring, CEO y Co de Caringo. -Fundador. "Nos hemos centrado en hacer crecer a la empresa a través de la colaboración con los clientes para crear un producto centrado en el cliente y centrado en el cliente que ha dado como resultado una base de clientes global muy leal y satisfecha. Además, nuestras soluciones tienen un precio basado en la capacidad consumida por los datos originales (sin costo adicional para las replicaciones para garantizar la disponibilidad y protección) ya sea como una licencia perpetua con soporte anual o mediante suscripción anual ".

Hoy, la validación de Caringo de su visión y filosofía es su creciente base de clientes que incluye iQ Media, Sony ImageWorks, Texas Tech University Systems, NEP, el Departamento de Defensa, el Sistema Federal de Tribunales de Brasil, la Ciudad de Austin, Telefónica, British Telecom, Ask.com, La Universidad Johns Hopkins y cientos más en todo el mundo.

Cabe señalar que, a diferencia de Caringo, muchos en el espacio de almacenamiento de objetos tomaron varios atajos en el desarrollo de su tecnología. La mayor de ellas es basar su oferta de almacenamiento de objetos sobre el sistema de archivos Linux (el sistema de archivos basado en inode resulta en mayor complejidad, sobrecarga innecesaria y riesgo de pérdida de datos). La implementación eficiente de Caringo deja 95% de capacidad de disco al usuario frente a solo 80% para soluciones de la competencia.

Problemas que resuelve el almacenamiento de objetos de Caringo
La tecnología de almacenamiento de objetos resuelve algunos de los principales cuellos de botella en la industria de M & E almacenando y administrando de manera inteligente y económica el aumento exponencial en el ciclo de vida de los datos (piense en activos de larga cola, cientos a decenas de miles de archivos de datos operativos por película, originales / duplicar / versionar activos de archivo, etc.) para la protección de datos a largo plazo. Caringo Swarm resuelve los problemas asociados con la entrega, organización y suministro de escalado horizontal y almacenamiento a largo plazo para grandes bibliotecas de medios. Swarm es ideal para aplicaciones pequeñas y grandes, ya sea que sea un productor de contenido que busque una forma de habilitar OTT y almacenamiento de origen, una propiedad web que busque reducir la latencia para sus aplicaciones de medios basadas en web o una productora que busque optimizar video flujo de trabajo de almacenamiento compartido. Las organizaciones de M & E que incluyen estudios, productoras, transmisoras y proveedores de servicios ahora pueden almacenar lo que necesitan, garantizar la integridad de los medios y mantener activos en línea y accesibles para su reutilización y monetización.

Ampliando lo anterior, podemos ver cuatro áreas donde Swarm puede beneficiar a esta industria:

  1. Archivo activo, colaboración y consolidación en varios sitios: En el vertiginoso entorno de transmisión y publicación en tiempo real, los activos deben permanecer disponibles para su reutilización y colaboración continua. Los archivos escritos a través de NFS, HTTP o S3 son accesibles, editables e inmediatamente recuperables a través de cualquier otro protocolo. La replicación sincrónica sobre LAN y la replicación asincrónica a través de WAN proporcionan una recuperación de desastres sin gestión. Para los activos más fríos como los episodios de cola larga, los usuarios pueden usar el Darkive patentado de Caringo para reducir las unidades y reducir el uso de CPU, acercándose al bajo TCO de cinta.
  2. Origin Storage y OTT Enablement: Accesible de forma nativa a través de HTTP, Swarm es ideal para el almacenamiento de origen de entrega de contenido y la habilitación de servicios over-the-top (OTT). Swarm ofrece un rendimiento masivo con una utilización de la capacidad 95% sin precedentes. La carga paralela de archivos grandes y lecturas de rango garantizan que pueda almacenar activos rápidamente y los espectadores puedan ver cualquier cuadro en un video rápidamente.
  3. Optimice el almacenamiento de producción compartida: En el corazón de la mayoría de los flujos de trabajo de edición se encuentran los dispositivos de almacenamiento conectado a la red (NAS) que, si bien son necesarios desde el punto de vista del rendimiento, son difíciles y costosos de escalar, administrar y proteger. Las soluciones de Caringo optimizan los flujos de trabajo y las aplicaciones existentes en entornos de almacenamiento compartido al integrarse con Windows Storage Server, NetApp Filers, Ávido Almacenamiento compartido ISIS / Nexis o 3rd party, datos de niveles para Caringo Swarm Object Storage. El resultado es un sistema que ofrece escalabilidad masiva y accesibilidad segura sin necesidad de copiar, reemplazar o modificar aplicaciones, procesos o comportamiento del usuario.
  4. Backend Digital Asset Management: A través de integraciones nativas y compatibilidad con S3 API, Caringo Swarm se puede utilizar como el objetivo de almacenamiento de una gran cantidad de soluciones de gestión de activos multimedia y gestión de activos digitales, brindando una instalación simple de arranque desde cero y protección continua a una infraestructura de administración de activos. Swarm permite que los feeds integrados (distribución de contenido) se repliquen en un sitio remoto para la recuperación de desastres (DR) o las funciones integradas de cumplimiento como WORM, Legal Hold y Integrity Seals para cumplir incluso con las políticas de protección más estrictas. Esto es ideal para los usuarios ya que sus activos digitales están continuamente protegidos y accesibles al instante.

Tecnología subyacente de Swarm y diferenciadores clave
El reconocimiento temprano por parte de Caringo de la oportunidad de mercado les permitió desarrollar una hoja de ruta tecnológica que reflejaba las tendencias respectivas en la tecnología, brindando a su sistema la oportunidad de evolucionar desde cero. A diferencia de algunos de sus competidores, no hay un sistema de archivos basado en inode bajo las cubiertas, lo que significa que no hay complejidad añadida, no hay una sobrecarga innecesaria y existe un riesgo casi inexistente de pérdida de datos.

Caringo Swarm se puede considerar un sistema operativo de almacenamiento o un servidor web escalable de forma masiva para el almacenamiento. Se implementa como una arquitectura sin estado simétrica donde todos los nodos realizan la misma función y, como tal, está altamente disponible fuera de la caja. Como resultado, según Ring, Caringo nunca ha perdido datos de clientes. La arquitectura escalable aumenta el rendimiento y disminuye el tiempo de recuperación del disco a medida que crece, lo que permite escalar desde clústeres pequeños a muy grandes. Swarm tiene un fuerte componente de metadatos y almacena objetos reales donde los datos y los metadatos residen juntos para garantizar que los datos sean autodescriptivos y portátiles. No se requieren bases de datos separadas para la gestión de objetos. Swarm luego integra todo esto con un motor de búsqueda para permitir la búsqueda flexible de metadatos.

Como resultado, los diferenciadores clave de Swarm frente a su competencia se pueden resumir de la siguiente manera.

Diferenciadores clave:

  • Utilización de hardware y servidores para contenido que proporciona hasta 95% de espacio en disco duro y 100% de bahías de unidades disponibles para almacenar activos digitales
  • Posibilidad de agregar automáticamente rendimiento o capacidad en 90 segundos y actualizar continuamente la escala de hardware a cientos de petabytes y miles de millones de archivos sin tiempo de inactividad o interrupción de la accesibilidad de los activos
  • Protección automatizada basada en políticas que se puede ajustar para un acceso rápido o la huella más pequeña en el centro de datos, brindando una durabilidad de nivel empresarial para la colaboración mientras se defiende contra los ataques de ransomware y la corrupción de datos silenciosos
  • Colaboración multiplataforma y acceso universal (escritura / lectura / edición) a través de HTTP, S3 o NFS indistintamente
  • Rápida recuperación de activos y entrega instantánea a través de búsquedas integradas con la capacidad de agregar metadatos personalizados

Integración fácil de usar de Swarm
El software Caringo's Swarm se instala en la elección del hardware estándar del usuario creando una plataforma de administración de medios que puede crecer de forma granular desde TB a PB, acercándose al costo de la cinta mientras proporciona acceso autorizado, conectándose a las soluciones de gestión de identidades del cliente o mediante autenticación basada en tokens. Swarm tiene una interfaz RESTful basada en HTTP 1.1 para una integración directa rápida y es compatible con la API de Amazon S3. La mayoría de las soluciones de gestión de activos que admiten la API S3 funcionan con Swarm de fábrica. Además, Swarm tiene una interfaz NFS, así como también un software que jerarquiza automáticamente desde Windows File Servers y Filers de NetApp a Swarm.

Además, la compañía ha integrado su software con productos líderes en la industria como Motor de alcance por Levels Beyond, FileCatalyst, Marquis Mediay Ngenea HSM para PixStor de Pixit Media.

Este otoño, Caringo anunció la integración de Swarm Hybrid Cloud para Microsoft Azure, lo que permite a los usuarios replicar archivos de S3, NFS y HDFS a Azure en el formato de blob nativo de Azure. Al convertir sin problemas archivos de un objeto S3, un objeto de Caringo, un blob de Azure o un archivo accesible de NFS, los usuarios pueden enviar archivos a Azure para su análisis, protección y archivo a largo plazo.

Más recientemente, Caringo agregó Caringo Drive, un disco virtual para Swarm, a su línea de productos. Una vez que Caringo Drive está instalado en macOS® y Windows® los sistemas, los clientes tienen un acceso conveniente y pueden arrastrar y soltar fácilmente archivos hacia y desde Swarm con transferencia paralela de fondo. Esto acelera las cargas de contenido y proporciona acceso simple basado en unidades a Swarm desde las aplicaciones.

Conjunto de características robusto y completo
"Nuestro objetivo desde el comienzo ha sido cambiar la economía del almacenamiento", continuó Ring. "No se trata solo de costos, sino de cambiar todo el proceso de acceso, organización, entrega y preservación de los medios". Según Ring, Swarm es independiente del hardware y se puede ajustar (cualquier combinación de hardware x86 y capacidad de disco), dando usuarios la opción de hardware que permite clústeres de alto rendimiento o archivos oscuros. Como tal, Swarm puede almacenar cualquier archivo de tamaño, incluso TB, y aún así maneja muy bien los archivos pequeños. Los usuarios pueden actualizar el hardware continuamente sin afectar la integridad de los medios y eliminar los silos de almacenamiento a la vez que proporcionan búsquedas para permitir la reutilización rápida de los medios. Y, el poder almacenar metadatos personalizados con los medios en sí mismos elimina los dolores de cabeza de las bases de datos de metadatos, haciendo que los medios se autodescriban y sean accesibles desde cualquier aplicación ahora o en el futuro. El resultado es una plataforma de medios que agiliza los flujos de trabajo de los medios digitales a la vez que reduce el costo total de propiedad de almacenamiento 75% en comparación con las soluciones basadas en el sistema de archivos. Aquí hay algunas características clave que hacen que Swarm se destaque de su competencia.

Características Principales

  • Sistema integrado de almacenamiento de objetos y nube escalable integrado
  • Configuraciones privadas, públicas o híbridas
  • Despliegue de sitio único o multi-sitio
  • Multi-tenancy y medición: nube multi-tenant que se puede usar para público o privado con autenticación vinculada a sistemas estándar (AD, PIM, etc.)
  • Enorme rendimiento paralelo
  • Gestión de identidad empresarial (LDAP, AD, Linux PAM)
  • Consola web unificada e informes
  • Ad Hoc Search, Query y Analytics
  • Posibilidad de guardar búsquedas para su reutilización: guardar como JSON o XML para importar por Kibana y otras aplicaciones
  • Agregue cualquier rendimiento o capacidad de los servidores al clúster en 90 segundos; Swarm se encarga de equilibrar la carga sobre la marcha
  • Integración perfecta con Windows® servidores de archivos y NetApp® archivadores que proporcionan acceso transparente de datos de usuario y aplicación
  • Acceso universal a través de un espacio de nombre único para HTTP, NFS, S3 y Azure Blobs
  • Transmisión HTTP directa con soporte de lectura de rango, ideal para contenido de cola larga y entrega de contenido OTT
  • Protección continua (diseño resistente a fallas de nodo, autocuración con recuperación y replicación rápida y proactiva)
  • Codificación de borrado y cifrado AES-256 para datos en reposo
  • 24 × 7 soporte y servicios profesionales
  • Cumplimiento incorporado que incluye:
    • WORM: capacidad True WORM sin posibilidad de acceder al archivo porque es un cuadro negro dispositivo que no tiene un sistema de archivos
    • Sellos de integridad para proteger los datos en tránsito
    • Retención legal
  • Operaciones optimizadas:
    • Reducción de 70% en el uso de energía: tecnología patentada de apagado
    • Reducción de 75% en el TCO de almacenamiento: muchos petabytes pueden ser administrados por menos de una persona
    • 95% capacidad de disco utilizable
    • Tiempo de funcionamiento del% de 100 sin punto único de falla: cargas probadas de 7 / 24 / 365 desde 2005

Validación del cliente
La filosofía de "aprender haciendo" de Caringo con el beneficio añadido de tiempo para resolver cualquier error ha permitido a su equipo desarrollar un conjunto de funciones muy sólido y completo en Swarm. Swarm es único ya que todos los nodos realizan todas las funciones, lo que significa que puede agregar un nuevo servidor al clúster simplemente enganchándolo a la red y encendiendo el equipo desnudo. Los nuevos nodos se inician en la red y se agregan inmediatamente al clúster en menos de 90 segundos, y Swarm se ocupa del equilibrio de carga sobre la marcha. Otras implementaciones generalmente requieren que el administrador designe un rol específico para cada nodo, aumentando la complejidad y los puntos de falla. "Uno de nuestros clientes, NEP, un proveedor de tecnología y experiencia para permitir a las organizaciones producir los eventos en vivo y transmisión más grandes del mundo, ha sido cliente de Caringo desde 2010", declaró Ring. NEP ha diseñado e implementado una red de distribución de contenido (CDN) escalable, confiable y de alto rendimiento en los Países Bajos utilizando Caringo Swarm. El NEP CDN sirve más que las cuentas de usuario de 650,000 a las que se accede con diferentes métodos de consumo, que van desde suscripciones mensuales hasta pago por visión.

Según Gerbrand de Ridder, Jefe de I + D y Arquitecto del sistema líder de NEP, Países Bajos, necesitaban una plataforma completa que pudiera proporcionar escalabilidad a su CDN y cumplir requisitos integrales en términos de capacidad, costo, rendimiento, crecimiento y confiabilidad, junto con total independencia del hardware. Caringo Swarm fue seleccionado luego de un largo proceso de evaluación que incluyó varios proveedores. "Elegimos Caringo Swarm porque era la plataforma más flexible para nosotros y tenía una buena licencia por terabyte", dijo Ridder. "Comenzamos con 100 TB y ahora tenemos más de 1.25 PB en nodos 200 de diferentes proveedores de hardware. Caringo Swarm es un componente clave para ofrecer un servicio de alta calidad que NEP siempre ha tenido como objetivo ".

En la actualidad, Caringo Swarm ofrece un rendimiento de hasta 45Gb / seg, lo que lo convierte en un componente clave para ofrecer el servicio de entrega de video de alta calidad por el que NEP es conocida. Continuó Ridder, "No tenemos un administrador de sistema de tiempo completo trabajando en nuestro sistema de almacenamiento de objetos Caringo Swarm. El único problema que generalmente le sucede al sistema es que si un nodo o un disco falla, solo necesitamos reemplazarlo o repararlo ". Y debido a las capacidades de autocuración incorporadas de Swarm, una falla de nodo o disco no es un evento catastrófico . Los otros nodos en el sistema continuarán funcionando para permitir el funcionamiento ininterrumpido. Es por esta razón que Ring puede afirmar que no ha habido pérdida de datos en la historia de Caringo.

Mirando hacia el futuro
Mirando hacia el futuro, Ring observa un cambio en las soluciones de nube híbrida en todas las industrias, pero especialmente en el espacio de M & E. Como tal, Caringo está construyendo niveles de datos sin fisuras hacia y desde la nube para el almacenamiento elástico y los requisitos informáticos. Para concluir, Ring concluyó: "Continuaremos impulsando la innovación centrada en el cliente mientras establecemos nuestro liderazgo tecnológico trabajando estrechamente con fabricantes de equipos originales y nuestros socios de canal para desarrollar soluciones de nube híbrida para brindar un mejor servicio a nuestros clientes a largo plazo y futuros".

No podría haberlo dicho mejor y recomiendo que revisen su sitio web en www.caringo.com.


Alertame
Curtis Chan

Curtis Chan

Curtis Chan es Presidente y CEO / Fundador y Socio Gerente de dos compañías de alta tecnología de Mercadeo de Marca y Relaciones Públicas, CHAN & ASSOCIATES y COGNITIVE IMPACT, cuyos clientes van desde Global Fortune 500 hasta nuevas empresas de capital de riesgo.

Los servicios de sus agencias, durante más de un cuarto de siglo, han ayudado a obtener una exposición significativa de la marca en las etapas iniciales y en el crecimiento, lo que resultó en una adquisición o una OPI, con una valoración total de más de $ 2.0 Billion.

El Sr. Chan es un emprendedor en serie, filántropo, autor e inversionista ángel. Desempeñó roles ejecutivos clave desde el principio, ayudando a ser pionero y líder en tecnologías profesionales de audio digital y video digital para las industrias de grabación, transmisión, cine y postproducción. También desempeñó funciones ejecutivas clave para ayudar a desarrollar y comercializar tecnologías de almacenamiento de datos. Su amplia experiencia abarca cuatro décadas en roles ejecutivos cada vez mayores en operaciones, desarrollo de negocios, ingeniería y ventas / marketing en tecnología de la información, medios y entretenimiento, almacenamiento y redes, y otras industrias relacionadas de alta tecnología.

Es un mentor activo y asesor principal de muchas empresas establecidas y nuevas, un analista de mercado / tecnología, y cuenta con tres décadas de experiencia en desarrollo de marca, consultoría de gestión, cambios en la empresa, publicidad creativa y relaciones públicas.

Un graduado de la Universidad Politécnica Estatal de California (Cal Poly), San Luis Obispo; El Sr. Chan celebra su 12 año como director de la Fundación de Fullerton College y ha recibido el Premio del Presidente de 2017 por el servicio excepcional en los negocios; 17th año como Emprendedor en Residencia y mentor para el Instituto de Pequeñas Empresas en la Universidad Estatal de California en Fullerton e incubadoras. Además, es miembro voluntario de DECA (Delta Epsilon Chi y Distributive Education Clubs of America); asesor del Instituto de Investigación de Residuos Globales de la Facultad de Ingeniería y del Centro para la Innovación y el Emprendimiento, Cal Poly, San Luis Obispo y miembro de la Sociedad del Presidente para el Oro y las Verdes. Apasionado por el cuidado de hospicio, fue el ex presidente de la Junta de la Asociación de Corazones Curativos; y es un orador destacado en muchas conferencias de nivel de MBA y doctorado en todo el país. Ha presentado y publicado en 30 papers en todo el mundo, es coautor de un libro, miembro de la Junta Editorial de la Society of Motion Picture and Television Engineers, Editor Senior para Broadcast Beat y AV Beat Magazines, ex Editor Senior para Computer Technology Review, y es un editor colaborador que aparece regularmente en muchas publicaciones comerciales de EE. UU. e internacionales durante más de 30.

Ver los servicios de impacto cognitivo en www.cognitiveimpact.com. Curtis puede ser contactado en book.equilibrium@gmail.com ; Oficina: (714) 447-4993 o book.equilibrium@gmail.com
Curtis Chan