<div dir="ltr">Hey all,<div><br></div><div>For my tech meet-up, I decided to attend a tech talk hosted by engineers from Bloomberg (<a href="https://www.bloomberg.com/">https://www.bloomberg.com/</a>) that took place right on Stevens campus. This talk was an exciting opportunity to learn more in-depth about some of the real-world responsibilities and endeavors being pursued involving big data. The talk was certainly pertinent to the field of System Administration as it discussed techniques on how to analyze large quantities of data and the hardware architecture required to do so.</div><div><br></div><div>In particular, the talk focused on how Bloomberg manages large quantities of data and evaluates this data by leveraging machine learning techniques. Specifically in Bloomberg&#39;s case, this massive amount of data is being accumulated from various sources and analyzed for financial information and reports. </div><div><br></div><div>One of the major obstacles that Bloomberg engineers face is effective detection and parsing of data tables, which can come in a variety of different forms and appearances. As we&#39;ve seen in class, this is also an obstacle that is very much possible for a system administrator to face.</div><div><br></div><div>Because Bloomberg is handling the accumulation of data from a wide variety of sources and these tables can be presented in all different kinds of forms, they rely on computer vision and natural language processing to effectively detect and parse these tables. In particular, they utilize a region proposal technique called &quot;Faster R-CNN&quot; to do just that. </div><div><br></div><div>Here is one such implementation of this technique: <a href="https://github.com/rbgirshick/py-faster-rcnn">https://github.com/rbgirshick/py-faster-rcnn</a></div><div><br></div><div>Ultimately I learned how data is being presented and organized in a growing variety of different ways and how designing automated systems to get a hold of this data from various sources and evaluate it is a task that will be essential for a variety of fields and it is likely a task that systems admins may be faced with as well.</div><div><br></div><div>Thanks for reading,</div><div>Steven Nunes</div></div>