ساختار تیمهای فنی دِیتاک
همراهان گرامی دیتاک، سلام امیدوارم حالتان خوب باشد. مدتی بود دوست داشتم پستی در ارتباط با تیمهای فنی که در شرکت در حال فعالیت هستند بنویسم و شما را کمی بیشتر با تیمها آشنا کنم، اما امروز تصمیم گرفتم جدا از این آشنایی، شما را تا قلب تیم فنی ببرم و از یک روز کاری …
انواع شبکههای RNN و کاربردهای آن در دیتاک
امروزه استفاده از الگوریتمهای یادگیری عمیق (Deep Learning) در حل مسائل یادگیری ماشین (Machine Learning ) بسیار پرکاربرد شده است. با افزایش حجم دادهها و کیفیت بالای به دست آمده و قدرتمندتر شدن سیستمهای پردازشی، استفاده از روشهای یادگیری عمیق قابل توجیهتر شده است. به طور کلی گفته میشود که آموزش مدل در روشهای یادگیری …
مدیریت workflowها با apache airflow
شاید اسم apache airflow به گوشتان خورده باشد. airflow به صورت خلاصه یکی از ابزارهای مدیریت پیشرفته ی workflowهای سازمانی است. اگر می خواهید در این رابطه بیشتر بدانید، پیشنهاد میکنم قبل از خواندن این مقاله سری به گوگل بزنید و دربارهاش سرچ کنید. چون ما میخواهیم اینجا و در این مطلب فارغ از توضیحات …
OrientDB or Not OrientDB
در ابتدا بگویم که اگر این مقاله را میخوانید که بدانید OrientDB چه قابلیتهایی دارد و چهکار میکند، شما را به سایت و داکیومنت این محصول ارجاع میدهم که بسیار بهتر از من به بیان قابلیتها و کاربردهای آن پرداخته است. اما اگر با OrientDB یا Neo4j یا دیگر دیتابیسهای گرافی آشنایی دارید، این متن …
دِیتاک چطور ۳۰۰ میلیون داده روزانه را پردازش و ذخیره میکند؟
سلام من هامون، مدیر فنی شرکت دیتاک هستم. در این پست میخواهم شما را با معماری بیگ دیتای شرکت دیتاک بیشتر آشنا کنم. ما در ابتدا چه میکردیم!؟ مانند بسیاری از مجموعههای دیگر، کار مجموعهی ما نیز با یک دیتابیس رابطهای شروع شد. البته چون از همان ابتدای کار میدانستیم یک سیستم write-heavy داریم به …
مدیریت دریاچه داده با Apache HBase
امروزه حجم عظیمی از دادههای موجود را فعالیتها و اطلاعاتی که کابران در فضای مجازی به اشتراک میگذارند، تشکیل میدهد. این دادهها میتوانند از منابع متنوعی همچون شبکههای اجتماعی، دادههای ابری، اینترنت اشیا و هر منبع اشتراکِ داده بر روی فضای مجازی باشد. این دادهها مبنای بسیاری از آنالیزها و تحلیلهای انجام شده در هر …
جمع آوری توزیع پذیر با اسکریپی کنترلر
داستان مهاجرت به اسکریپی: ما قبل از اسکریپی، انجینی را برای جمع آوری استفاده میکردیم که از PHP قدرت گرفته و از پایه توسط تیم فنی دیتاک توسعه داده شده بود. با توجه به حیاتی شدن جمع آوری اطلاعات و زیاد شدن تعداد کراولرها و رشد نمایی دیتایی که وارد مجموعه می شد، مدیریت این …