پیام رسان بله
جستجو
اسپارک چهارچوبی برای پردازش داده های بزرگ
آیدین کریم زاده اصل1
چکیده :
یکی از چالش هایی متخصصان و برنامه نویسان با آن روبرو هستند چگونگی پردازش داده ها و همچنین ذخیره این داده ها پس از پردازش می باشد. اما امروزه شاید به جرئت میتوان گفت با پیشرفت علم و رایانه ای شدن امورات و داده ها چگونگی و روش های پردازش داده های بزرگ یکی از مهم ترین بحث ها و محور های تحقیقاتی حال حاضر جهان میباشد . در این میان چهارچوب های وجود دارد که میتوان با استفاده از آن داده های عظیم را پالایش پردازش و یا با زبان های Spark) همانند frameworkکاری(
برنامه نویسی مانند اسکالا و یا R برنامه نویسی کرده وداده ها را مورد کند و کاو قرار داد . با این حال چنین سوالاتی به وجود می آید که :
1- اسپارک چیست و ماهیت آن چیست ؟
2- اسپارک چگونه به برنامه نویسی و چردازش داده های بزرگ کمک میکند؟
3- چگونه و از چه فایل های کتابخانه ای در اسپارک استفاده شده است ؟
4- در بین چهارچوب کاری موجود اسپارک بهتر است یا هدوپ ؟
در این مقاله سعی شده است که با یکی از چهارچوب های پردازش داده های عظیم بنام Spark آشنا شده و نیز به سوالات ذکر شده تا حد امکان و به نحو احسنت پاسخ داده شود .
کلمات کلیدی : اسپارک spark داده های بزرگ برنامه نویسی چهارچوب کاری پردازش داده
زبان مقاله : فارسی
محور مقاله : مهندسی کامپیوتر
محل انتشار : دومین کنفرانس بین المللی افق های نو در علوم مهندسی - 18 مرداد ماه 1397 | استانبول - ترکیه | دانشگاه یلدیز تکنیک
آدرس وب سایت کنفرانس : eng2018.ir
کد IOI مقاله : XAHK-CEEZF
لینک مستقیم مقاله : https://isnac.ir/XAHK-CEEZF
سایر مقالات ارائه دهنده
سایر مقالات محل انتشار
- تجربه_ارتباط_ادراک(خاطره جمعی) در با هَمستانهای محله ای
- بهبود شرایط بهینه تصفیه پساب روغن زیتون با استفاده از روش های آماری
- بررسی تعریف و ارائه روش مکان یابی پایانه های مسافربری برون شهری
- تحلیلی بر وضعیت امنیت اجتماعی در پارک های شهری با رویکرد توسعه پایدار
- بررسی روش قاب خمشی فولادی با مهاربند تحت بار انفجار در سازه‌های فولادی
- اسپارک چهارچوبی برای پردازش داده های بزرگ
- رتبه بندی استراتژی‌های مدیریت منابع انسانی سبز در ارتقاء کیفیت کاری طرح اقماری پارس جنوبی
- Preparation and characterization of Polypropylene/calcium carbonate nanocomposites: morphological analysis, mechanical properties and micromechanical deformations
- A review on modern filtrations and their importance in food factories air pollution and health control
- جایگاه استراتژیک مدیریت ذی نفعان در پروژه های صنعت احداث (مطالعه موردی: پروژه سد و شبکه آبیاری و زهکشی نرماب)
- بررسی روش استفاده از بتن سبک در مقاوم‌سازی ساختمان
- بررسی حالت فوق بحرانی سیال دی اکسید کربن و مقایسه تاثیر پارامترهای عملیاتی بر آن
- نقش تفریح در ارتقای سلامت انسان معاصر با تاکید بر فضاهای طبیعی در جامعه شهری
- کاربرد الیاف های پلیمری frp در بهسازی ساختمان های بنایی
- اثر شرایط فرآیندی بر روی خواص فیزیکی- مکانیکی مستر بچ پلی وینیل کلراید