a02196acb0376c472202ca3896f0d40d8ea4a823
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18 #
19 # ____________________________________________________________
20 from time import time
21 from copy import copy
22 import sys
23 import weakref
24 from tiramisu.error import ConfigError, SlaveError
25 from tiramisu.setting import owners, multitypes, expires_time, undefined
26 from tiramisu.autolib import carry_out_calculation
27 from tiramisu.i18n import _
28 from tiramisu.option import SymLinkOption
29
30
31 class Values(object):
32     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
33     but the values are physicaly located here, in `Values`, wich is also
34     responsible of a caching utility.
35     """
36     __slots__ = ('context', '_p_', '__weakref__')
37
38     def __init__(self, context, storage):
39         """
40         Initializes the values's dict.
41
42         :param context: the context is the home config's values
43
44         """
45         self.context = weakref.ref(context)
46         # the storage type is dictionary or sqlite3
47         self._p_ = storage
48
49     def _getcontext(self):
50         """context could be None, we need to test it
51         context is None only if all reference to `Config` object is deleted
52         (for example we delete a `Config` and we manipulate a reference to
53         old `SubConfig`, `Values`, `Multi` or `Settings`)
54         """
55         context = self.context()
56         if context is None:
57             raise ConfigError(_('the context does not exist anymore'))
58         return context
59
60     def _getdefault(self, opt):
61         """
62         actually retrieves the default value
63
64         :param opt: the `option.Option()` object
65         """
66         meta = self._getcontext().cfgimpl_get_meta()
67         if meta is not None:
68             value = meta.cfgimpl_get_values()[opt]
69         else:
70             value = opt.impl_getdefault()
71         if opt.impl_is_multi():
72             return copy(value)
73         else:
74             return value
75
76     def _getvalue(self, opt, path, validate=True):
77         """actually retrieves the value
78
79         :param opt: the `option.Option()` object
80         :returns: the option's value (or the default value if not set)
81         """
82         if not self._p_.hasvalue(path):
83             # if there is no value
84             value = self._getdefault(opt)
85             if opt.impl_is_multi():
86                 value = Multi(value, self.context, opt, path, validate)
87         else:
88             # if there is a value
89             value = self._p_.getvalue(path)
90             if opt.impl_is_multi() and not isinstance(value, Multi):
91                 # load value so don't need to validate if is not a Multi
92                 value = Multi(value, self.context, opt, path, validate=False)
93         return value
94
95     def get_modified_values(self):
96         return self._p_.get_modified_values()
97
98     def __contains__(self, opt):
99         """
100         implements the 'in' keyword syntax in order provide a pythonic way
101         to kow if an option have a value
102
103         :param opt: the `option.Option()` object
104         """
105         path = self._get_opt_path(opt)
106         return self._contains(path)
107
108     def _contains(self, path):
109         return self._p_.hasvalue(path)
110
111     def __delitem__(self, opt):
112         """overrides the builtins `del()` instructions"""
113         self.reset(opt)
114
115     def reset(self, opt, path=None):
116         if path is None:
117             path = self._get_opt_path(opt)
118         if self._p_.hasvalue(path):
119             context = self._getcontext()
120             setting = context.cfgimpl_get_settings()
121             opt.impl_validate(opt.impl_getdefault(),
122                               context, 'validator' in setting)
123             context.cfgimpl_reset_cache()
124             if (opt.impl_is_multi() and
125                     opt.impl_get_multitype() == multitypes.master):
126                 for slave in opt.impl_get_master_slaves():
127                     self.reset(slave)
128             self._p_.resetvalue(path)
129
130     def _isempty(self, opt, value):
131         "convenience method to know if an option is empty"
132         empty = opt._empty
133         if (not opt.impl_is_multi() and (value is None or value == empty)) or \
134            (opt.impl_is_multi() and (value == [] or
135                                      None in value or empty in value)):
136             return True
137         return False
138
139     def _getcallback_value(self, opt, index=None, max_len=None):
140         """
141         retrieves a value for the options that have a callback
142
143         :param opt: the `option.Option()` object
144         :param index: if an option is multi, only calculates the nth value
145         :type index: int
146         :returns: a calculated value
147         """
148         callback, callback_params = opt._callback
149         if callback_params is None:
150             callback_params = {}
151         return carry_out_calculation(opt, config=self._getcontext(),
152                                      callback=callback,
153                                      callback_params=callback_params,
154                                      index=index, max_len=max_len)
155
156     def __getitem__(self, opt):
157         "enables us to use the pythonic dictionary-like access to values"
158         return self.getitem(opt)
159
160     def getitem(self, opt, path=None, validate=True, force_permissive=False,
161                 force_properties=None, validate_properties=True):
162         if path is None:
163             path = self._get_opt_path(opt)
164         ntime = None
165         setting = self._getcontext().cfgimpl_get_settings()
166         if 'cache' in setting and self._p_.hascache(path):
167             if 'expire' in setting:
168                 ntime = int(time())
169             is_cached, value = self._p_.getcache(path, ntime)
170             if is_cached:
171                 if opt.impl_is_multi() and not isinstance(value, Multi):
172                     #load value so don't need to validate if is not a Multi
173                     value = Multi(value, self.context, opt, path, validate=False)
174                 return value
175         val = self._getitem(opt, path, validate, force_permissive,
176                             force_properties, validate_properties)
177         if 'cache' in setting and validate and validate_properties and \
178                 force_permissive is False and force_properties is None:
179             if 'expire' in setting:
180                 if ntime is None:
181                     ntime = int(time())
182                 ntime = ntime + expires_time
183             self._p_.setcache(path, val, ntime)
184
185         return val
186
187     def _getitem(self, opt, path, validate, force_permissive, force_properties,
188                  validate_properties):
189         # options with callbacks
190         context = self._getcontext()
191         setting = context.cfgimpl_get_settings()
192         is_frozen = 'frozen' in setting[opt]
193         # For calculating properties, we need value (ie for mandatory value).
194         # If value is calculating with a PropertiesOptionError's option
195         # _getcallback_value raise a ConfigError.
196         # We can not raise ConfigError if this option should raise
197         # PropertiesOptionError too. So we get config_error and raise
198         # ConfigError if properties did not raise.
199         config_error = None
200         force_permissives = None
201         # if value is callback and is not set
202         # or frozen with force_default_on_freeze
203         if opt.impl_has_callback() and (
204                 self._is_default_owner(path) or
205                 (is_frozen and 'force_default_on_freeze' in setting[opt])):
206             lenmaster = None
207             no_value_slave = False
208             if (opt.impl_is_multi() and
209                     opt.impl_get_multitype() == multitypes.slave):
210                 masterp = self._get_opt_path(opt.impl_get_master_slaves())
211                 mastervalue = getattr(context, masterp)
212                 lenmaster = len(mastervalue)
213                 if lenmaster == 0:
214                     value = []
215                     no_value_slave = True
216
217             if not no_value_slave:
218                 try:
219                     value = self._getcallback_value(opt, max_len=lenmaster)
220                 except ConfigError as err:
221                     # cannot assign config_err directly in python 3.3
222                     config_error = err
223                     value = None
224                     # should not raise PropertiesOptionError if option is
225                     # mandatory
226                     force_permissives = set(['mandatory'])
227                 else:
228                     if (opt.impl_is_multi() and
229                             opt.impl_get_multitype() == multitypes.slave):
230                         if not isinstance(value, list):
231                             value = [value for i in range(lenmaster)]
232             if config_error is None:
233                 if opt.impl_is_multi():
234                     value = Multi(value, self.context, opt, path, validate)
235                 # suppress value if already set
236                 self.reset(opt, path)
237         # frozen and force default
238         elif is_frozen and 'force_default_on_freeze' in setting[opt]:
239             value = self._getdefault(opt)
240             if opt.impl_is_multi():
241                 value = Multi(value, self.context, opt, path, validate)
242         else:
243             value = self._getvalue(opt, path, validate)
244         if config_error is None and validate:
245             opt.impl_validate(value, context, 'validator' in setting)
246         if config_error is None and self._is_default_owner(path) and \
247                 'force_store_value' in setting[opt]:
248             self.setitem(opt, value, path, is_write=False)
249         if validate_properties:
250             setting.validate_properties(opt, False, False, value=value, path=path,
251                                         force_permissive=force_permissive,
252                                         force_properties=force_properties,
253                                         force_permissives=force_permissives)
254         if config_error is not None:
255             raise config_error
256         return value
257
258     def __setitem__(self, opt, value):
259         raise ValueError('you should only set value with config')
260
261     def setitem(self, opt, value, path, force_permissive=False,
262                 is_write=True):
263         # is_write is, for example, used with "force_store_value"
264         # user didn't change value, so not write
265         # valid opt
266         context = self._getcontext()
267         opt.impl_validate(value, context,
268                           'validator' in context.cfgimpl_get_settings())
269         if opt.impl_is_multi() and not isinstance(value, Multi):
270             value = Multi(value, self.context, opt, path, setitem=True)
271         self._setvalue(opt, path, value, force_permissive=force_permissive,
272                        is_write=is_write)
273
274     def _setvalue(self, opt, path, value, force_permissive=False,
275                   force_properties=None,
276                   is_write=True, validate_properties=True):
277         context = self._getcontext()
278         context.cfgimpl_reset_cache()
279         if validate_properties:
280             setting = context.cfgimpl_get_settings()
281             setting.validate_properties(opt, False, is_write,
282                                         value=value, path=path,
283                                         force_permissive=force_permissive,
284                                         force_properties=force_properties)
285         owner = context.cfgimpl_get_settings().getowner()
286         self._p_.setvalue(path, value, owner)
287
288     def getowner(self, opt):
289         """
290         retrieves the option's owner
291
292         :param opt: the `option.Option` object
293         :returns: a `setting.owners.Owner` object
294         """
295         if isinstance(opt, SymLinkOption):
296             opt = opt._opt
297         path = self._get_opt_path(opt)
298         return self._getowner(path)
299
300     def _getowner(self, path):
301         owner = self._p_.getowner(path, owners.default)
302         meta = self._getcontext().cfgimpl_get_meta()
303         if owner is owners.default and meta is not None:
304             owner = meta.cfgimpl_get_values()._getowner(path)
305         return owner
306
307     def setowner(self, opt, owner):
308         """
309         sets a owner to an option
310
311         :param opt: the `option.Option` object
312         :param owner: a valid owner, that is a `setting.owners.Owner` object
313         """
314         if not isinstance(owner, owners.Owner):
315             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
316
317         path = self._get_opt_path(opt)
318         self._setowner(path, owner)
319
320     def _setowner(self, path, owner):
321         if self._getowner(path) == owners.default:
322             raise ConfigError(_('no value for {0} cannot change owner to {1}'
323                                 '').format(path, owner))
324         self._p_.setowner(path, owner)
325
326     def is_default_owner(self, opt):
327         """
328         :param config: *must* be only the **parent** config
329                        (not the toplevel config)
330         :return: boolean
331         """
332         path = self._get_opt_path(opt)
333         return self._is_default_owner(path)
334
335     def _is_default_owner(self, path):
336         return self._getowner(path) == owners.default
337
338     def reset_cache(self, only_expired):
339         """
340         clears the cache if necessary
341         """
342         if only_expired:
343             self._p_.reset_expired_cache(int(time()))
344         else:
345             self._p_.reset_all_cache()
346
347     def _get_opt_path(self, opt):
348         """
349         retrieve the option's path in the config
350
351         :param opt: the `option.Option` object
352         :returns: a string with points like "gc.dummy.my_option"
353         """
354         return self._getcontext().cfgimpl_get_description().impl_get_path_by_opt(opt)
355
356     # information
357     def set_information(self, key, value):
358         """updates the information's attribute
359
360         :param key: information's key (ex: "help", "doc"
361         :param value: information's value (ex: "the help string")
362         """
363         self._p_.set_information(key, value)
364
365     def get_information(self, key, default=None):
366         """retrieves one information's item
367
368         :param key: the item string (ex: "help")
369         """
370         try:
371             return self._p_.get_information(key)
372         except ValueError:
373             if default is not None:
374                 return default
375             else:
376                 raise ValueError(_("information's item"
377                                    " not found: {0}").format(key))
378
379     def __getstate__(self):
380         return {'_p_': self._p_}
381
382     def _impl_setstate(self, storage):
383         self._p_._storage = storage
384
385     def __setstate__(self, states):
386         self._p_ = states['_p_']
387
388
389 # ____________________________________________________________
390 # multi types
391
392
393 class Multi(list):
394     """multi options values container
395     that support item notation for the values of multi options"""
396     __slots__ = ('opt', 'path', 'context')
397
398     def __init__(self, value, context, opt, path, validate=True,
399                  setitem=False):
400         """
401         :param value: the Multi wraps a list value
402         :param context: the home config that has the values
403         :param opt: the option object that have this Multi value
404         :param setitem: only if set a value
405         """
406         self.opt = opt
407         self.path = path
408         if not isinstance(context, weakref.ReferenceType):
409             raise ValueError('context must be a Weakref')
410         self.context = context
411         if not isinstance(value, list):
412             value = [value]
413         if validate and self.opt.impl_get_multitype() == multitypes.slave:
414             value = self._valid_slave(value, setitem)
415         elif validate and self.opt.impl_get_multitype() == multitypes.master:
416             self._valid_master(value)
417         super(Multi, self).__init__(value)
418
419     def _getcontext(self):
420         """context could be None, we need to test it
421         context is None only if all reference to `Config` object is deleted
422         (for example we delete a `Config` and we manipulate a reference to
423         old `SubConfig`, `Values`, `Multi` or `Settings`)
424         """
425         context = self.context()
426         if context is None:
427             raise ConfigError(_('the context does not exist anymore'))
428         return context
429
430     def _valid_slave(self, value, setitem):
431         #if slave, had values until master's one
432         context = self._getcontext()
433         values = context.cfgimpl_get_values()
434         masterp = context.cfgimpl_get_description().impl_get_path_by_opt(
435             self.opt.impl_get_master_slaves())
436         mastervalue = getattr(context, masterp)
437         masterlen = len(mastervalue)
438         valuelen = len(value)
439         is_default_owner = not values._is_default_owner(self.path) or setitem
440         if valuelen > masterlen or (valuelen < masterlen and
441                                     is_default_owner):
442             raise SlaveError(_("invalid len for the slave: {0}"
443                                " which has {1} as master").format(
444                                    self.opt._name, masterp))
445         elif valuelen < masterlen:
446             for num in range(0, masterlen - valuelen):
447                 if self.opt.impl_has_callback():
448                     # if callback add a value, but this value will not change
449                     # anymore automaticly (because this value has owner)
450                     index = value.__len__()
451                     value.append(values._getcallback_value(self.opt,
452                                                            index=index))
453                 else:
454                     value.append(self.opt.impl_getdefault_multi())
455         #else: same len so do nothing
456         return value
457
458     def _valid_master(self, value):
459         masterlen = len(value)
460         values = self._getcontext().cfgimpl_get_values()
461         for slave in self.opt._master_slaves:
462             path = values._get_opt_path(slave)
463             if not values._is_default_owner(path):
464                 value_slave = values._getvalue(slave, path)
465                 if len(value_slave) > masterlen:
466                     raise SlaveError(_("invalid len for the master: {0}"
467                                        " which has {1} as slave with"
468                                        " greater len").format(
469                                            self.opt._name, slave._name))
470                 elif len(value_slave) < masterlen:
471                     for num in range(0, masterlen - len(value_slave)):
472                         if slave.impl_has_callback():
473                             # if callback add a value, but this value will not
474                             # change anymore automaticly (because this value
475                             # has owner)
476                             index = value_slave.__len__()
477                             value_slave.append(
478                                 values._getcallback_value(slave, index=index),
479                                 force=True)
480                         else:
481                             value_slave.append(undefined, force=True)
482
483     def __setitem__(self, index, value):
484         self._validate(value, index)
485         #assume not checking mandatory property
486         super(Multi, self).__setitem__(index, value)
487         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
488
489     def append(self, value=undefined, force=False):
490         """the list value can be updated (appened)
491         only if the option is a master
492         """
493         context = self._getcontext()
494         if not force:
495             if self.opt.impl_get_multitype() == multitypes.slave:
496                 raise SlaveError(_("cannot append a value on a multi option {0}"
497                                    " which is a slave").format(self.opt._name))
498             elif self.opt.impl_get_multitype() == multitypes.master:
499                 values = context.cfgimpl_get_values()
500                 if value is undefined and self.opt.impl_has_callback():
501                     value = values._getcallback_value(self.opt)
502                     #Force None il return a list
503                     if isinstance(value, list):
504                         value = None
505         index = self.__len__()
506         if value is undefined:
507             value = self.opt.impl_getdefault_multi()
508         self._validate(value, index)
509         super(Multi, self).append(value)
510         context.cfgimpl_get_values()._setvalue(self.opt, self.path,
511                                                self,
512                                                validate_properties=not force)
513         if not force and self.opt.impl_get_multitype() == multitypes.master:
514             for slave in self.opt.impl_get_master_slaves():
515                 path = values._get_opt_path(slave)
516                 if not values._is_default_owner(path):
517                     if slave.impl_has_callback():
518                         dvalue = values._getcallback_value(slave, index=index)
519                     else:
520                         dvalue = slave.impl_getdefault_multi()
521                     old_value = values.getitem(slave, path,
522                                                validate_properties=False)
523                     if len(old_value) < self.__len__():
524                         values.getitem(slave, path,
525                                        validate_properties=False).append(
526                                            dvalue, force=True)
527                     else:
528                         values.getitem(slave, path,
529                                        validate_properties=False)[
530                                            index] = dvalue
531
532     def sort(self, cmp=None, key=None, reverse=False):
533         if self.opt.impl_get_multitype() in [multitypes.slave,
534                                              multitypes.master]:
535             raise SlaveError(_("cannot sort multi option {0} if master or slave"
536                                "").format(self.opt._name))
537         if sys.version_info[0] >= 3:
538             if cmp is not None:
539                 raise ValueError(_('cmp is not permitted in python v3 or greater'))
540             super(Multi, self).sort(key=key, reverse=reverse)
541         else:
542             super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
543         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
544
545     def reverse(self):
546         if self.opt.impl_get_multitype() in [multitypes.slave,
547                                              multitypes.master]:
548             raise SlaveError(_("cannot reverse multi option {0} if master or "
549                                "slave").format(self.opt._name))
550         super(Multi, self).reverse()
551         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
552
553     def insert(self, index, obj):
554         if self.opt.impl_get_multitype() in [multitypes.slave,
555                                              multitypes.master]:
556             raise SlaveError(_("cannot insert multi option {0} if master or "
557                                "slave").format(self.opt._name))
558         super(Multi, self).insert(index, obj)
559         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
560
561     def extend(self, iterable):
562         if self.opt.impl_get_multitype() in [multitypes.slave,
563                                              multitypes.master]:
564             raise SlaveError(_("cannot extend multi option {0} if master or "
565                                "slave").format(self.opt._name))
566         super(Multi, self).extend(iterable)
567         self._getcontext().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
568
569     def _validate(self, value, force_index):
570         if value is not None:
571             try:
572                 self.opt.impl_validate(value, context=self._getcontext(),
573                                        force_index=force_index)
574             except ValueError as err:
575                 raise ValueError(_("invalid value {0} "
576                                    "for option {1}: {2}"
577                                    "").format(str(value),
578                                               self.opt._name, err))
579
580     def pop(self, index, force=False):
581         """the list value can be updated (poped)
582         only if the option is a master
583
584         :param index: remove item a index
585         :type index: int
586         :param force: force pop item (withoud check master/slave)
587         :type force: boolean
588         :returns: item at index
589         """
590         context = self._getcontext()
591         if not force:
592             if self.opt.impl_get_multitype() == multitypes.slave:
593                 raise SlaveError(_("cannot pop a value on a multi option {0}"
594                                    " which is a slave").format(self.opt._name))
595             elif self.opt.impl_get_multitype() == multitypes.master:
596                 for slave in self.opt.impl_get_master_slaves():
597                     values = context.cfgimpl_get_values()
598                     if not values.is_default_owner(slave):
599                         #get multi without valid properties
600                         values.getitem(slave,
601                                        validate_properties=False
602                                        ).pop(index, force=True)
603         #set value without valid properties
604         ret = super(Multi, self).pop(index)
605         context.cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
606         return ret